esa libreria te regresa la tecla presionada en caracter, esta bien como lo tienes definido, con comillas simples ('4')
solo verifica que estes presionando la tecla correspondiente, de acuerdo a la librería este es el orden
// Keypad layout:
char const KEYS[4][3] = {{'1','2','3'},
{'4','5','6'},
{'7','8','9'},
{'*','0','#'}};