Como lo estas haciendo es correcto.El problema es que si lees el datasheet:
Pin RA4 is multiplexed with the Timer0 module clock input to become the RA4/T0CKI pin. The RA4/T0CKI pin is a Schmitt Trigger input and an open-drain output.
Eso quiere decir que como salida puede llevar su estado a 0, pero no a 1. Entonces la unica forma de usarlo como salida es agregarle una resistencia desde el pin a VDD, supongamos de 10K.
Asi el pin siempre va a estar en 1 gracias a la resistencia, y cuando vos necesites podes ponerlo a 0.
La otra es usar RA5 como salida, y RA4 como entrada. Asi te solucionas la vida.