Hola.
El problema ahi es de resolucion, ya que medir pasos de 0.1 grados en un rango de 90 grados nos daria un total de pasos de 900. Si usas resolucion de conversion a 8 bits no te dara ya que se tienen 255 pasos, a 10 bits tendriamos 1024 pasos. Aunque a 10 bits tendriamos resuelto el problema, no es asi, ya que los ADC de los micros tienen un error en los 2 primeros LSB, asi que habria que promediar unos 100 datos para estabilizarlo (y no es que mejore mucho).
La solucion puede ser buscar un ADC de muuucha mas resolucion, si cambias el potenciometro no serviria de mucho, ya que el error de los 2 LSB te introducirian incertidumbre.
Saludos