El problema era la funcion de mikroC que al ejecutarse genera ruido. Hice el procedimiento manualmente y se redujo bastante el ruido generado.
Ahora, si quiero hallar el valor pico de la señal que me muestra el osciloscopio (señal de 60Hz) esta bien el siguiente codigo? El tiempo que toma muestras el ADC es aproximadamente 16.7ms o requiero tomar muestras por mas tiempo?
Esta señal que muestras ya en si misma es distorsionada:

Debe ser una señal senoidal tal cual es la de la red eléctrica.
No sé si ese "pico" que muestras ahí, coincide con el de la señal sinusoidal original.
Suponiendo que ese pico se mantiene en el mismo lugar del pico de la señal de la red eléctrica, deberías
1. Determinar si se mantiene en el mismo lugar al
variar la amplitud de la señal original.
2. Determinar
si la variación de la amplitud es lineal, caso contrario debes crear una tabla para diferentes valores e interpolar para aquellos intermedios.