Duda de como y donde almacenar datos leídos desde sensores.

[Thulsa Doom]

Hola a todos, tengo un proyecto en mente pero no sé que utilizar para guardar datos.

Mi idea es fabricarme una estación meteorológica y quiero guardar los valores de los sensores cada hora y para ello he pensado que la forma más cómoda para tratar los datos sería en una hoja de calculo o un txt y para ello podría utilizar una memoria MicroSD utilizando la librería MDD File System v1.4.4 que microchip implementó en sus librerías de aplicación. pero no sé si será viable ya que al implementar esa librería en el pic que voy a usar, esta me consume mucha memoria y a parte de eso también tendría que modificar el linker del pic a utilizar ya que es de 8 bit y al parecer esta librería utiliza mayores espacios en la memoria del chip.
También podría utilizar una memoria externa EEPROM pero esta tiene un límite de escrituras y al final se rompería.

También quería meterle una página web para poder descargar ese fichero a través de la web desde un enlace o poder ver la tabla en la misma web eso ya veré como hago la web.

Como no tengo claro que hacer les comento esta duda a ver que consejos me dan.

Gracias

[planeta9999]

 
Para acceder a tarjetas SD, yo utilizo siempre la Fatfs, es una librería que se ha portado prácticamente a todo tipo de microcontroladores, por lo que es más universal. Una Eeprom tiene mucha menos capacidad y no la puedes reemplazar tan fácilmente como una tarjeta SD en zócalo.

No se porque tendrías que modificar el Linker script, normalmente solo se necesitan hacer cambios si vas a usar un bootloader, de lo contrario toda la RAM y la Memoria de Programa queda asignada a tu aplicación.

Si tu dispositivo tiene acceso a internet, con un módulo GPRS o por WIFI, no necesitas ni tarjeta SD, subes directamente en tiempo real, los datos a un servidor que los almacene. Hay sitios gratuitos para estas aplicaciones de IoT, de esta manera puedes ver en tiempo real todos los datos que va subiendo el dispositivo, más las estadísticas que te ofrecen para formatear la información.

[Thulsa Doom]

Para acceder a tarjetas SD, yo utilizo siempre la Fatfs, es una librería que se ha portado prácticamente a todo tipo de microcontroladores, por lo que es más universal. Una Eeprom tiene mucha menos capacidad y no la puedes reemplazar tan fácilmente como una tarjeta SD en zócalo.

¿Me podrías explicar algo mas sobre esa librería?, ¿de donde la descargo?

No se porque tendrías que modificar el Linker script, normalmente solo se necesitan hacer cambios si vas a usar un bootloader, de lo contrario toda la RAM y la Memoria de Programa queda asignada a tu aplicación.

Pues principalmete por que la librería de microchip lo exige:

Si tu dispositivo tiene acceso a internet, con un módulo GPRS o por WIFI, no necesitas ni tarjeta SD, subes directamente en tiempo real, los datos a un servidor que los almacene. Hay sitios gratuitos para estas aplicaciones de IoT, de esta manera puedes ver en tiempo real todos los datos que va subiendo el dispositivo, más las estadísticas que te ofrecen para formatear la información.

En principio pensé montarme un servidor en una raspberry pero eso implicaría ya dos dispositivos que hay que mantener, si sabes de algún sitio gratuito para este tema y me puedes orientar de que va la cosa y que protocolo se utiliza para enviar los datos te lo agradecería.

[KILLERJC]

Raro, todas las implementaciones de FatFS que vi, es leer algún archivo.. y leer el stream de bytes.. por ende no necesitas modificar el linker, es como si quisieran "automatizar" las direcciones de memoria... Ahora esto no tiene sentido... Por que al poner el fatFS no te manejarias mas con direcciones sino con nombres asi como haces con los archivos de la PC.

Pero a no ser que quieras sacar la tarjeta y luego meterla en algún PC para leerla, podrias escribirla por SPI sin ningún sistema como el de FAT... Es mas... seguramente te convenga poner una Flash de 1M, todo depende de la cantidad de información que pensas tener y mantener....

[Thulsa Doom]

En principio creo que lo mejor sería cuanto más sencillo mejor, la verdad que la posibilidad de sacar la memoria y leerla en el PC no sería de vital importancia si es posible tener algún tipo de hipervinculo o algo parecido en la web del invento y que se pudiera bajar los datos en forma de tabla de excel o txt o algo así.

Lo más que me importa es tener la posibilidad de llevar algún tipo de registro y que este se pueda consultar, por eso pensaba en una memoria microSD y que se vayan creando archivos por mes donde se irían guardando los valores de los sensores cada hora, pero si tienen otra idea.

También digo que la única librería con la que he estado trasteando es la que michochip facilita y la verdad que eso de cambiar el linker no me hace mucha gracia y a demás ocupa mucho, y si quiero meterle web al chip pues no sé si todo entrará lo veo muy ajustado, el PIC que voy a usar es el 18F67J50

Como no tengo muy clara las cosas de como almacenar la información por eso se los consulto por que ustedes tienen más experiencia que yo y a demás dos mentes piensan mejor que una,

[xocas]

Si tu dispositivo tiene acceso a internet, con un módulo GPRS o por WIFI, no necesitas ni tarjeta SD, subes directamente en tiempo real, los datos a un servidor que los almacene. Hay sitios gratuitos para estas aplicaciones de IoT, de esta manera puedes ver en tiempo real todos los datos que va subiendo el dispositivo, más las estadísticas que te ofrecen para formatear la información.

En principio pensé montarme un servidor en una raspberry pero eso implicaría ya dos dispositivos que hay que mantener, si sabes de algún sitio gratuito para este tema y me puedes orientar de que va la cosa y que protocolo se utiliza para enviar los datos te lo agradecería.

Hay un sinfín de plataformas IoT, algunas 100% gratuitas y muchas otras de pago pero con planes básicos igualmente gratuitos. El protocolo más utilizado es MQTT, aunque hay alguna plataforma que sólo admite HTTP.

A pesar de que las diferencias entre algunas son muy pequeñas mi recomendación es hacer un borrador previo de las necesidades a cubrir y ver cual se aproxima más a nuestras expectativas. Y digo se aproxima porque posiblemente no encontremos una gratuita que las cubra al 100%.

Algunos detalles que recuerdo así en general serían:
- Gran facilidad a la hora de trabajar con Arduino o Raspberry (librerías, ejemplos, documentación abundante, etc) y practicamente nada fuera de estos entornos (con suerte, una API mal documentada).
- Dificultad o imposibilidad de descargar datos para ser tratados localmente.
- Imposibilidad de consultar datos previos a una fecha. Recuerdo haber visto an alguna parte que los datos no se conservan más allá de 30 días, aunque no recuerdo donde...
- Panel de visualización muy pobre en algunas plataformas.
...
Ojo, que son cosas de hace un par de años y no sé cómo estará ahora mismo el panorama.

La plataforma a la que dediqué más tiempo fue Cayenne usando una Raspberry y lo que puedo decir es que en poco más de cinco minutos lo tienes funcionando y es un sistema realmente pensado para torpes.

Te dejo un enlace a un artículo reciente sobre plataformas. Dale un ojo a la tabla comparativa.

un saludo

pd: cuando tenga algo de tiempo te comento acerca de una posible solución Open Source a nivel local. En mi opinión, sencilla y ESPECTACULAR...

[Thulsa Doom]

Hola de nuevo, pues he estado leyendo sobre las plataformas IoT y me está gustando la idea por que hay sitios libre y también plataformas open source que se puede instalar en un servidor casero pero tengo dudas, antes de nada quiero decir que no soy un programador experto y hago lo que puedo así que pido comprensión.

Tengo dudas sobre esto.
1º Todos los desarrollos que veo son o para arduino o para raspberry y no encuentro nada para PIC, ¿no hay alguna librería con algún ejemplo o algo para entender como funciona en PIC?

2º He estado leyendo que se podría implementar utilizando el protocolo TCP para enviar la cadena pero ¿a donde hay que enviar la cadena? por que en transmisiones TCP hay que poner una dirección IP para por ejemplo comunicarte con otro PIC, eso lo he hecho y funciona bien pero en este caso del IoT no se a donde hay que enviarlo.

pd: cuando tenga algo de tiempo te comento acerca de una posible solución Open Source a nivel local. En mi opinión, sencilla y ESPECTACULAR...

Estoy impaciente a esto que me dices, así que desde que puedas..... me estoy comiendo las uñas jajajajaja

Saludos

[xocas]

A grandes rasgos, esta es la premisa:
Dispositivos <---> Gateway <---> Cloud

Tomando el ejemplo de la estación meteorológica, por Dispositivos nos referimos a los sensores para la toma de datos (temperatura, humedad, etc) y en el Gateway se establecen las pautas de comunicación con la nube (Cloud). Las pautas de comunicación las proporciona la plataforma en formato de librerías y suelen contener, además del protocolo a utilizar, los identificadores de usuario, password, token, etc.

En el caso de Cayenne se proporcionan librerías para ser incluídas en el sketch de Arduino o ESP8266 y algo similar, para Python, si usamos una Raspberry.

Que yo sepa, esto es común en todas las plataformas on line, y tan sólo he visto un abanico mayor de opciones en las grandes o muy grandes plataformas. Por ejemplo:
Amazon Web Services incluye Intel, Texas, Renesas, Microchip, Qualcomm...
Google Cloud Platform incluye RPi, Arduino, Adafruit, Intel, NXP, Microchip...
Azure Microsoft incluye Intel, RPi, Texas, BeagleBoard, Seed...

En definitiva, si optas por una solución compatible con la programación Arduino o bien optas por usar un Raspberry tendrás resuelto el tema Entradas/Salidas, Unidad de Proceso y Gateway, además de un abanico de plataformas al alcance. Para otras soluciones tendrás que buscar primero una plataforma que lo haga posible.

Se me ocurre que quizá usando HTTP aumenten las posibilidades, pero entonces perderías otras prestaciones que te ofrece MQTT, además de ser algo así como unas 10 veces más ligero que HTTP.

****

No creo que disponga de tiempo antes del viernes o sábado para comentarte una solución a nivel local (un par de ellas en realidad). Te adelanto que la intención es crear una plataforma propia, según nuestras necesidades, y sin las limitaciones de las plataformas on line gratuitas.

Te dejo un vídeo para que vayas haciéndote una idea. En él se trata el control de servidores pero para un caso de IoT el proceso sería prácticament el mismo. Dale al play

InfluxDB + Telegraf + Grafana:

un saludo

pd: ya dije que Grafana me parece espectacular?

[Thulsa Doom]

Hola, ya he estado leyendo algo sobre el tema y ya veo que las propias plataformas IoT online te informan de lo que tienes que hacer para el manejo de los datos para enviarlos.
Yo estoy utilizando las librerías TCP/IP de microchip que ya vienen con varios servidores entre ellos el web y utiliza las funciones get y post para pasar los datos de el pic a la web del mismo pic, leí un post en microchip donde alguien utilizando los ejemplos HTTP de la librería se construía las instrucciones para comunicarse con las plataformas IoT online y no me pareció difícil solo echarle horas. También voy a ver esas librerías de arduino a ver si las migro y ya las tendría.

El vídeo que me has dejado está muy bueno, creo que se podría utilizar una raspberry pi con ubuntu para montar todo el sistema lo que habría que personalizar lo para lo que quiero.

Eso del vídeo también me recuerda a lo que hecho con Nagios, el principio de funcinamiento es el mismo lo que con Nagios se utiliza el protocolo SNMP que las librerías de microchip incluye y con un ejemplo que ya está todo echo y era mi idea principal de utilizar eso si no me quedaba otro remedio de utilizar un servidor propio.

También he visto que Aemet proporciona una plataforma IoT para que integres tu estación al sistema, no sé que requisitos te pedirán para poder entrar, por lo pronto lo primero que quiero es poder implementar las librerías en el pic y luego ver donde meto mi invento, a ver que encuentro por ahí por que hay muchos protocolos a usar, por lo que veo está el jSON, HTTP, REST, a ver si me aclaro más con todo esto.

Por lo que me comentas de las soluciones a nivel local no te preocupes, cuando puedas que a mi me queda mucho curro todavía jajajaja.

Saludos y gracias

[Geo]

Aunque envíes la información por red, dependiendo de la robustez que quieras darle al dispositivo, es conveniente que tengas almacenamiento local, en casos de que no puedas conectar a la red, el servidor no te responda, etc.

Haz una estimación de la cantidad de datos que quieres guardar cada hora, y hasta cuántas horas pretenderías poder almacenar información, así obtienes el tamaño aprox. de memoria que necesitas, con eso puedes revisar qué tipo de memoria podrías utilizar.

[xocas]

Hola, ya he estado leyendo algo sobre el tema y ya veo que las propias plataformas IoT online te informan de lo que tienes que hacer para el manejo de los datos para enviarlos.

Exactamente, suelen constar de la validación de usuario, el protocolo y un preformateo de la información acorde al funcionamiento de la plataforma.

***

Para el procesado, análisis y monitorización a nivel local vamos a necesitar una Raspberry o un pc con Linux (o Windows). Para el par de ejemplos que voy a comentar, una Raspberry será suficiente.

El motivo de decantarme por una solución local habiendo plataformas online gratuitas o con muy bajo coste se debe a las limitaciones que éstas imponen, sobre todo en las áreas de procesado y análisis, con elementos básicos y escasos para la toma de decisiones. Es muy posible que encuentres alguna que satisfaga las pocas necesidades (o eso creo) de una pequeña estación metereológica pero, en todo caso, te lo dejo como una opción más...

El primer ejemplo pasa por la instalación de un servidor MQTT + el conjunto de aplicaciones de InfluxData (Telegraf, InfluxDB) + un panel de visualización o Dashboard (Grafana o Chronograf).

InfluxDB es una base de datos específica para guardar registros de datos en una línea de tiempo (Time Series Databases). Es idónea para trabajar con datos destinados a generar gráficas en tiempo real.
Telegraf es un agente encargado de gestionar las entradas/salidas mediante el uso de plugins. Dispone de un gran número de plugins que permiten su integración con un gran número de servicios. Es más sencillo de usar que de explicar. Dejaré enlace a su documentación.
Grafana es un panel de visualización interactivo que ofrece grandes posibilidades de procesado y análisis, además un buen número de opciones de representación gráfica. Dispone de un buen número de plugins.
Chronograf es similar a Grafana, tengo entendido que su panel de visualización es más básico pero permite gestionar InfluxDB desde un entorno más amigable que la línea de comandos, cosa que no es posible desde Grafana.

Este sistema es muy utilizado para monitorizar servidores y diría que la mayoría de sus plugins están orientados a ello. No obstante, es igualmente válido para el mundo IoT.

En Raspberry, Grafana no muestra las gráficas en tiempo real si no que hay una cierta latencia. Supongo que debido a su baja capacidad de procesado.
No sé si funcionará con una distro Raspbian sin entorno gráfico (Lite), pero entiendo que de hacerlo, de poder prescindir de todos los recursos destinados a dicho entorno e innecesarios en este caso, la cosa mejoraría. Y debería ser aún mejor si se instala el SO en un pendrive en lugar de hacerlo en la uSD ya que los tiempos de lectura/escritura son mucho más cortos.

InfluxDB, Telegraf y Chronograf + documentación, plugins y descargas:
https://www.influxdata.com/time-series-platform/
https://docs.influxdata.com/telegraf/v1.10/
https://www.influxdata.com/products/integrations/
https://portal.influxdata.com/downloads/

Grafana: https://grafana.com/

***

Comparativa HTTP vs MQTT
Rethinking the Internet of Things: Ebook gratuito en  ApressOpen y Amazon

un saludo

[Thulsa Doom]

Hola, gracias por el aporte, creo que la mejor opción es como dices, montar eso en una raspberry pero antes tengo un problema a ver si me pueden echar una mano.

No consigo implementar la forma de ponerme en contacto con la plataforma IoT.

Estoy haciendo pruebas con https://thingspeak.com/ para entender de que va el protocolo de comunicación.

En principio es sencillo desde un explorador le puedes enviar los datos utilizando esto:

Código: [Seleccionar]

https://api.thingspeak.com/update.json?api_key=<write_api_key>&field1=123
Pero intento enviar esto mismos desde mi PIC pero no funciona (evidentemente poniendo mi clave de la web y el campo que quiero modificar, desde mi explorador funciona bien).

Estoy utilizando las librerías de microchip "Microchip v2013-06-15", se que son viejas pero microchip no ha sacado nada más actualizado para los pic de 8 bits (o eso creo), todas las demás librerías solo tiene wifi y yo estoy utilizando un EN28J60, no entiendo esa dejadez, creo que por culpa de eso y de más cosas los arduinos están arrasando.

Pues para enviar esa cadena al servidor he estado utilizando el ejemplo GenericTCPClient pero no consigo que me funcione.

¿Alguien me puede echar una mano con esto?

[xocas]

¿Puedes poner el código? (sin los datos clave, of course)

¿Estás seguro que el dispositivo está funcionando ok? ¿Si le haces un ping hay respuesta?

saludo

[Thulsa Doom]

Hola de nuevo.

¿Puedes poner el código? (sin los datos clave, of course)

Sin problema, el proyecto es una adaptación de un proyecto de prueba que microchip incluye en las librerías ya armado y listo para funcionar, solo lo he modificado para mi micro que es un PIC18F67J50 y todo funciona perfecto y no tienen nada nuevo es tal cual microchip lo ha armado, solo he estado intentando que funcionara la comunicación con la página IoT.
Aquí el código: Prototipo de estación meteorológica

¿Estás seguro que el dispositivo está funcionando ok? ¿Si le haces un ping hay respuesta?

Si funciona perfecto, tiene su propia página web donde hay botones y más cosa que hace que interactues con el micro desde la web y se le puede hacer pin y todo, tiene muchos servidodes como telnet, ftp, SNMP, etc etc.. todo funciona perfecto.

Para que sea más rápido el entender lo que he hecho voy a explicarlo, he logrado comunicar dos pic con el socket TCP por telnet y pensaba que sería lo mismo para comunicarme con la web IoT pero algo estoy haciendo mal.
También he de decir que me faltan conocimientos técnicos de como funciona el protocolo, he estado leyendo sobre el tema pero no lo entiendo del todo.

Al grano:

En la imagen se ve el árbol del proyecto, lo único que le he agregado es la carpeta ThingSpeak y cree un nuevo archivo con una copia del ejemplo GenericTCPClient y le he cambiado alguna cosita pero mínima cosa.


En el archivo fuente que he creado he editado la página web que apuntaba que era la de google, le he puesto mi cuenta de ThingSpeaker con mi clave y todo eso, he probado muchas formulas pero no, veo que si se me abre el socket pero no le llega lo que le envío.


Creo que el socket lo abre bien por que su respuesta es 0 pero tampoco se muy bien como funciona esto.


Luego sigue la rutina y llega cuando tiene que poner el dato en el buffer TX y lo envía. el buffer lo carga con

Código: [Seleccionar]

TCPPutROMString(MySocket, jSONRemoteURL);
y luego envía el string con.

Código: [Seleccionar]

TCPFlush(MySocket);

Todo esto es una prueba a ver si comprendo el mecanismo para enviar los datos a la web pero me está costando, como dije por mi falta de conocimientos, a ver si alguien me puede echar una mano.

Gracias

[xocas]

Prueba a cambiar:
// Defines the server to be accessed for this application
static BYTE jSONServerName[] = "api.thingspeak.com";

// Defines the port to be accessed for this application
static WORD jSONServerPort = 80;

// Defines the URL to be requested by this HTTP client
static ROM BYTE jSONRemoteURL[] = "/update.json?api_key=XXXXXXXXXXXX&field1=123";

Retira las barras de comentario:
// Place the application protocol data into the transmit buffer.
   TCPPutROMString(MySocket, (ROM BYTE*)"GET ");
   TCPPutROMString(MySocket, jSONRemoteURL);
   TCPPutROMString(MySocket, (ROM BYTE*)" HTTP/1.0\r\nHost: ");
   TCPPutString(MySocket, jSONServerName);
   TCPPutROMString(MySocket, (ROM BYTE*)"\r\nConnection: close\r\n\r\n");
   
En los ejemplos de la REST API a la hora de escribir los datos usa el método POST, pero creo que GET debería funcionar igualmente. Dale un ojo a la sección Write Data.

un saludo