MOOC BigData: Diseño final del sistema de adquisición de datos

Summary

El proyecto CONVIVE presenta una solución integral para la adquisición de datos urbanos mediante sensores IoT y aplicaciones de participación ciudadana. A través de un sistema que integra dispositivos de medición de ruido y plataformas web, se gestiona la información de manera coherente y homogénea. Se detalla el diseño y la implementación de los sensores, las pasarelas de comunicación, y los concentradores de datos, empleando tecnologías como MQTT, IPv6 Lowpan, y plataformas como Arduino y Raspberry Pi. Los datos se almacenan en formatos como CSV y bases de datos noSQL, permitiendo una gestión eficiente de la información obtenida.

Takeaways

• 😀 Se presenta el proyecto CONVIVE, el cual integra sistemas de adquisición de datos de dos fuentes: sensores del entorno y participación ciudadana.
• 😀 El sistema de adquisición de datos busca combinar ambas fuentes de información de manera coherente y homogénea, sin distinción entre ellas.
• 😀 Se definen cuatro entidades clave en la solución tecnológica: sensores IoT, aplicaciones de participación ciudadana, pasarelas de comunicación y concentradores de datos.
• 😀 La ubicación de los sensores es crucial, considerando factores como el ruido en diferentes puntos de la ciudad y posibles actos de vandalismo.
• 😀 El diseño de los sensores incluye la selección de protocolos de comunicación (802.15.4, IPv6 lowpan) y el uso de plataformas como Arduino Uno para implementar la solución.
• 😀 Para proteger los sensores en exteriores, se utilizan cajas adecuadas que protejan contra el vandalismo sin interferir en la medición del ruido.
• 😀 La aplicación de participación ciudadana es una plataforma web donde los ciudadanos pueden enviar incidencias a un servidor, pero no se detallan sus aspectos técnicos en este curso.
• 😀 Las pasarelas transforman los protocolos de comunicación de los sensores a formatos compatibles con Internet, y se utiliza hardware como Raspberry Pi junto con software como Kura.
• 😀 El concentrador de datos recibe información de los sensores mediante MQTT, la almacena en un servidor MQTT y la transforma en archivos CSV mediante un script en Python.
• 😀 Los datos de la participación ciudadana se almacenan en una base de datos noSQL, específicamente mongoDB, y se utiliza el framework Django para gestionar el servidor web y las incidencias.
• 😀 En el próximo módulo se centrará en la gestión de datos, con una interfaz entre el sistema de adquisición de datos y el sistema de gestión, que utilizará tanto archivos CSV como mongoDB.

Q & A

¿Cuál es el objetivo del proyecto CONVIVE?

El proyecto CONVIVE tiene como objetivo desarrollar una solución tecnológica que permita adquirir datos de forma coherente y homogénea sobre el entorno (como el ruido) y la participación ciudadana, integrando ambas fuentes de información.

¿Qué componentes clave se mencionan en el sistema de adquisición de datos?

El sistema de adquisición de datos se compone de cuatro elementos clave: los sensores del Internet de las Cosas (IoT), las aplicaciones de participación ciudadana, las pasarelas de conexión, y los concentradores de datos donde se almacena la información.

¿Cómo se realiza la comunicación entre los sensores y los concentradores de datos?

Los sensores y las aplicaciones de participación ciudadana recogen información que luego es enviada a los concentradores de datos. Los sensores envían la información a través de pasarelas, y un concentrador de datos puede recibir información tanto de los sensores como de las aplicaciones web sin distinción.

¿Qué protocolo de comunicación se ha elegido para los sensores?

Para los sensores, se ha elegido el protocolo 802.15.4 a nivel físico, el IPv6 lowpan para la conectividad lógica, y el MQTT para la aplicación que gestiona los niveles de ruido.

¿Qué hardware se ha elegido para los sensores y por qué?

Se ha elegido la plataforma Arduino Uno para los sensores, ya que es una plataforma genérica que permite implementar la conectividad física, lógica, y las aplicaciones necesarias, aunque requiere agregar módulos adicionales de hardware y software para completar las funcionalidades.

¿Cómo se protege el sensor en el entorno exterior?

El sensor se protege mediante cajas adecuadas que no interfieren con la medición de la magnitud física. Estas cajas también deben ser resistentes al vandalismo y permitir anclar el sensor en la ubicación deseada.

¿Qué función cumple la pasarela en el sistema?

La pasarela transforma los protocolos de comunicación de los dispositivos de los sensores, como 802.15.4 e IPv6 lowpan, a los protocolos de Internet, permitiendo la conexión de los sensores con los concentradores de datos a través de Internet.

¿Cómo se gestionan los datos de los sensores en el concentrador de datos?

En el concentrador de datos, los mensajes MQTT de los sensores se almacenan en un servidor 'buzón' MQTT, como Mosquitto, y luego se procesan para extraer el nivel de ruido y convertir estos datos en un archivo CSV utilizando un script en Python.

¿Qué rol tiene la aplicación de participación ciudadana en el sistema?

La aplicación de participación ciudadana permite a los ciudadanos reportar incidencias, como problemas relacionados con el ruido. Los informes se envían a un servidor web y se almacenan en una base de datos noSQL (MongoDB).

¿Por qué se eligió la base de datos noSQL MongoDB para almacenar las incidencias ciudadanas?

Se eligió MongoDB debido a que es una base de datos noSQL, lo cual la hace adecuada para almacenar datos que pueden no seguir una estructura fija, como las incidencias ciudadanas, y permite un manejo más flexible de los datos.