Este proyecto consiste en un análisis de datos masivos (Big Data) procedentes de un entorno de Hogar Inteligente (Smart Home). El objetivo principal es procesar, limpiar y explorar la información generada por distintos dispositivos IoT para extraer conclusiones sobre patrones de uso y consumo energético.
El flujo de trabajo abarca desde la creación y carga de los datos hasta su comprobación y exploración detallada, utilizando un entorno profesional de Databricks.
- Ingesta de datos: Carga eficiente de los datasets del hogar inteligente.
- Calidad del dato: Comprobación de la integridad de la información y limpieza.
- Exploración (EDA): Análisis exploratorio para entender el comportamiento de los dispositivos.
- Foco específico: Análisis detallado del uso y consumo de la Televisión (TV) y otros electrodomésticos clave.
Este proyecto ha sido desarrollado utilizando:
- Lenguaje: Python
- Plataforma: Databricks (Jupyter Notebook compatible)
- Librerías principales:
Pandas/Pyspark: Para la manipulación y procesamiento de datos.Matplotlib/Seaborn: Para la generación de gráficos y visualizaciones.
Proyecto_Smart_Home_Stefania.ipynb: Notebook principal que contiene todo el código del ciclo de vida del dato (ETL y Análisis).
A través del análisis de los datos de la TV y otros sensores, se observó que:
- Se detectaron patrones de consumo 'fantasma' cuando los dispositivos estaban en modo standby.*
- Stefania - Data Scientist Jr