A arquitetura proposta adota o Databricks como plataforma central de Data Lakehouse, oferecendo um ambiente unificado para ingestão, processamento, governança e consumo de dados.
O uso do Databricks reduz a complexidade operacional ao abstrair a gestão de infraestrutura, permitindo que o time foque na engenharia, qualidade e valor dos dados.
-
Databricks Lakehouse Platform (Free Edition)
Centraliza processamento, armazenamento lógico e ambiente analítico em uma única plataforma, reduzindo overhead operacional e acelerando o desenvolvimento de soluções de dados. A abordagem Lakehouse garante flexibilidade analítica com governança e organização de dados. -
Apache Spark Gerenciado Permite processamento distribuído e escalável sem a necessidade de administrar clusters manualmente, sendo adequado para ETL/ELT, feature engineering e análises em grandes volumes de dados.
-
Arquitetura Medallion (Bronze, Silver, Gold) Garante rastreabilidade, qualidade e confiabilidade dos dados. A separação por camadas permite reprocessamentos seguros, auditoria e entrega de dados prontos para consumo analítico e tomada de decisão.
-
Notebooks Databricks
Fornecem um ambiente colaborativo para exploração, validação e desenvolvimento analítico o que acelera o ciclo de análise e experimentação.
Criar conta no Databricks Free (https://login.databricks.com/signup?)
Criar catalog = hackathon2025:
Criar volume e fazer ingestão dentro do catalog hackathon2025:
Criar git folder = Hackathon-2025:
Criar folder (silver e gold) no workspace Hackathon-2025:
