MinIO · Iceberg · Nessie · Spark · Trino · Superset

🎯 Objetivo do tutorial

Demonstrar, de forma prática, como funciona uma arquitetura Lakehouse moderna, explicando:

• o papel de cada componente
• os atores envolvidos no mundo real
• o fluxo de dados ponta a ponta

O foco está em ingestão, transformação e ativação de dados, e não em detalhes excessivos de infraestrutura.

📦 Repositório GitHub

• Infra já preparada
• README.md aponta para esta página no Notion
• Os serviços sobem um por vez, acompanhando a explicação do vídeo

1️⃣ O que será construído

📌 Resultado final do tutorial

Ao final, teremos um Lakehouse completo com:

• 🪣 Data Lake em object storage
• 🧊 Tabelas analíticas com capacidades de Data Warehouse
• 🌿 Metadados versionados
• 🔎 SQL interativo
• 📊 Visualização BI

Tudo usando ferramentas open source.

2️⃣ Arquitetura da Solução — Visão Geral

📐 Visão lógica da arquitetura

│            Usuários           │
│   Analistas BI | Eng. Dados   │
└───────────────┬───────────────┘
                │
                ▼
┌───────────────────────────────┐
│            Superset           │
│             Consumo BI        │
└───────────────┬───────────────┘
                │ SQL
                ▼
┌───────────────┬───────────────┐
│     Trino     │     Spark     │
│   (Query)     │  (Batch/ETL)  │
└───────────────┴───────────────┘
                │
                ▼
┌───────────────────────────────┐
│            Nessie             │
│    Catálogo / Versionamento   │
└───────────────┬───────────────┘
                │
                ▼
┌───────────────────────────────┐
│             MinIO             │
│    Object Storage (Parquet)   │
└───────────────────────────────┘

──────── Iceberg (Table Format / ACID / Snapshots) ────────