Engenharia de Dados na AWS: do Zero aos Projetos Reais

Livro técnico complementar oficial do curso, com aulas completas, PDFs, laboratórios, desafios, quizzes, datasets, projetos executáveis e trilhas de estudo.

Repositório oficial · LinkedIn do instrutor · CloudStudy

Cupom GitHub: use GITHUB no link promocional do curso: acessar com desconto.

A trilha cobre fundamentos de AWS para dados, Data Lake com Amazon S3, ingestão com Python e Boto3, pipelines serverless com Lambda, catálogo e ETL com AWS Glue, consultas com Amazon Athena, infraestrutura como código com Terraform, CI/CD, observabilidade, custos e uso de IA como apoio técnico.

• Uma estrutura de Data Lake no Amazon S3.
• Um pipeline Python com regras de qualidade, quarentena, manifesto e testes.
• Uma função Lambda orientada a eventos com idempotência verificável.
• Processamento Glue, catálogo e consultas Athena sobre dados analíticos.
• Infraestrutura completa com Terraform e CI/CD com GitHub Actions e OIDC.
• Um projeto final de analytics de vendas pronto para reconstrução e portfólio.

Os PDFs disponíveis estão linkados nos READMEs dos módulos 01 a 14.

1. Comece pelo mapa da formação.
2. Acesse o README do módulo correspondente à aula em andamento.
3. Nos módulos com PDF, consulte o arquivo complementar indicado em Materiais.
4. Use os datasets sintéticos somente para fins educacionais.
5. Consulte o glossário técnico ao encontrar um termo novo.
6. Antes de qualquer prática com AWS, leia segurança e custos.
7. Valide a cópia local com powershell -ExecutionPolicy Bypass -File scripts/validar-estrutura.ps1 ou python scripts/validar-estrutura.py.

• Jornada técnica em diagramas
• Roadmap de Cloud
• Roadmap de Engenharia de Dados
• Roadmap de certificações

• Conta AWS com orçamento e alertas configurados.
• Git e GitHub.
• Python 3 e ambiente virtual local.
• AWS CLI configurada com perfis seguros.
• Terraform para os módulos de infraestrutura.
• Editor de código, como VS Code.

Os laboratórios podem criar recursos pagos na AWS. Sempre valide conta, região, orçamento, permissões e procedimento de limpeza antes de executar qualquer atividade prática. Nunca publique credenciais, tokens, dados pessoais, estados Terraform sensíveis ou evidências com informações privadas.

.
|-- architecture/  # Diagramas Mermaid da jornada e dos pipelines
|-- datasets/      # 23 datasets sintéticos documentados
|-- docs/          # Glossário, cheat sheets, preparação e roadmaps públicos
|-- links/         # Biblioteca temática de referências gratuitas
|-- modulos/       # 15 capítulos com aulas e práticas
|-- projetos/      # 5 projetos executáveis e testáveis
`-- scripts/       # Validações locais do material

• Guia de contribuição: CONTRIBUTING.md
• Segurança: SECURITY.md
• Código de conduta: CODE_OF_CONDUCT.md