Nos últimos dois sábados tivemos a 1ª turma do AirDBT – Modern Data Engineer um treinamento totalmente fora da curva oferecido por nós.

Ficamos muito contentes pela confiança mais uma vez dos nossos alunos, maioria da turma estava no seu 4º e até 5º curso.

Isso só comprova o nosso compromisso com uma formação com base na vida real dos projetos, sem firula, direto ao ponto e claro com muito hand-ons.

Confira abaixo quais temas foram abordados nessa incrível formação:

Cronograma:

Dia 1:

• Criação da conta na Google Cloud.
• Criar um Servidor Linux na nuvem.
• Instalar o Docker.
• Subir uma imagem do Postgres já com o banco configurado no Docker.
• Subir o airbyte no Docker.
• Ingestão de 70 tabelas no Bigquery com Airbyte.
• Data Lake Criado na Google.

Dia 2:

• Agora que temos o Data Lake criado, iremos utilizar ele como origem para criar o DW.
• Iremos utilizar o DBT para gerar as dimensões e fatos, usando SQL.
• Validação dos dados pelo DBT.
• Gerando a Documentação de forma automática.
• Gerando a Linhagem dos dados.
• Instalar o Apache Airflow.
• Criar as Dags para orquestrar o pipeline.
• Plataforma de dados Criada e agendada na nuvem.

Tudo isso em 16 horas.

Arquitetura Moderna de dados criada e entregue em 2 sábados, confira a arquitetura que criamos do zero no treinamento.

Muito Obrigado a todos pela confiança.

Rafael Arruda

Nesse último sábado começou o nosso novo Treinamento: AirDBT – Modern Data Engineer.

Nesse Treinamento o foco é criarmos uma Modern Data Stack, seria muito mais fácil fornecemos uma imagem de um Servidor pronto e totalmente configurado, mas e após os curso, como os alunos irão conseguir replicar no projeto atual deles.

Temas abordados no 1º dia:

• O que é uma Stack Moderna de Dados.
• Criação da conta na Google Cloud Plataform.
• Criação de um servidor Linux na nuvem.
• Instalação do Docker.
• Subimos um Postgres no Docker, que será nossa fonte de dados no curso.
• Subimos o Airbyte, que será o responsável pela ingestão dos dados.
• Carregamos 70 tabelas no Bigquery, dados brutos.
• E claro sempre com hand-ons, se o aluno tem dúvida compartilhamos a tela e assim avançamos todos juntos.

Tudo isso num único dia? Isso mesmo pois além de termos conhecimento no dia a dia por conta dos diversos clientes que atendemos, temos uma didática já conhecida e referência no mercado de dados.

Quer conhecer maiores informações, sobre o Treinamento, só acessar o link abaixo:

https://airdbt.arrudaconsulting.com.br/

Próximo sábado tem mais 8 horas, com os dados carregados no Data Lake, iremos criar o DW com o DBT e no final iremos realizar a orquestração dos pipelines utilizando Apache Airflow.

E assim finalizamos a Arquitetura do projeto do zero.

Muito Obrigado.

Time Arruda Consulting.