Nesse último sábado começou o nosso novo Treinamento: AirDBT – Modern Data Engineer.

Nesse Treinamento o foco é criarmos uma Modern Data Stack, seria muito mais fácil fornecemos uma imagem de um Servidor pronto e totalmente configurado, mas e após os curso, como os alunos irão conseguir replicar no projeto atual deles.

Temas abordados no 1º dia:

• O que é uma Stack Moderna de Dados.
• Criação da conta na Google Cloud Plataform.
• Criação de um servidor Linux na nuvem.
• Instalação do Docker.
• Subimos um Postgres no Docker, que será nossa fonte de dados no curso.
• Subimos o Airbyte, que será o responsável pela ingestão dos dados.
• Carregamos 70 tabelas no Bigquery, dados brutos.
• E claro sempre com hand-ons, se o aluno tem dúvida compartilhamos a tela e assim avançamos todos juntos.

Tudo isso num único dia? Isso mesmo pois além de termos conhecimento no dia a dia por conta dos diversos clientes que atendemos, temos uma didática já conhecida e referência no mercado de dados.

Quer conhecer maiores informações, sobre o Treinamento, só acessar o link abaixo:

https://airdbt.arrudaconsulting.com.br/

Próximo sábado tem mais 8 horas, com os dados carregados no Data Lake, iremos criar o DW com o DBT e no final iremos realizar a orquestração dos pipelines utilizando Apache Airflow.

E assim finalizamos a Arquitetura do projeto do zero.

Muito Obrigado.

Time Arruda Consulting.

Tudo bem contigo?

Nesse sábado, 20/05/2023, tivemos o 1º dia do nosso mais novo treinamento, Python para Engenheiro de dados, aplicado pelo instrutor Leandro Silva.

Neste sábado foram abordados os seguintes temas:

• Criação da conta na Google Cloud.
• Utilizamos o IAM para criar as permissões e acessos.
• Criação de um banco de dados na nuvem, no caso o PostgreSQL.
• Conectamos no Bando de dados via Dbeaver
• Instalação do Python e também Vscode
• Conectamos no Postgres utilizando o Python.
• Criação da camada raw(bronze) do nosso data lake na Google Cloud utilizando o Python para ingestão dos dados.

Tudo isso no formato 100% Hand-ons, muito prático, sem contar que quando um aluno tinha algum erro, compartilhava a tela e o nosso instrutor e os alunos resolviam o problema, erros que os alunos só iriam ver em seus projetos conseguiram não só ver esses erros mas como resolver também.

Temos a certeza que após esse treinamento nossos alunos estarão muito mais preparados para as oportunidades de Engenheiro de dados.

Sábado que vem temos mais 8 horas de imersão de Python com Google Cloud.

Muito Obrigado a todos os nossos alunos que confiaram mais uma vez no nosso trabalho!!

Até o próximo artigo!!

Antes de mais nada Você provavelmente conhece o Big Query, Google Storage, soluções bem utilizadas na Google Cloud Plataform, porém temos um serviço novo chamado Google Data Fusion, a solução de ETL  da Google.

Em outras palavras Google Data Fusion é uma solução Drag-Drop. Onde criamos pipelines de dados escaláveis utilizando muito pouco código, uma ideia parecida ao nosso Pentaho Data Integration. Porém Com a vantagem de ter uma integração nativa com diversos serviços da plataforma.

Segue abaixo uma evidência de um pipeline feito no Data Fusion:

Então Nesse pipeline basicamente estamos lendo alguns dados de clientes depois Fizemos alguns tratamentos e salvamos em uma tabela do Big Query.

Dessa forma após o fluxo ter sido executado já temos os dados na nova tabela no Big Query utilizando muito pouco código.

Além disso possui:

• Data lakes modernos e mais seguros no Google Cloud
• Armazenamento de dados ágil com o BigQuery
• Ambiente de análise unificado
• Ampla biblioteca de mais de 150 conectores e transformações pré-configurados sem custo adicional
• Interface visual do tipo “apontar e clicar” que possibilita a implantação de pipelines de dados ETL/ELT sem código
• Linhagem de dados completa para causa raiz e análise de impacto Além disso Os melhores serviços do Google Cloud integrados nativamente

Ou seja Aprenda tudo sobre Google Cloud e se destaque no Mercado.

Como Aprender?

Essa é uma solução que está dentro do nosso treinamento de Google Cloud. Se você quiser aprender tudo isso na prática e muito mais,  em março teremos o terceiro treinamento ao vivo de Google Cloud.

É Uma verdadeira imersão de engenharia de dados e Google Cloud. As inscrições estão abertas por tempo limitado. para acessar a pagina do evento é só Clicar aqui

Ou Se quiser ir direto para os ingressos Clique aqui

Olá Tudo bem com você?

Todos sabemos que o Power BI é uma das soluções mais utilizadas pelas empresas quando falamos em Análise de dados e principalmente na criação de Dashboards para sua empresa, e que por muito tempo quando fazíamos as entregas do projeto e tínhamos que ter um servidor  Windows por causa do gateway que é o responsável por atualizar os dados.

Porém com o Big Query, além de ter uma performance que chama atenção de todos, não é necessário ter um Gateway para acessar os dados do Big Query.

Para acessar os dados que estão no Google Big Query temos duas opções de conexão:

• Importar
• DirectQuery

E após publicar o Dashboard, na hora de agendar a atualização da fonte de dados.

Para minha surpresa Para conectar o Power BI no Big Query não precisa de um Gateway.

Ou Seja podemos ter um Servidor Linux na Google Cloud sem problemas pois não precisamos mais de um Servidor Windows para utilizar o Gateway.

Quer conhecer mais sobre o Big Query e a Google Cloud Plataform, então fiquem ligados  que a 3ª turma do Treinamento: Pentarruda Google Cloud! está com inscrições abertas.

Para fazer sua inscrição é só Clicar Aqui.

Você ainda ganha acesso a nossa comunidade de alunos Pentarruda onde ajudamos uns aos outros compartilhando muita informação e resolvendo dúvidas relacionado a Engenharia de Dados e Business Intelligence!

Olá!

Tudo bem contigo?

Nesse sábado(11/09/2021) tivemos o 1º dia do nosso mais novo treinamento: Pentarruda Google Cloud!

Que dia íncrivel, primeiro pelas pessoas que estão nesse treinamentos, muitas referências na área de dados temos especialistas em diversas Tecnologias, ETL, Power BI, Qlik, Tableau, Banco de dados, RPA e por ai vai, praticamente uma Tropa de Elite dos dados, e poderia ser treinamento de qualquer um de vocês e eu ter a confiança de vocês como Instrutor me deixou bem feliz!

Bom nesse curso o foco é os serviços da Google Cloud e como podemos utilizar o Pentaho Data Integration para integrar dados na nuvem, e poder criar um Data lake em utilizar uma linha de código.

Nesse primeiro dia abordamos os seguntes tópicos e sempre no formato hand-ons!

• O que é Pentaho? O que é Google Cloud Plataform?
• Instalação do ambiente do treinamento.
• Criação da conta na GCP.
• Utilizamos o IAM para criação do projetos, permissões.
• Criação do bucket no Google Cloud Storage.
• Integrando o Pentaho Data Integration com o Cloud Storage.
• Integrando os dados do storage com o Big Query
• Explorando os dados do big query no Google Data Studio(Dataviz)

E dessa forma criamos toda a estrutura do zero na Cloud.

Semana que vem tem mais!

E gostaria de agradecer aos mais de 30 alunos já na 1ª turma do nosso treinamento!

Muito obrigado a todos vocês!