Já imaginou subir o teu ambiente de Desenvolvimento em 1 min na Cloud? Pois bem eu achava que isso era algo muito distante, algo que somente programadores ou profissionais de Devops poderiam fazer, acho que me enganei mais uma vez.

Nos últimos 2 anos temos tido quase que uma imersão em projetos Google Cloud, somente neste momento temos 5 projetos acontecendo ao mesmo tempo, um começando outro sendo entregue, mas é uma quantidade considerada de projetos numa mesma Cloud.

Isso falando somente da nossa empresa, o curioso que em nenhum projeto a Arquitetura é igual a outra, pois cada empresa é única e cada projeto é único.

Recentemente fomos contratado para criar a Infra-estrutura de um projeto que será implantado o Data Lake, até aqui tranquilo, porém tinha que ser feito em Terraform.

Terraform é uma ferramenta de código aberto desenvolvida pela HashiCorp que é usada para automatizar a implantação e a gestão de infraestrutura como código (IaC).

Com ele podemos criar toda uma Infra-estrutura nas nuvens da Google Cloud, AWS ou Azure utilizando scripts, seja para criar Servidores, Bucket, bancos de dados, entre diversos outros recursos.

Desafio aceito, segue abaixo de um vídeo demonstrando como Subimos o nosso ambiente de DEV na Arruda Consulting, utilizando Terraform.

Muito Obrigado.

Rafael Arruda.

Nesse último sábado começou o nosso novo Treinamento: AirDBT – Modern Data Engineer.

Nesse Treinamento o foco é criarmos uma Modern Data Stack, seria muito mais fácil fornecemos uma imagem de um Servidor pronto e totalmente configurado, mas e após os curso, como os alunos irão conseguir replicar no projeto atual deles.

Temas abordados no 1º dia:

• O que é uma Stack Moderna de Dados.
• Criação da conta na Google Cloud Plataform.
• Criação de um servidor Linux na nuvem.
• Instalação do Docker.
• Subimos um Postgres no Docker, que será nossa fonte de dados no curso.
• Subimos o Airbyte, que será o responsável pela ingestão dos dados.
• Carregamos 70 tabelas no Bigquery, dados brutos.
• E claro sempre com hand-ons, se o aluno tem dúvida compartilhamos a tela e assim avançamos todos juntos.

Tudo isso num único dia? Isso mesmo pois além de termos conhecimento no dia a dia por conta dos diversos clientes que atendemos, temos uma didática já conhecida e referência no mercado de dados.

Quer conhecer maiores informações, sobre o Treinamento, só acessar o link abaixo:

https://airdbt.arrudaconsulting.com.br/

Próximo sábado tem mais 8 horas, com os dados carregados no Data Lake, iremos criar o DW com o DBT e no final iremos realizar a orquestração dos pipelines utilizando Apache Airflow.

E assim finalizamos a Arquitetura do projeto do zero.

Muito Obrigado.

Time Arruda Consulting.

Tudo bem contigo?

Nesse sábado, 20/05/2023, tivemos o 1º dia do nosso mais novo treinamento, Python para Engenheiro de dados, aplicado pelo instrutor Leandro Silva.

Neste sábado foram abordados os seguintes temas:

• Criação da conta na Google Cloud.
• Utilizamos o IAM para criar as permissões e acessos.
• Criação de um banco de dados na nuvem, no caso o PostgreSQL.
• Conectamos no Bando de dados via Dbeaver
• Instalação do Python e também Vscode
• Conectamos no Postgres utilizando o Python.
• Criação da camada raw(bronze) do nosso data lake na Google Cloud utilizando o Python para ingestão dos dados.

Tudo isso no formato 100% Hand-ons, muito prático, sem contar que quando um aluno tinha algum erro, compartilhava a tela e o nosso instrutor e os alunos resolviam o problema, erros que os alunos só iriam ver em seus projetos conseguiram não só ver esses erros mas como resolver também.

Temos a certeza que após esse treinamento nossos alunos estarão muito mais preparados para as oportunidades de Engenheiro de dados.

Sábado que vem temos mais 8 horas de imersão de Python com Google Cloud.

Muito Obrigado a todos os nossos alunos que confiaram mais uma vez no nosso trabalho!!

Até o próximo artigo!!

Tudo bem contigo?

Passando pra avisar que estamos aumentando o nosso time, estamos com uma oportunidade para trabalhar em São Paulo.

Para essa oportunidade estamos pedindo como pré-requisito, Power BI e conhecimento em linguagem SQL.

Neste projeto temos 2 engenheiros de dados trabalhando aonde estão extraindo os dados dos sistemas de origem e utilizando o Pentaho para gravar os dados no Big Query, utilizando a mesma arquitetura do nosso curso de GCP,  caso queira conhecer a arquitetura utilizada só clicar no link abaixo:

https://arrudaconsulting.com.br/pentaho-gcp/

São 6 meses de projeto e modalidade PJ.

Caso tenha interesse basta enviar o teu CV para o email: contato@arrudaconsulting.com.br

Muito Obrigado!!!

Parte 1 – Pegando os dados no Console da GCP

Ao acessar o console da GCP, na primeira página, pegue o ID do Projeto, neste meu teste é “braided-woods-377716“. Agora, navegue até Contas de Serviço.

Após acessar esta página, no usuário com permissão de Admin, clique nos três pontinhos na direita, em ações, e marque a opção “Gerenciar Chaves”. Depois, clique em “Criar nova chave”.

Escolha a opção Json, clique em Criar e salve o arquivo .json que fará o download.

Parte 2 – Instalando o Driver ODBC.

Pesquise sobre “Drivers ODBC e JDBC para BigQuery” no google. A versão atual (março/2023) é a ODBC versão 2.5.2.1004, mas se quiser, clique aqui e tenha acesso direto. Após o download, instale o Driver. Após a instalação, na barra de pesquisa do Windows, procure por “Fontes de Dados ODBC”.

Após abrir a janela, clique em adicionar e localize o “Simba ODBC Driver for Google BigQuery”.

Para configurar, em “Authentication”, escolha a opção “User Authentication” e dê as permissões necessárias.

Após permitir, vai aparecer a tela de confirmação e essa é a tela após a autorização:

Agora vamos clicar em Test, para ver se está tudo ok. Se tiver chegado até aqui: SUCESSO!!

Antes de configurar o Apache, faça o download dos Drivers Jdbc do Google Big Query AQUI, e extraia todos os arquivos “.jar” na pasta Lib > beam, do seu Hop.

Parte 3 – Configurando a conexão no Apache Hop.

Em “Relational Database Connection”, clique em New e escolha o tipo de conexão “Google BigQuery”.

Nesta etapa, vamos colocar apenas a URL, da seguinte forma:

jdbc:bigquery://https://www.googleapis.com/bigquery/v2:443;OAuthType=0;ProjectId=SEU_PROJECT_ID;OAuthPvtKeyPath=DIRETORIO_DO_SEU_JSON;OAuthServiceAcctEmail=SEU_EMAIL_NA_GCP

Ah, Database não pode ficar em branco, então pode colocar qualquer texto

.

Vamos agora consultar os dados no BigQuey, usando o step “Table Input”.

Então, Já temos o acesso ao BigQuery, agora é atuar no pipeline. Neste exemplo, coloquei como saída os dados para um arquivo csv, mas poderia ser outra saída.

Gostou? Tem alguma contribuição? Manda aqui.

Que tal tentar este processo no Pentaho? Fica a dica: Cria a variável de ambiente (GOOGLE_CLOUD_PROJECT) no Windows e aponta para o id do Projeto.

Quer aprender sobre Hop ou Pentaho? https://arrudaconsulting.com.br/

Thiago Viana

Tudo bem contigo?

Recentemente um dos nossos alunos estava com dificuldades para gravar dados no Google Storage, para poder criar o seu 1º Data lake, utilizando o Pentaho Data Integration, funcionava normal, porém na hora de entregar o projeto.

Criar o Servidor na Google Cloud, utilizando o Compute Engine e instalar o Pentaho Server, tudo ok.

Não sabe criar um servidor na nuvem e instalar o Pentaho Server? Não tem problema temos uma live aonde fizemos esse processo, só clicar no link abaixo:

Porém na hora de executar o ETL, dava erro de permissão, segue o erro abaixo:

Esse erro é porque a nossa chave json, do Compute Engine não tem algumas permissões do serviço Google Storage, é necessário Ir até o serviço IAM e clicar em papéis.

Iremos criar um papel,  que vamos chamar de Storage, e depois iremos clicar em Adicionar permissões.

Iremos adicionar as seguintes permissões:

composer.dags.execute
composer.dags.get
composer.dags.list
composer.environments.create
composer.environments.delete
composer.environments.get
composer.environments.list
composer.environments.update
composer.imageversions.list
composer.operations.delete
composer.operations.get
composer.operations.list
serviceusage.quotas.get
serviceusage.services.get
serviceusage.services.list
storage.buckets.create
storage.buckets.createTagBinding
storage.buckets.delete
storage.buckets.deleteTagBinding
storage.buckets.get
storage.buckets.getIamPolicy
storage.buckets.list
storage.buckets.listEffectiveTags
storage.buckets.listTagBindings
storage.buckets.setIamPolicy
storagetransfer.projects.getServiceAccount

Agora basta editarmos a conta que a nossa chave foi criada e adicionar o papel Storage na conta, dessa forma estaremos adicionando as permissões acima na nossa conta.

E para finalizar se voltar no IAM irá ter a conta do Compute Engine, será necessário criar uma chave nessa conta, e atualizar a tua variável de ambiente:

Basta utilizar o comando para atualizar a variável de ambiente para essa nova chave, e reiniciar o serviço do Pentaho Server e executar a transformação novamente!

E agora conseguimos executar o nosso pipeline com sucesso, gerando o arquivo no Google Storage.

Ao verificar o log, vemos que temos os dados no log do Pentaho Server.

Arquivo gerado com sucesso no Google Storage.

Esse artigo te ajudou? Comente aqui e compartilha, pois foram horas de tentativa e erro para chegar nessa solução.

Agora só entregar o seu projeto com essa baita solução Pentaho + GCP.

Muito Obrigado e até o próximo artigo!

Após o sucesso das duas primeirar turmas, abrimos mais uma, antes de termos o conteúdo em EAD.

No 1º dia do treinamento, o foco foi em criar uma plataforma de dados, utilizando as coluções da Google e também do Pentaho.

• Preparamos o ambiente.
• Criamos a conta da GCP do zero.
• Configuramos a conta de serviço no IAM.
• Integramos o Pentaho Data Integration com a GCP.
• Criamos um Data Lake.
• Fizemos consulta no Data Lake utilizando o Big Query
• Conectamos o Data Studio e o Power BI no Data Lake.

E sábado que vem tem mais 8 horas de Google Cloud Plataform.

Muito Obrigado por confiarem no nosso trabalho para se tornarem um Engenheiro de dados.

Nesse último sábado finalizamos mais uma turma do nosso treinamento de Google Cloud.

Mais uma turma íncrivel, aonde criamos um Data Lake do zero, desde a criação da conta da GCP, e num formato hand-ons que vem consolidando cada vez a Arruda Consulting como referência em formar profissionais na área de dados.

Criamos a seguinte arquitetura abaixo nos dois sábados:

Utilizamos as soluções Pentahjo e Google Cloud para criar uma plataforma de dados na nuvem.

Abordamos os seguintes serviços GCP:

• Cloud SQL
• Data Fusion
• Google Cloud Storage
• Big Query
• Compute Engine
• Data Studio

E Muito Obrigado a todos que participaram desse treinamento e muito obrigado também pela confiança no nosso trabalho!!!

Se você quiser participar da próxima clique aqui e veja se estamos com inscrições abertas.

E sejam todos bem-vindos a comunidade #pentarruda!

Ótima semana pra vocês.

E no último sábado iniciamos a 2ª turma do nosso treinamento: Pentarruda Google Cloud!

Mais de 20 pessoas totalmente engajadas e compromissadas em subir de patamar em suas carreiras.

Em um único dia abordamos os seguintes temas:

• Instalação do ambiente.
• Criação da Conta no GCP
• Configuramos permissões e acessos no IAM.
• Integrando o Pentaho Data Integration com a Google Cloud.
• Utilizando o PDI para gravar dados dentro da nuvem.
• Criamos um Data Lake na Google, armazenando os dados no Google Storage.
• Acessamos os dados através do Big Query.
• Conectamos o Data Studio para ler os dados do Big Query.

Bom Tudo isso em um único sábado, e claro que no formato hand-ons que já é uma caracteristica dos nossos treinamentos, aonde todos os alunos fazem junto com o Instrutor e já tiram suas dúvidas na hora.

Gostaria de já agradecer pelos feedbacks que recebemos já no primeiro dia do treinamento Google Cloud.

Sábado que vem temos mais 8 horas de Google Cloud!!

Obrigado e boa semana a todos!!!

Olá!

Tudo bem contigo?

Antes de mais nada Talvez você já tenha conectado em algum banco de dados que esteja na nuvem, certo? Porém se te pedirem para CRIAR um banco de dados na nuvem você saberia fazer?

Se a resposta for não, fique tranquilo que esse artigo irá te ensinar como criar um banco de dados na GCP, além disso iremos mostrar como acessar esse banco.

Primeiramente para criar um banco de dados, independente na nuvem não é só clicar em criar e pronto, sempre tem alguma regra de liberação para você conseguir conectar neste banco.

Nesse sentido Iremos criar um banco de dados na Google Cloud Plataform. Para Criar banco de dados relacionais usamos O serviço Cloud SQL e temos 3 opções:

• Mysql
• PostgreSQL
• SQL Server

Agora Iremos clicar em Escolher Mysql, para criar uma instância de banco de dados.

No id da Instância: mysql_test.

Senha: Irá cadastrar.

E iremos escolher a versão 5.6 para esse nosso teste.

A nossa instancia ela vem com uma configuração padrão de 4CPU e 26GB de RAM, para o nosso teste podemos utilizar uma configuração mais simples mesmo.

Embaixo de Personalizar sua Instância só clicar em Mostrar Opções de Configuração.

Agora sim, teremos uma CPU com 3,75GB de RAM para o nosso teste.

Armazenamento: Podemos manter os 100GB mesmo.

Além Disso Um detalhe importante é em conexões, aonde informamos qual IP que terá acesso ao Banco de dados que estamos criando.

Utilizando o IP: 0.0.0.0/0 Qualquer Pessoa irá conseguir acessar o banco de dados desde que o usuário e senha estejam corretor.

Caso quiser fazer o teste com o seu IP Público basta acessar o seguinte link: Check your IP address | MyIP.com

E copiar o seu IP público e utilizar ao invés do IP na imagem abaixo.

A configuração é muito importante, sem ela você nunca irá acessar o banco fora da Google Cloud, ou seja através de algum computador pessoal ou da sua empresa.

Agora é só clicar em criar Instância, e esperar alguns minutos até que o seu banco de dados esteja disponível.

Imediatamente O Endereço do IP Publico é o IP do banco de dados.

Em seguida iremos tentar acessar esse banco de dados.

Agora Vamos utilizar o HeidSQL para conectar no banco de dados, da mesma forma você pode utilizar a IDE que esta acostumado a utilizar como Workbench, Dbeaver.

User: root

Senha: Senha cadastrada na hora de criar a instancia.

finalmente estamos conectado no Mysql que esta dentro da Google Cloud Plataform.

Então é dessa forma que criamos um banco de dados na Google Cloud e assim como acessamos esse banco do nosso computador.

Curso Completo de Google Cloud

E se você quiser aprender tudo sobre Integração de Dados no Google Cloud, Confira nosso Treinamento de GCP que acontece no dia 12/03 onde iremos ensinar tudo desde como Criar até como Entregar um projeto no Google Cloud Platform

Clique no Link e Faça sua inscrição no treinamento de Google Cloud Platform – (Inscrições Abertas)

Muito Obrigado!