Já imaginou subir o teu ambiente de Desenvolvimento em 1 min na Cloud? Pois bem eu achava que isso era algo muito distante, algo que somente programadores ou profissionais de Devops poderiam fazer, acho que me enganei mais uma vez.

Nos últimos 2 anos temos tido quase que uma imersão em projetos Google Cloud, somente neste momento temos 5 projetos acontecendo ao mesmo tempo, um começando outro sendo entregue, mas é uma quantidade considerada de projetos numa mesma Cloud.

Isso falando somente da nossa empresa, o curioso que em nenhum projeto a Arquitetura é igual a outra, pois cada empresa é única e cada projeto é único.

Recentemente fomos contratado para criar a Infra-estrutura de um projeto que será implantado o Data Lake, até aqui tranquilo, porém tinha que ser feito em Terraform.

Terraform é uma ferramenta de código aberto desenvolvida pela HashiCorp que é usada para automatizar a implantação e a gestão de infraestrutura como código (IaC).

Com ele podemos criar toda uma Infra-estrutura nas nuvens da Google Cloud, AWS ou Azure utilizando scripts, seja para criar Servidores, Bucket, bancos de dados, entre diversos outros recursos.

Desafio aceito, segue abaixo de um vídeo demonstrando como Subimos o nosso ambiente de DEV na Arruda Consulting, utilizando Terraform.

Muito Obrigado.

Rafael Arruda.

Nesse último sábado começou o nosso novo Treinamento: AirDBT – Modern Data Engineer.

Nesse Treinamento o foco é criarmos uma Modern Data Stack, seria muito mais fácil fornecemos uma imagem de um Servidor pronto e totalmente configurado, mas e após os curso, como os alunos irão conseguir replicar no projeto atual deles.

Temas abordados no 1º dia:

• O que é uma Stack Moderna de Dados.
• Criação da conta na Google Cloud Plataform.
• Criação de um servidor Linux na nuvem.
• Instalação do Docker.
• Subimos um Postgres no Docker, que será nossa fonte de dados no curso.
• Subimos o Airbyte, que será o responsável pela ingestão dos dados.
• Carregamos 70 tabelas no Bigquery, dados brutos.
• E claro sempre com hand-ons, se o aluno tem dúvida compartilhamos a tela e assim avançamos todos juntos.

Tudo isso num único dia? Isso mesmo pois além de termos conhecimento no dia a dia por conta dos diversos clientes que atendemos, temos uma didática já conhecida e referência no mercado de dados.

Quer conhecer maiores informações, sobre o Treinamento, só acessar o link abaixo:

https://airdbt.arrudaconsulting.com.br/

Próximo sábado tem mais 8 horas, com os dados carregados no Data Lake, iremos criar o DW com o DBT e no final iremos realizar a orquestração dos pipelines utilizando Apache Airflow.

E assim finalizamos a Arquitetura do projeto do zero.

Muito Obrigado.

Time Arruda Consulting.

Tudo bem contigo?

Nesse sábado, 20/05/2023, tivemos o 1º dia do nosso mais novo treinamento, Python para Engenheiro de dados, aplicado pelo instrutor Leandro Silva.

Neste sábado foram abordados os seguintes temas:

• Criação da conta na Google Cloud.
• Utilizamos o IAM para criar as permissões e acessos.
• Criação de um banco de dados na nuvem, no caso o PostgreSQL.
• Conectamos no Bando de dados via Dbeaver
• Instalação do Python e também Vscode
• Conectamos no Postgres utilizando o Python.
• Criação da camada raw(bronze) do nosso data lake na Google Cloud utilizando o Python para ingestão dos dados.

Tudo isso no formato 100% Hand-ons, muito prático, sem contar que quando um aluno tinha algum erro, compartilhava a tela e o nosso instrutor e os alunos resolviam o problema, erros que os alunos só iriam ver em seus projetos conseguiram não só ver esses erros mas como resolver também.

Temos a certeza que após esse treinamento nossos alunos estarão muito mais preparados para as oportunidades de Engenheiro de dados.

Sábado que vem temos mais 8 horas de imersão de Python com Google Cloud.

Muito Obrigado a todos os nossos alunos que confiaram mais uma vez no nosso trabalho!!

Até o próximo artigo!!

A função zip() é usada para juntar duas ou mais listas em uma única lista de tuplas, onde cada tupla contém um elemento de cada uma das listas fornecidas. A função zip() é muito útil quando precisamos percorrer duas ou mais listas simultaneamente, pois elimina a necessidade de usar loops aninhados.

Sintaxe:

zip(*iterables)

O parâmetro iteráveis é uma sequência de objetos iteráveis (por exemplo, listas, tuplas ou strings) que serão agrupados. O operador * antes do parâmetro iteráveis é usado para descompactar a sequência de objetos iteráveis.

Exemplo de uso:

lista1 = [1, 2, 3]
lista2 = ['a', 'b', 'c']

zipped = zip(lista1, lista2)

for i in zipped:
   print(i)

Resultado:

(1, 'a')
(2, 'b')
(3, 'c')

No exemplo acima, a função zip() é usada para combinar as listas lista1 e lista2 em uma única lista de tuplas. O loop for é então usado para imprimir cada tupla.

Um exemplo prático de uso do zip() seria o cálculo da média de notas de alunos em diferentes disciplinas. Suponha que tenhamos as seguintes listas:

notas_aluno1 = [8, 9, 7]
notas_aluno2 = [6, 7, 5]
notas_aluno3 = [10, 9, 9]
disciplinas = ['Matemática', 'Português', 'Ciências']

Para calcular a média de notas de cada aluno em cada disciplina, podemos usar o zip() da seguinte maneira:

for notas in zip(notas_aluno1, notas_aluno2, notas_aluno3):
    media = sum(notas) / len(notas)
    print(f"A média das notas do aluno é {media}")

O resultado seria:

A média das notas do aluno é 8.0
A média das notas do aluno é 6.0
A média das notas do aluno é 9.33

Neste exemplo, o zip() é usado para combinar as notas de cada aluno em uma única lista de tuplas. Em seguida, é calculada a média de notas de cada aluno usando a função sum() e o número de notas usando a função len().

Em resumo, a função zip() é uma ferramenta útil para simplificar a manipulação de listas em Python, especialmente quando precisamos percorrer várias listas simultaneamente. Combinar várias listas em uma única lista de tuplas usando o zip() pode ajudar a tornar o código mais legível e fácil de entender.

Quer aprender mais…
Então participe da nossa live que será no dia 09/05/2023, para se inscrever só clicar no link abaixo:

Live – Python + GCP

Muito Obrigado e nos vemos na live!!

Tudo bem contigo?

Recentemente um dos nossos alunos estava com dificuldades para gravar dados no Google Storage, para poder criar o seu 1º Data lake, utilizando o Pentaho Data Integration, funcionava normal, porém na hora de entregar o projeto.

Criar o Servidor na Google Cloud, utilizando o Compute Engine e instalar o Pentaho Server, tudo ok.

Não sabe criar um servidor na nuvem e instalar o Pentaho Server? Não tem problema temos uma live aonde fizemos esse processo, só clicar no link abaixo:

Porém na hora de executar o ETL, dava erro de permissão, segue o erro abaixo:

Esse erro é porque a nossa chave json, do Compute Engine não tem algumas permissões do serviço Google Storage, é necessário Ir até o serviço IAM e clicar em papéis.

Iremos criar um papel,  que vamos chamar de Storage, e depois iremos clicar em Adicionar permissões.

Iremos adicionar as seguintes permissões:

composer.dags.execute
composer.dags.get
composer.dags.list
composer.environments.create
composer.environments.delete
composer.environments.get
composer.environments.list
composer.environments.update
composer.imageversions.list
composer.operations.delete
composer.operations.get
composer.operations.list
serviceusage.quotas.get
serviceusage.services.get
serviceusage.services.list
storage.buckets.create
storage.buckets.createTagBinding
storage.buckets.delete
storage.buckets.deleteTagBinding
storage.buckets.get
storage.buckets.getIamPolicy
storage.buckets.list
storage.buckets.listEffectiveTags
storage.buckets.listTagBindings
storage.buckets.setIamPolicy
storagetransfer.projects.getServiceAccount

Agora basta editarmos a conta que a nossa chave foi criada e adicionar o papel Storage na conta, dessa forma estaremos adicionando as permissões acima na nossa conta.

E para finalizar se voltar no IAM irá ter a conta do Compute Engine, será necessário criar uma chave nessa conta, e atualizar a tua variável de ambiente:

Basta utilizar o comando para atualizar a variável de ambiente para essa nova chave, e reiniciar o serviço do Pentaho Server e executar a transformação novamente!

E agora conseguimos executar o nosso pipeline com sucesso, gerando o arquivo no Google Storage.

Ao verificar o log, vemos que temos os dados no log do Pentaho Server.

Arquivo gerado com sucesso no Google Storage.

Esse artigo te ajudou? Comente aqui e compartilha, pois foram horas de tentativa e erro para chegar nessa solução.

Agora só entregar o seu projeto com essa baita solução Pentaho + GCP.

Muito Obrigado e até o próximo artigo!

Olá!

Tudo bem contigo?

Antes de mais nada Talvez você já tenha conectado em algum banco de dados que esteja na nuvem, certo? Porém se te pedirem para CRIAR um banco de dados na nuvem você saberia fazer?

Se a resposta for não, fique tranquilo que esse artigo irá te ensinar como criar um banco de dados na GCP, além disso iremos mostrar como acessar esse banco.

Primeiramente para criar um banco de dados, independente na nuvem não é só clicar em criar e pronto, sempre tem alguma regra de liberação para você conseguir conectar neste banco.

Nesse sentido Iremos criar um banco de dados na Google Cloud Plataform. Para Criar banco de dados relacionais usamos O serviço Cloud SQL e temos 3 opções:

• Mysql
• PostgreSQL
• SQL Server

Agora Iremos clicar em Escolher Mysql, para criar uma instância de banco de dados.

No id da Instância: mysql_test.

Senha: Irá cadastrar.

E iremos escolher a versão 5.6 para esse nosso teste.

A nossa instancia ela vem com uma configuração padrão de 4CPU e 26GB de RAM, para o nosso teste podemos utilizar uma configuração mais simples mesmo.

Embaixo de Personalizar sua Instância só clicar em Mostrar Opções de Configuração.

Agora sim, teremos uma CPU com 3,75GB de RAM para o nosso teste.

Armazenamento: Podemos manter os 100GB mesmo.

Além Disso Um detalhe importante é em conexões, aonde informamos qual IP que terá acesso ao Banco de dados que estamos criando.

Utilizando o IP: 0.0.0.0/0 Qualquer Pessoa irá conseguir acessar o banco de dados desde que o usuário e senha estejam corretor.

Caso quiser fazer o teste com o seu IP Público basta acessar o seguinte link: Check your IP address | MyIP.com

E copiar o seu IP público e utilizar ao invés do IP na imagem abaixo.

A configuração é muito importante, sem ela você nunca irá acessar o banco fora da Google Cloud, ou seja através de algum computador pessoal ou da sua empresa.

Agora é só clicar em criar Instância, e esperar alguns minutos até que o seu banco de dados esteja disponível.

Imediatamente O Endereço do IP Publico é o IP do banco de dados.

Em seguida iremos tentar acessar esse banco de dados.

Agora Vamos utilizar o HeidSQL para conectar no banco de dados, da mesma forma você pode utilizar a IDE que esta acostumado a utilizar como Workbench, Dbeaver.

User: root

Senha: Senha cadastrada na hora de criar a instancia.

finalmente estamos conectado no Mysql que esta dentro da Google Cloud Plataform.

Então é dessa forma que criamos um banco de dados na Google Cloud e assim como acessamos esse banco do nosso computador.

Curso Completo de Google Cloud

E se você quiser aprender tudo sobre Integração de Dados no Google Cloud, Confira nosso Treinamento de GCP que acontece no dia 12/03 onde iremos ensinar tudo desde como Criar até como Entregar um projeto no Google Cloud Platform

Clique no Link e Faça sua inscrição no treinamento de Google Cloud Platform – (Inscrições Abertas)

Muito Obrigado!

Antes de mais nada Você provavelmente conhece o Big Query, Google Storage, soluções bem utilizadas na Google Cloud Plataform, porém temos um serviço novo chamado Google Data Fusion, a solução de ETL  da Google.

Em outras palavras Google Data Fusion é uma solução Drag-Drop. Onde criamos pipelines de dados escaláveis utilizando muito pouco código, uma ideia parecida ao nosso Pentaho Data Integration. Porém Com a vantagem de ter uma integração nativa com diversos serviços da plataforma.

Segue abaixo uma evidência de um pipeline feito no Data Fusion:

Então Nesse pipeline basicamente estamos lendo alguns dados de clientes depois Fizemos alguns tratamentos e salvamos em uma tabela do Big Query.

Dessa forma após o fluxo ter sido executado já temos os dados na nova tabela no Big Query utilizando muito pouco código.

Além disso possui:

• Data lakes modernos e mais seguros no Google Cloud
• Armazenamento de dados ágil com o BigQuery
• Ambiente de análise unificado
• Ampla biblioteca de mais de 150 conectores e transformações pré-configurados sem custo adicional
• Interface visual do tipo “apontar e clicar” que possibilita a implantação de pipelines de dados ETL/ELT sem código
• Linhagem de dados completa para causa raiz e análise de impacto Além disso Os melhores serviços do Google Cloud integrados nativamente

Ou seja Aprenda tudo sobre Google Cloud e se destaque no Mercado.

Como Aprender?

Essa é uma solução que está dentro do nosso treinamento de Google Cloud. Se você quiser aprender tudo isso na prática e muito mais,  em março teremos o terceiro treinamento ao vivo de Google Cloud.

É Uma verdadeira imersão de engenharia de dados e Google Cloud. As inscrições estão abertas por tempo limitado. para acessar a pagina do evento é só Clicar aqui

Ou Se quiser ir direto para os ingressos Clique aqui

Olá Tudo bem com você?

Todos sabemos que o Power BI é uma das soluções mais utilizadas pelas empresas quando falamos em Análise de dados e principalmente na criação de Dashboards para sua empresa, e que por muito tempo quando fazíamos as entregas do projeto e tínhamos que ter um servidor  Windows por causa do gateway que é o responsável por atualizar os dados.

Porém com o Big Query, além de ter uma performance que chama atenção de todos, não é necessário ter um Gateway para acessar os dados do Big Query.

Para acessar os dados que estão no Google Big Query temos duas opções de conexão:

• Importar
• DirectQuery

E após publicar o Dashboard, na hora de agendar a atualização da fonte de dados.

Para minha surpresa Para conectar o Power BI no Big Query não precisa de um Gateway.

Ou Seja podemos ter um Servidor Linux na Google Cloud sem problemas pois não precisamos mais de um Servidor Windows para utilizar o Gateway.

Quer conhecer mais sobre o Big Query e a Google Cloud Plataform, então fiquem ligados  que a 3ª turma do Treinamento: Pentarruda Google Cloud! está com inscrições abertas.

Para fazer sua inscrição é só Clicar Aqui.

Você ainda ganha acesso a nossa comunidade de alunos Pentarruda onde ajudamos uns aos outros compartilhando muita informação e resolvendo dúvidas relacionado a Engenharia de Dados e Business Intelligence!

Olá!

Tudo bem contigo?

Nesse sábado(11/09/2021) tivemos o 1º dia do nosso mais novo treinamento: Pentarruda Google Cloud!

Que dia íncrivel, primeiro pelas pessoas que estão nesse treinamentos, muitas referências na área de dados temos especialistas em diversas Tecnologias, ETL, Power BI, Qlik, Tableau, Banco de dados, RPA e por ai vai, praticamente uma Tropa de Elite dos dados, e poderia ser treinamento de qualquer um de vocês e eu ter a confiança de vocês como Instrutor me deixou bem feliz!

Bom nesse curso o foco é os serviços da Google Cloud e como podemos utilizar o Pentaho Data Integration para integrar dados na nuvem, e poder criar um Data lake em utilizar uma linha de código.

Nesse primeiro dia abordamos os seguntes tópicos e sempre no formato hand-ons!

• O que é Pentaho? O que é Google Cloud Plataform?
• Instalação do ambiente do treinamento.
• Criação da conta na GCP.
• Utilizamos o IAM para criação do projetos, permissões.
• Criação do bucket no Google Cloud Storage.
• Integrando o Pentaho Data Integration com o Cloud Storage.
• Integrando os dados do storage com o Big Query
• Explorando os dados do big query no Google Data Studio(Dataviz)

E dessa forma criamos toda a estrutura do zero na Cloud.

Semana que vem tem mais!

E gostaria de agradecer aos mais de 30 alunos já na 1ª turma do nosso treinamento!

Muito obrigado a todos vocês!

Antes de mais nada Talvez você já deve ter ouvido falar do Big Query da Google? certo? mas você saberia integrar o pentaho com o Big Query?

Big Query é um dos melhores produtos que já vimos na Cloud.

Grandes Volumes de dados com velocidade

Bem como Um banco de dados muito utilizado para ler grandes volumes de dados, é conhecido por ter uma velocidade que chama atenção de todos que trabalham com dados, é capaz de ler milhões de dados em segundos.

Além disso assim como acontece na AWS conseguimos integrar o Pentaho com a cloud da Google.

Segue um vídeo abaixo mostrando na prática Como Integrar o Pentaho com o Big Query!

Integração e Automatização

Assim quando executa o Pentaho, a tabela do Big Query atualiza também, gerando uma integração e uma dinâmica essencial para projetos de Data lake bem como Data Wharehouse.

Ainda mais que com o Big Query você pode consultar dados do seu Data lake e do seu Data Wharehouse e se quiser relacionar dados dos dois mundos também é possível!!!

Cursos de Pentaho com Google Cloud e AWS:

Se você quiser aprender mais sobre essa integração do Pentaho com Google Cloud acesse o Semana PentarrudaCloud

Onde ensinando em 3 dias tudo sobre Google Cloud platform e aws.

Obrigado e uma boa semana!