Compartilhando o depoimento de alguns alunos que finalizaram o nosso Treinamento: Hopbase.

Neste treinamento os alunos aprenderam a criar um Produto de BI do zero, abordando as seguintes etapas:

• Modelagem dos dados.
• Staging Area.
• Dimensões e Fatos.
• Carga Full vs Carga Incremental.
• Orquestração do ETL.
• Documentação do DW.
• Criação dos Relatórios e Dashboards.

O melhor curso de BI que já criamos, pois abordamos não somente o processo de ETL, como no nosso treinamento de Pentaho, mas todo o processo de BI.

São 15 horas de conteúdo em mais de 50 aulas, confira os módulos:

Parte 1 – Pegando os dados no Console da GCP

Ao acessar o console da GCP, na primeira página, pegue o ID do Projeto, neste meu teste é “braided-woods-377716“. Agora, navegue até Contas de Serviço.

Após acessar esta página, no usuário com permissão de Admin, clique nos três pontinhos na direita, em ações, e marque a opção “Gerenciar Chaves”. Depois, clique em “Criar nova chave”.

Escolha a opção Json, clique em Criar e salve o arquivo .json que fará o download.

Parte 2 – Instalando o Driver ODBC.

Pesquise sobre “Drivers ODBC e JDBC para BigQuery” no google. A versão atual (março/2023) é a ODBC versão 2.5.2.1004, mas se quiser, clique aqui e tenha acesso direto. Após o download, instale o Driver. Após a instalação, na barra de pesquisa do Windows, procure por “Fontes de Dados ODBC”.

Após abrir a janela, clique em adicionar e localize o “Simba ODBC Driver for Google BigQuery”.

Para configurar, em “Authentication”, escolha a opção “User Authentication” e dê as permissões necessárias.

Após permitir, vai aparecer a tela de confirmação e essa é a tela após a autorização:

Agora vamos clicar em Test, para ver se está tudo ok. Se tiver chegado até aqui: SUCESSO!!

Antes de configurar o Apache, faça o download dos Drivers Jdbc do Google Big Query AQUI, e extraia todos os arquivos “.jar” na pasta Lib > beam, do seu Hop.

Parte 3 – Configurando a conexão no Apache Hop.

Em “Relational Database Connection”, clique em New e escolha o tipo de conexão “Google BigQuery”.

Nesta etapa, vamos colocar apenas a URL, da seguinte forma:

jdbc:bigquery://https://www.googleapis.com/bigquery/v2:443;OAuthType=0;ProjectId=SEU_PROJECT_ID;OAuthPvtKeyPath=DIRETORIO_DO_SEU_JSON;OAuthServiceAcctEmail=SEU_EMAIL_NA_GCP

Ah, Database não pode ficar em branco, então pode colocar qualquer texto

.

Vamos agora consultar os dados no BigQuey, usando o step “Table Input”.

Então, Já temos o acesso ao BigQuery, agora é atuar no pipeline. Neste exemplo, coloquei como saída os dados para um arquivo csv, mas poderia ser outra saída.

Gostou? Tem alguma contribuição? Manda aqui.

Que tal tentar este processo no Pentaho? Fica a dica: Cria a variável de ambiente (GOOGLE_CLOUD_PROJECT) no Windows e aponta para o id do Projeto.

Quer aprender sobre Hop ou Pentaho? https://arrudaconsulting.com.br/

Thiago Viana

Que treinamento meus amigos que tivemos nesses últimos 2 sábados, uma turma realmente íncrivel.

O Hopbase surgiu com o propósito de poder proporcionar para as empresas criarem suas soluções de B.I sem precisar gastar um centavo com licenças, e aos profissionais que tiverem esse conhecimento conseguem agregar ainda mais valor as empresas e começarem a fazer as suas primeiras consultorias, conquistar os seus primeiros clientes, um conteúdo para os nossos alunos mudarem de patamar mais uma vez com a Arruda Consulting.

Temas abordados:

• O que é o Hopbase?
• O que é Business Intelligence.
• Preparando o ambiente.
• Criando um projeto e os seus ambientes(DEV,QA,PRD)
• Conectando o Apache Hop num banco de dados.
• Tratando os dados com Apache Hop sem utilizar uma linha de código.
• Integrando dados do Chat GPT no Hop via API.
• Automatizando a integração do Chat GPT de forma dinâmica.
• Aprendendo a trabalhar com variaveis e parametros no Hop.
• Instalação do Hop Server.
• Integrando o Apache Hop com o Hop Server.
• Agendando o ETL para executar de forma agendada.
• Criando um pipeline para carregar as tabelas da Stage em um único ETL.
• O que é o Metabase?
• Analisando dados com o Metabase.
• Qual a importância do Data Discovery e como ele pode impactar os projetos de B.I.
• Relacionando dados, agrupando e criando métricas no Metabase.
• Criação de gráficos.
• Criando o nosso primeiro painel.
• Criando um Sub-Dashboar e também um Sub-report.
• Criando uma solução de dados near real-time.

Tudo isso em 2 sábados, 16 horas de conteúdo.

Gostaria muito de agradecer aos mais de 30 alunos que fizeram desse novo treinamento tão íncrivel!!

Muito Obrigado!!

Que dia incrível que tivemos, a 1ª turma do nosso novo Treinamento, o Hopbase!

Aonde a proposta desse treinamento é te ajudar a mudar de patamar mais uma vez com a Arruda Consulting,

Apache Hop e Metabase são duas soluções Open Sources, diferentes mas que se complementam como se fosse algo tão natural, como uma fosse feita para outra.

E o que dizer dessa 1ª turma, primeiro que não é fácil juntar tantas feras, e poder fazer isso no nosso novo treinamento, foi algo íncrivel!

Tópicos abordados:

• O que é o Hopbase
• Arquitetura de uma Plataforma de dados 100% Gratuito.
• Instalação do ambiente.
• Trabalhando com projetos e ambientes.
• Criando os nossos primeiros pipelines.
• Sub-query dentro do Hop
• Trabalhando com API.
• Passando dados de um pipeline para o outro com variaveis.

Sem contar a troca de experiência com mais de 30 profissionais altamente qualificados que deixaram o treinamento ainda melhor.

Sábado que vem tem mais!!

Muito Obrigado e uma ótima semana!!

Tudo bem contigo?

Quantas vezes você criou aquele Dashboard bem atrativo mas o projeto não seguiu em frente por conta de custo de licenças? 1, 2 ou mais vezes?

Hoje trago uma ótima opção para as empresas que desejam criar os teus relatórios e Dashboards sem ter nenhum custo com licenças.

Segue o vídeo abaixo:

Comenta aqui o que achou da demonstração do metabase.

Muito Obrigado.

Rafael Arruda