Basta acessar o site e começar a testar a IA.

Neste exemplo perguntamos o que seria um DW e para que serve, e temos a explicação.

Agora vamos entender como funciona a API, e como podemos ter a mesma informação, porém via API, igual já fazem com o ChatGPT.

Primeiro de tudo, é importante ler a documentação para entender como a api funciona e tentar conectar ela com o Postman ou outra IDE, para entender como ela funciona.

Your First API Call | DeepSeek API Docs

Basicamente, após criar a sua conta, precisamos criar uma API_KEY, e já temos o comando curl que a propria documentação já gera, sendo assim, basta importar esse código, e já iremos poder testar a requisição.

Uma vez criada a API_Key na sua conta do DeepSeek, iremos importar esse script Curl no Postman, recomendo criar uma pasta para cada api que venha a trabalhar, facilita a organização dentro da plataforma.

Uma boa prática, é trabalhar com Variáveis, sendo assim evita informar exatamente as credenciais na requisição.

Basta informar o valor da api_key que foi criada e mudar o tipo da variável como “Secret”.

Uma vez a variável criada, agora iremos informar para utilizarmos da maneira correta:

basta utilizar o valor: {{deepseek_key}}.

E o Authorization ficaria assim, Bearer {{deepseek_key}}.

Agora que já temos o Header pronto, iremos atualizar o body com as perguntas que queremos fazer para ver o retorno da API, que deverá o mesmo se fizermos essa mesma pergunta no Chat.

Request pronta agora é testar…

API funcionando!!!!

Agora que já conhecemos e entendemos como a API funciona podemos implementar essa lógica em diversas ferramentas como Apache Hop, Pentaho, Python ou qualquer outra.

Veja como ficou este mesmo exemplo no Apache Hop.

Dessa forma poderiamos fazer qualquer tipo de integração seja pra gravar esses dados em alguma planilha, banco de dados, utilizar essa resposta para enviar por Whats App por exemplo, as possibilidades são infinitas.

Pronto, agora é testar!!!!

Caso queira aprender a criar uma Solução de BI 100% Open Source, utilizando Apache Hop para implementar um DW do zero, conheça o nosso treinamento Hopbase.

Muito Obrigado e até o próximo artigo!!

Rafael Arruda

Recentemente, explorei o uso do Apache Hop, uma poderosa ferramenta de ETL (Extração, Transformação e Carga) que facilita a automação e gestão de processos complexos de integração de dados.

Neste post, quero compartilhar um pouco sobre como o Apache Hop pode transformar seu processo de integração de dados, especialmente quando se trata de automatizar tarefas que exigem precisão e eficiência, como a extração de dados de fontes externas, por exemplo, APIs.

No exemplo fiz para um único CNPJ, mas daria também para ler os cnpjs de uma base SQL e iterar sobre eles.

PASSO 1: Criar uma transform Data Grid (ideal para criar conjuntos de dados estáticos para testes)

PASSO 2:  Clique duas vezes para editar o Data Grid e na aba Meta incluir uma variável endereco.  Na aba  Data incluir a url da receita federal e um cnpj de consulta: http://receitaws.com.br/v1/cnpj/60316817000103

Documentação da API:  https://developers.receitaws.com.br/#/operations/queryCNPJFree

Passo 3: Incluir uma transform Json Input e conectar a transform Data Grid na transform Json Input.

Passo 4: Clique 2 vezes para abrir a transform Json Input e marque a caixa source is from… para dizer a ele que a origem dos dados vem de uma transform anterior.

Em select Field selecione a variável endereco.

Em read source…, marca a caixa, indicando que o json será obtido da internet.

Passo 5: Na aba Fields incluir os campos que você quer capturar, presumindo que já olhou a documentação e conhece a  estrutura do json.

Passo 6: Clique em Executar Pipeline ou Preview e veja os dados do cnpj capturado.

Durante a apresentação, demonstrei como o Apache Hop pode ser utilizado para recuperar dados diretamente da Receita Federal, exemplificando o uso de uma API pública de consulta de CNPJ. A facilidade com que o Apache Hop permite criar pipelines de dados, desde a definição de um simples conjunto de dados estáticos para testes, até a conexão e manipulação de dados JSON vindos de uma API, é algo que pode acelerar significativamente o desenvolvimento de soluções de integração.

A utilização de transformações como o Data Grid, que cria conjuntos de dados estáticos para testes, e o Json Input, que lê e processa dados JSON diretamente da web, exemplifica o quão versátil e eficiente o Apache Hop é para tarefas de ETL. Com poucos cliques, é possível estruturar e transformar dados em informações valiosas para qualquer tipo de análise ou integração.

O Apache Hop se destaca não apenas pela sua flexibilidade, mas também pela facilidade de uso, permitindo que tanto iniciantes quanto profissionais experientes possam configurar pipelines complexos de forma intuitiva. Se você está lidando com grandes volumes de dados ou precisa integrar várias fontes de dados em um fluxo único, o Apache Hop é uma ferramenta que merece sua atenção.

Este é apenas um exemplo do poder e da versatilidade do Apache Hop. Em um cenário onde a qualidade e a integridade dos dados são fundamentais, investir em uma solução robusta como essa pode fazer toda a diferença para o sucesso do seu projeto.

Muito Obrigado.

Nilson Braga

Gostou deste post? Conecte-se comigo no linkedin

Quando falamos em API, as pessoas pensam muito em ferramentas, porém se esquecem que o mais importante é entender a API, saber qual é o método, se tem algum token, qual o seu Header, e por ai vai.

E a minha dica é sempre começar pelo Postman ou Insominia para tentar retornar os dados primeiramente.

Neste exemplo iremos demonstrar como extrair dados de uma api via Python, se você está procurando fazer essa tarefa sem utilizar uma linha de código recomendo ver o nosso artigo sobre como fazer isso utilizando o Pentaho.

Para o nosso exemplo, iremos utilizar a API de Cotação de moedas.

Link:https://docs.awesomeapi.com.br/api-de-moedas

O link baixo está retornando os seguintes dados:

https://economia.awesomeapi.com.br/json/last/EUR-BRL

Percebam que o link retorna os dados num formato json, como é uma API simples na própria url já temos o retorno dos dados mas o normal é termos que usar o Postman por exemplo para entender como a API funciona:

Percebam que retornou os mesmos dados, porém se tivesse token, header ou até mesmo parametros só conseguiriamos obter o retorno dos dados no Postman, então sempre começar por essa etapa.

Uma vez que já conseguimos retornar os dados, vamos para o Python.

No meu ex estou utilizando o Pycharm, mas poderia ser o Vs Code, ou qualquer outra IDE ou notebook.

Para o nosso ex: iremos utilizar duas bibliotecas do Python, requests para API e pandas para trabalhar com os dados.

Segue o Script abaixo:

# Importanto as bibliotecas que serão utilizadas
import requests
import pandas as pd

## add a url em uma varaivel
url = "https://economia.awesomeapi.com.br/last/EUR-BRL"
print(url)
## Aqui iremos fazer o mesmo processo que fizemos no Postman só que no Python para obter dados a partir de uma URL
results = requests.get(url)
data = results.json()
## Aqui estamos criando um DataFrame com base nos dados que retonaram da apip
df = pd.DataFrame(data['EURBRL'],index=[0])
print(df)





















Essas são só algumas possibilidades de se trabalhar com Python.
Muito Obrigado e até o próximo artigo!!

Que dia incrível que tivemos, a 1ª turma do nosso novo Treinamento, o Hopbase!

Aonde a proposta desse treinamento é te ajudar a mudar de patamar mais uma vez com a Arruda Consulting,

Apache Hop e Metabase são duas soluções Open Sources, diferentes mas que se complementam como se fosse algo tão natural, como uma fosse feita para outra.

E o que dizer dessa 1ª turma, primeiro que não é fácil juntar tantas feras, e poder fazer isso no nosso novo treinamento, foi algo íncrivel!

Tópicos abordados:

• O que é o Hopbase
• Arquitetura de uma Plataforma de dados 100% Gratuito.
• Instalação do ambiente.
• Trabalhando com projetos e ambientes.
• Criando os nossos primeiros pipelines.
• Sub-query dentro do Hop
• Trabalhando com API.
• Passando dados de um pipeline para o outro com variaveis.

Sem contar a troca de experiência com mais de 30 profissionais altamente qualificados que deixaram o treinamento ainda melhor.

Sábado que vem tem mais!!

Muito Obrigado e uma ótima semana!!

Atualmente é muito comum no nossoa dia a dia extrair dados de API não é mesmo?

E A ideia desse artigo é te mostrar que o Pentaho é uma excelente opção de trabalhar com api sem ter que utilizar uma única linha de código.

Para o nosso exemplo, iremos utilizar a API de Cotação de moedas.

Link:https://docs.awesomeapi.com.br/api-de-moedas

Sempre que tenho que integrar dados de alguma API eu utilizo o Postman primeiro para eu entender como essa API funciona, pois cada API pode ser desenvolvido de uma maneira e somente quando entendendo com a api funciona, quais campos retorna que inicio a extração dos dados via pentaho.

O link baixo está retornando os seguintes dados:

https://economia.awesomeapi.com.br/json/last/EUR-BRL

Agora iremos criar uma requisição com essa mesma url no Postman

Percebam que no Postman fica muito mais fácil identificar quais são as colunas.

Pronto agora já podemos ir para o Pentaho para tentar replicar a mesma coisa que fizemos no Postman.

Iremos utilizar 4 steps para esse exemplo:

Generate row – > para informar a url que retorna os dados

Rest Client – > Para fazermos a requisição.

Json Input – > Para converter os dados que estão no formato Json para colunas.

Select Values – > Para remover as colunas de url e também de result, e iremos manter somente os dados que API retorna.

E assim ficou o nosso ETL.

Ficou com alguma dúvida veja o vídeo com o passo a passo.

Dúvidas nos comentários.

Muito Obrigado e até o nosso próximo artigo!