Jenkins – Arruda – Data Consulting https://modelo6.augustomello.com.br Sat, 29 Mar 2025 14:55:33 +0000 pt-BR hourly 1 https://wordpress.org/?v=6.9 https://modelo6.augustomello.com.br/wp-content/uploads/2025/08/cropped-Logo-Arruda-Consulting-2025-Picto-1b-32x32.png Jenkins – Arruda – Data Consulting https://modelo6.augustomello.com.br 32 32 Orquestração de ETL: Automatize o Apache Hop com Jenkins https://modelo6.augustomello.com.br/orquestrar-etl-hop-com-jenkins/ https://modelo6.augustomello.com.br/orquestrar-etl-hop-com-jenkins/#comments Sat, 29 Mar 2025 14:55:33 +0000 https://arrudaconsulting.com.br/?p=5892 No mundo da engenharia de dados e desenvolvimento de software, a automação é indispensável. Seja para executar pipelines, scripts ou rotinas de manutenção, agendar tarefas de forma confiável faz toda a diferença.

Embora sistemas operacionais como Linux (com o cron) ou Windows (com o Agendador de Tarefas) ofereçam mecanismos nativos de agendamento, essas abordagens muitas vezes carecem de recursos importantes, como:

  • Controle de histórico de execuções;

  • Logs detalhados e organizados;

  • Facilidade para gerenciar múltiplas tarefas e pipelines em um único painel;

  • Integração com sistemas de versionamento como Git.

É aí que o Jenkins entra como uma excelente alternativa para o agendamento de tarefas de forma robusta e centralizada.

O Jenkins é uma ferramenta open-source amplamente utilizada para automação, integração contínua (CI) e entrega contínua (CD), atuando também como um eficiente agendador de tarefas (jobs). Quando utilizado para agendamento, o Jenkins permite definir rotinas automáticas por meio de expressões cron, facilitando a execução periódica e pontual das tarefas.

No nosso exemplo, como o nosso Apache Hop está num container, o comando iremos chamar o container e executar o comando do Hop-Run.

Seja no Agendador do Windows, ou no Jenkins, podemos utilizar o Hop-run que irá executar um Workflow ou Pipeline por linha de comando, no link abaixo tem um artigo detalhando melhor como funciona o Hop-Run.

Automatizando o seu pipeline no Apache Hop.

Para projetos menores, o agendador do windows irá lhe atender, porém ao projeto crescer vai chegar uma hora que um Orquestrador como o Jenkins começa a ser fundamental.

Além disso, o Jenkins armazena o histórico de cada execução, mantendo logs detalhados sobre os comandos executados. Essa funcionalidade auxilia no monitoramento, auditoria e diagnóstico de eventuais problemas.

 

 

 

 

 

 

 

 

 

 

Outro diferencial é o controle por usuários. O Jenkins registra quem realizou login no sistema e quem criou ou modificou os jobs, proporcionando maior segurança e controle sobre o ambiente.

Por fim, o Jenkins dispõe de diversos plugins que expandem suas funcionalidades, permitindo adaptar a plataforma às necessidades específicas de cada equipe ou projeto.

Cada vez mais temos vistos projetos que utilizam Apache Hop sendo orquestrados pelo Jenkins, e cada vez mais iremos ver este cenário.

Muito Obrigado e até o próximo artigo.

]]>
https://modelo6.augustomello.com.br/orquestrar-etl-hop-com-jenkins/feed/ 2