Com o aumento de API´s no nosso dia a dia, surgem alguns casos pontuais que quando trabalhávamos só com arquivos ou bancos de dados não apareciam.

Algumas API retornam os dados de data em formato Epoch:

Esse número corresponde a data que estou escrevendo esse artigo, agora iremos fazer essa conversão lá no Pentaho.

Iremos utilizar o generate rows para criar uma coluna com esse número, um detalhe importante é que esse valor está em milisegundos, portanto se dividirmos por 1000, e transformar esse dado em data iremos chegar no resultado que precisamos.

Então com o step add constraint iremos criar uma coluna com o valor fixo de 1000, para finalizarmos o nosso teste basta multiplicar essas duas colunas, utilizando o calculator, e perceba que já informamos no step o tipo de dados: Date e também o formato da data.

Agora iremos executar a transformação.

E pronto, dessa forma convertemos uma data do formato epoch para um formato datetime, de forma rápida e simples utilizando o Pentaho Data Integration.

Espero que este artigo tenha te ajudado de alguma forma.

Quer aprender mais sobre este e outros tratamentos de dados utilizando o Pentaho Data Integration, no próximo dia 08/08/2023 iremos fazer uma live de 2 horas de conteúdo de ETL aonde vamos fazer diversos tratamentos ao vivo, mais um evento gratuito para a comunidade.

Segue o Link para se inscrever.

Quero Participar

Muito Obrigado e até o próximo artigo!

Olá, tudo bem com você?

Nesse artigo irei mostrar como Transformar Colunas em linha com o Pentaho step Row Normaliser

Iremos começar com o Datagrid para criar alguns dados pra nós:

Antes de tentarmos transformar as colunas em linhas temos que ordenar os dados utilizando o sort rows, assim como fazemos quando temos que fazer join, group by e por ai vai.

E agora com os dados ordenados, iremos utilizar o step Row Normalizer:

As colunas de data a gente vai informar na coluna fieldname e também na Type.

E iremos criar uma coluna chamada valor.

Dessa forma teremos uma coluna Data com o seu respectivo valor.

Preenchendo dessa forma, iremos ver a mágica sendo feita no Pentaho.

E assim temos a nossa transformação feita com 3 steps.

E é dessa forma que transformamos colunas em linhas no Pentaho Data Integration.

Quer aprender a tratar os seus dados com Pentaho?

Então aproveite o nosso próximo evento, 100% gratuito.

https://pdiexcel.arrudaconsulting.com.br/

Muito Obrigado e até o próximo artigo!!

Olá tudo bem?

Em primeiro lugar Hoje iremos compartilhar com você mais uma maneira rápida e eficaz de utilizar o pentaho data integration para tratar os nossos dados, utilizando o step: Split field to rows.

Começando com o Datagrid para gerar os nossos dados:

Nome  Estado    email
João      SP          ra@gmail.com
Maria   RJ          lar@gmail.com

A nossa ideia é pode extrair todas as informações que está antes do @ do email.

Para isso iremos fazer um split na coluna de email.

Perceba como é simples utilizar o step, só temos que informar os seguintes parâmetros:

• Coluna que queremos fazer o split.
• Demilitador que no nosso caso é o @
• Nome da nova coluna.

Então o split criou dois valores para cada linha, o antes do @ e o depois.

Agora como só queremos o valor que esta antes do @, iremos utilizar o filter rows para fazer esse tipo de filtro.

Iremos utilizar o Contains que é semelhante ao LIKE do SQL, e utilizamos o NOT pois queremos filtrar os dados que não tem o .com na coluna teste.

E assim temos a coluna teste somente com os valores antes do @.

Até o Próximo Artigo!

Obrigado.