Atualização Incremental

Hoje, gostaria de desvendar uma das funções mais poderosas e essenciais do Power BI: a atualização incremental. Essa funcionalidade permite que possamos gerenciar de maneira altamente eficiente grandes volumes de dados dentro do nosso Dataset.

Quando você ativa a atualização incremental para uma tabela no Power BI, você está basicamente dizendo para o Power BI a criar partições de dados. “Como assim, Henrique? Estou apenas colocando uma tabela.” Exatamente isso, meu pequeno Padawan. O Serviço do Power BI vai dividir a sua tabela em partes menores separadas por duração de tempo (As partições podem ser divididas em anos, trimestres, meses, dias até níveis mais baixos de hora), e com isso em vez de processar e carregar toda a tabela a cada atualização, o que pode ficar bastante demorado e consumir muitos recursos, o Power BI só processa e carrega os dados que mudaram, ou seja, ele vai apenas atualizar aquelas pequenas tabelas (partições) no período desejado. Vamos olhar um exemplo abaixo comparando dentro do sistema duas tabelas, uma particionada e outra não.

1: Tabela sem Incremental

Como podemos ver acima nessa Tabela de calendário, nos desdobramentos dos seus dados, temos apenas uma partição, então todos os dados dessa tabela estão nessa partição única e todos são atualizados quando requeridos.

2: Tabela com Incremental

Nesse caso específico com atualização incremental ativada, podemos ver que há várias partições criadas dentro da mesma tabela. Elas seguem uma nomenclatura bastante clara sendo 2023 referente ao ano, Q2 ao trimestre (Q de Quarter em inglês) e por final 04 referente ao mês 04 (abril).

Nesse caso, o sistema dividiu as partições em meses (pois foi cadastrado assim e no nosso curso vamos entrar mais a fundo nesse tema) e quando a atualização dos dados com incremental é realizada, apenas as partições com os dados cadastrados são atualizadas. Se utilizarmos 2 meses de exemplo, então apenas as partições 2023Q306 e 2023Q307 seriam atualizadas, assim evitando que muitos dados que já estão no armazenamento fossem baixados novamente de forma desnecessária.

O desafio agora é entendermos como o Power BI faz essa diferenciação e é mais simples do que parece! Para cadastrar a incremental precisamos criar os dois parâmetros “RangeStart” e “RangeEnd” (dúvida? Veja aqui a documentação oficial do processo Atualização incremental para conjuntos de dados e dados em tempo real no Power BI – Power BI | Microsoft Learn) e esses dois parâmetros vão dizer para o Serviço do Power BI que os filtros ali aplicados serão os parâmetros de referência para poder filtrar e montar as queries individuais de cada partição contendo apenas os dados necessários.

A atualização incremental é uma das ferramentas disponíveis dentro do PowerBI. Ela permite uma melhor gestão de dados e recursos para que seu ambiente seja mais eficiente e muitas vezes ela vai ser a diferença entre um projeto funcionar ou não.

Muitíssimo obrigado,

Henrique Comaru

Para se inscrever no curso ao vivo de Power BI Avançado com o Mestre Comaru: