• Informações do Trabalho

Titulo Atualização Near Real-Time em Arquiteturas Inspiradas em Data Lakehouse: Utilizando Change Data Capture e Streaming ETL Subtítulo Autor JOÃO PEDRO FERREIRA PEDREIRA Orientador VICTOR STROELE DE ANDRADE MENEZES Resumo O modelo tradicional de carga de dados em batch entre sistemas transacionais e ambientes analíticos tem se mostrado insuficiente diante da crescente necessidade de tomada de decisão com base em dados recentes. Neste cenário, o paradigma data lakehouse propõe unir a flexibilidade dos data lakes às garantias de governança típicas dos data warehouses. O presente trabalho tem como objetivo desenvolver e avaliar um protótipo de atualização near real-time entre um banco relacional e um ambiente analítico organizado em camadas bronze/silver/gold, inspirado na arquitetura lakehouse. Para isso, foram utilizados MySQL, Debezium, Apache Kafka e um consumidor escrito em PHP como motor de Streaming ETL, operando sobre dados reais do Cadastro Nacional de Estabelecimentos de Saúde (CNES/DATASUS). Um ponto importante do protótipo é que o dado analítico é construído inteiramente a partir do fluxo de streaming, sem consultas ao banco de dados de origem. O ambiente foi todo montado com Docker e ferramentas open source. Os testes, executados sobre uma grade de oito cenários de carga (1 a 100 op/s), com cinco repetições por cenário, mostraram que o pipeline sustenta o processamento em regime near real-time para cargas de até ~25 op/s. O joelho da curva de desempenho foi localizado entre 25 e 40 op/s, e os cenários de saturação (60 a 100 op/s) evidenciaram o principal fator limitante, a natureza single-threaded do consumidor, com degradação progressiva por acúmulo de backlog, atingindo latências médias de dezenas a centenas de segundos. No regime sustentável, a latência média ficou entre 232 e 361 milissegundos, confirmando a viabilidade da abordagem, e a decomposição instrumentada indicou que a quase totalidade do tempo ponta a ponta se concentra no intervalo entre o commit no MySQL e a chegada do evento ao consumidor (compatível com o poll.interval.ms padrão de 500 ms do Debezium, cuja metade, ~250 ms, corresponde à latência observada), enquanto o processamento em PHP contribui com poucos milissegundos Palavras-Chave Data Lakehouse, Change Data Capture, Streaming ETL, Apache Kafka, Atualização near real-time