Início Structured Streaming no InfoQ Brasil
Artigos
Feed RSS-
/articles/processamento-de-dados-apache-spark-3/pt/smallimage/capa-artigo3-1563224300987.jpg)
Processamento de Dados em "Tempo Real" com Apache Spark na Wavy: Parte 3
Grandes volumes de dados para processar? Necessidade de informação em "tempo real"? Essas são as necessidades que temos de processamento de dados na Wavy, mais de 100 milhões de transações por dia. Esse artigo mostra como utilizamos o Apache Spark para processar grandes influxos de dados de forma contínua, ao final vamos compartilhar dicas e lições aprendidas no uso dessa ferramenta.
-
/articles/processamento-de-dados-apache-spark-2/pt/smallimage/capa-artigo-2-1563219453333.jpg)
Processamento de Dados em "Tempo Real" com Apache Spark Structured Streaming: Parte 2
O Apache Spark provê uma nova API de manipulação e processamento de streams de dados chamada Structured Streaming. Foi desenvolvida para ser altamente escalável e resiliente. Nesse artigo mostro em detalhes sua forma de funcionamento e suas principais configurações por meio de um exemplo prático, efetuando o processamento e agregação contínua de arquivos de dados.
-
/articles/processamento-de-dados-apache-spark-1/pt/smallimage/capa-artigo1-1563216129021.jpg)
Processamento de Dados em "Tempo Real" com Apache Spark: Parte 1
Nessa série de artigos vou abordar como utilizar o processador de streams do Apache Spark para criar uma aplicação de processamento de dados em "tempo real". Além de aprofundar na nova API de streams, o Structured Streaming, vou dar mais detalhes da arquitetura e mostrar a implementação da nossa solução para processar altos volumes de dados na Wavy.