Início Streaming no InfoQ Brasil
Artigos
Feed RSS-
Como escolher um processador de stream para a sua aplicação
Processadores de stream são plataformas de software que permitem aos usuários responderem mais rapidamente aos streams de dados que chegam em comparação ao processamento tradicional de dados em lotes. Neste artigo, os autores apresentam a arquitetura de referência de processadores de stream, características importantes necessárias e opcionais com base nos casos de uso específicos.
-
Migração em lote com ETL para processamento de fluxo: um estudo de caso Netflix com Kafka e Flink
No Qcon NY, Shriya Arora falou sobre “Personalising Netflix with Streaming Datasets” e discutiu a migração de uma rotina de processamento de dados de ETL em lote para o processamento de fluxo usando o Apache Flink.
-
Big Data com Apache Spark Part 3: Spark Streaming
Este é o terceiro artigo da série Big Data com Apache Spark. Nos 2 primeiros artigos abordamos o processamento de dados estáticos. Neste artigo trataremos do processamento de dados em streaming e em tempo real. O artigo busca mostrar como podemos usar o Apache Spark para realizar análises sob informações em cenários onde os dados são gerados continuamente.
-
Big Data com Apache Spark Parte 2: Spark SQL
O Spark SQL, é parte integrante do framework de Big Data Apache Spark, utilizado para processamento de dados estruturados, que permite executar consultas SQL no conjunto de dados do Spark. É possível realizar tarefas ETL sobre os dados em diferentes formatos, como por exemplo JSON, Parquet, banco de dados e com isto, executar consultas ad-hoc.
-
Big Data com Apache Spark - Parte 1: Introdução
O Apache Spark é um framework de big data construído para ser veloz, fácil de usar e com analises sofisticadas. Nesse artigo, Srini Penchikala mostra como o Spark ajuda no processamento e analise de Big Data com sua API padrão. Também compara o Spark com a implementação tradicional de MapReduce do Apache Hadoop.