Início Event Stream Processing no InfoQ Brasil
Artigos
Feed RSS-
/articles/real-time-api-kafka/pt/smallimage/real-time-api-kafka-s-1602600487985.jpeg)
APIs em tempo real no contexto do Apache Kafka
Os eventos oferecem uma abordagem no estilo Goldilocks, na qual APIs em tempo real podem ser usadas como base para aplicações garantindo flexibilidade e alto desempenho, com baixo acoplamento, porém, eficiente. O Apache Kafka oferece uma plataforma escalonável de streaming de eventos na qual podemos construir aplicações em torno deste poderoso conceito de eventos.
-
/articles/realtime-event-driven-ecosystem/pt/smallimage/realtime-api-logo-1595963690562.jpg)
O desafio de construir um ecossistema orientado a eventos de tempo real que seja confiável
Mundialmente, há um apetite crescente por dados fornecidos em tempo real. Testemunhamos o surgimento da API de tempo real. Quando se trata de APIs baseadas em eventos, os engenheiros podem escolher entre vários protocolos diferentes, e além de escolher um protocolo, precisam pensar nos modelos de assinatura: Iniciados no servidor, baseados em push, ou iniciados no cliente, baseados em pull.
-
/articles/building-scalable-iot-application-with-apache-kafka/pt/smallimage/The-Kongo-Problem-Building-a-Scalable-IoT-Application-with-Apache-Kafka-logo-1581595522263.jpg)
A solução Kongo: Criando uma aplicação IoT escalável com Apache Kafka
O Kafka é um sistema distribuído de processamento de stream que permite que os produtores distribuídos enviem mensagens aos consumidores distribuídos por meio de um cluster Kafka. Simplificando, é uma maneira de entregar mensagens onde se deseja que elas sejam enviadas. O Kafka é particularmente vantajoso porque oferece alto rendimento e baixa latência e poderosa escalabilidade horizontal.
-
/articles/rethinking-flink-api/pt/smallimage/Rethinking-Flinks-APIs-logo-1568358627523.jpg)
Repensando as APIs do Flink para um framework unificado de processamento de dados
Desde o início, o Apache Flink seguiu uma filosofia de adotar uma abordagem unificada para processamento batch e streaming. O componente principal é o processamento de streams de dados ilimitados, como em batch por exemplo. Atualizações recentes das APIs do Flink incluem projetos arquiteturais realizados pela comunidade para suportar tanto batch como streaming de forma unificada no Apache Flink.
-
/articles/patient-care-stream-processing/pt/smallimage/patient-care-stream-processing-s-1547626914062.jpeg)
Aumentando a Qualidade do Atendimento ao Paciente através de Stream Processing
Today’s healthcare technology landscape is disaggregated and siloed. Physicians analyse patient data streams from different systems without much correlation. Even though health-tech domain is mature and rich with data, the value of it is not directed towards increasing the quality of patient care. This article presents a stream processing solution in which streams are co-related.
-
/articles/distributed-stream-processor-container/pt/smallimage/distributed-stream-processor-container-s-1558040726709.jpeg)
Dimensionando um processador de Stream distribuído em um ambiente containerizado
Este artigo apresenta um experimento de escalonamento de processadores de Stream distribuído em um ambiente de Kubernetes. Para fazer isto, o processador de stream deve fornecer uma linguagem de programação de consulta para manter o nível ideal de paralelismo, independentemente da escala inicial do aplicativo.
-
/articles/batch-etl-streams-kafka/pt/smallimage/logo-streaming-1516658863455.jpeg)
Processos ETL em batch estão mortos e o Apache Kafka é o futuro para processamento de dados?
Na QCon San Francisco 2016, Neha Narkhede palestriu sobre “ETL is Dead; Long Live Streams ”e discutiu a mudança do cenário do processamento de dados corporativos. Uma premissa central da conversa foi que a plataforma de streaming Apache Kafka de código aberto pode fornecer uma estrutura flexível e uniforme que suporta os requisitos modernos para transformação e processamento de dados.
-
/articles/apache-kafka-best-practices-to-optimize-your-deployment/pt/smallimage/apache-kafka-best-practices-to-optimize-your-deployment-s-1555091740846.jpeg)
Apache Kafka: dez melhores práticas para otimizar sua implantação
O author Ben Bromhead discute as melhores práticas mais recentes do Kafka para que os desenvolvedores gerenciem a plataforma de streaming de dados mais efetivamente. As melhores práticas incluem configuração de log, uso adequado de hardware, configuração do Zookeeper, fator de replicação e número de partições.
-
/articles/viavarejo-mensageria/pt/smallimage/diagrama_v1-Icon-1548680391374.jpeg)
Criando uma camada RESTFul para integração entre microserviços com Apache Kafka
O Apache Kafka é uma das principais opções no mercado quando há a necessidade de trafegar dados na forma de eventos entre sistemas com escalabilidade e organização. A Via Varejo, na última Black Friday (2018) trafegou mais de 50 milhões de mensagens utilizando o Apache Kafka em apenas 2 dias com uma média de 25 mil mensagens por segundo.
-
/articles/how-to-choose-stream-processor/pt/smallimage/how-to-choose-stream-processor-logo-s-1548097747564.jpeg)
Como escolher um processador de stream para a sua aplicação
Processadores de stream são plataformas de software que permitem aos usuários responderem mais rapidamente aos streams de dados que chegam em comparação ao processamento tradicional de dados em lotes. Neste artigo, os autores apresentam a arquitetura de referência de processadores de stream, características importantes necessárias e opcionais com base nos casos de uso específicos.
-
/articles/netflix-migrating-stream-processing/pt/smallimage/logo-streaming-1517924434904.jpeg)
Migração em lote com ETL para processamento de fluxo: um estudo de caso Netflix com Kafka e Flink
No Qcon NY, Shriya Arora falou sobre “Personalising Netflix with Streaming Datasets” e discutiu a migração de uma rotina de processamento de dados de ETL em lote para o processamento de fluxo usando o Apache Flink.
-
/articles/apache-spark-streaming/pt/smallimage/logo3.jpg)
Big Data com Apache Spark Part 3: Spark Streaming
Este é o terceiro artigo da série Big Data com Apache Spark. Nos 2 primeiros artigos abordamos o processamento de dados estáticos. Neste artigo trataremos do processamento de dados em streaming e em tempo real. O artigo busca mostrar como podemos usar o Apache Spark para realizar análises sob informações em cenários onde os dados são gerados continuamente.