InfoQ ホームページ Streaming に関するすべてのコンテンツ
アーティクル
RSSフィード-
/articles/kafka-clusters-cloudflare/ja/smallimage/tales-of-Kafka-at-Cloudflare-small-1684768928637.jpg)
CloudflareにおけるKafkaの話 ~ メッセージ1兆件に至るまでに学んだ教訓
Cloudflare uses Kafka clusters to decouple microservices and communicate the creation, change or deletion of various resources via protobuf, a common data format in a fault-tolerant manner. The authors suggest investing in metrics for problem detection, prioritizing clear SDK documentation, and balancing flexibility and simplicity for standardized pipelines.
-
/articles/data-processing-redis-spark-streaming/ja/smallimage/real-time-data-processing-logo-small-1557414118420.jpg)
Redis StreamsとApache Spark Structured Streamingを使用したリアルタイムデータ処理
Apache Spark 2.0で導入されたStructured Streamingは、ストリーミングデータのためのSQLライクなインターフェースを提供します。Redis Streamsによって、Redisがストリーミングデータを複数のプロデューサとコンシューマの間で消費、保持、配信することができるようになります。この記事では、著者のRoshan Kumar氏が、RedisおよびApache Spark Streamingテクノロジを使用してストリーミングデータをリアルタイムで処理する方法について説明します。
-
/articles/apache-kafka-best-practices-to-optimize-your-deployment/ja/smallimage/apache-kafka-best-practices-to-optimize-your-deployment-s-1539792752614.jpeg)
Apache Kafka: デプロイメントを最適化するための10のベストプラクティス
筆者のBen Bromhead氏が、データストリーミングプラットフォームをより効率的に管理するための、開発者のKafkaのベストプラクティスとして、ログ設定、適切なハードウェア利用、ZooKeeper設定、レプリケーション係数、パーティション数などについて論じます。
-
/articles/batch-etl-streams-kafka/ja/smallimage/logo-streaming-1516658863455.jpeg)
ETLは過去のものか - Apache Kafkaがデータ処理の未来なのか？
QCon San Francisco 2016で、Nega Narkheda氏は“ETL is Dead; Long Live Stream”と題して講演し、エンタープライズデータ処理の変化する状況について論じました。講演の中心は、オープンソースのストリーミングプラットフォームであるApache Kafkaが、データの転送や処理に関する現在の要求をサポートするに十分な、柔軟かつ統一化されたフレームワークを提供することができる、という主張です。