InfoQ ホームページ Apache-Flink に関するすべてのコンテンツ
ニュース
RSSフィード-
"Confluent Cloud for Apache Flink"、AI機能とともに一般提供開始
Confluent社は先月、"Confluent Cloud for Apache Flink"の一般提供を発表した。このフルマネージドサービスは、リアルタイムデータ処理と高品質で再利用可能なデータストリームの作成を可能にする。このサービスはAmazon Web Services（AWS）、Google Cloud、マイクロソフト Azureで利用できる。
-
PinterestがKafka、Flink、MemQ用の本番環境に対応したPubSub Javaクライアントをオープンソース化
Pinterestは、汎用PubSubクライアントライブラリであるPSCをオープンソース化した。PSCは1年半前から実際に幅広く利用されている。このライブラリは、開発者の速度を向上させ、それを使用するサービスのスケーラビリティと安定性を高めることで、エンジニアリングチームを支援している。Javaアプリケーションの90％以上が、最小限の変更でPSCに移行している。
-
DoorDash社、Flinkを用いて新しいセッション化プラットフォームを開発、通知配信の適時性向上へ
DoorDash社のエンジニアリング・チームのChen Yang氏とFan Zhang氏はこのほど、Apache Flinkを使用して、ユーザーのアクティビティとユーザー・セッションをリアルタイムで識別するApache Flinkによるインメモリ・セッション化プラットフォームを開発した。下図に示す新システムは、DoorDash社が以前直面していた多くの課題の1つである、ユーザーがカートを本当に放棄したのか、それとも単にもっと多くの商品や別の販売店を閲覧したのかを識別する、という問題を解決した。この区別は、タイムリーで適切なカート放棄通知を送信するために非常に重要であった。バッチ処理などの従来の方法では、リソースを大量に消費し、タイムラグが発生するため、リアルタイムの検知はほぼ不可能だった。
-
Netflix Studio Search：ElasticsearchとApache Flinkを使ってフェデレーションGraphQLデータのインデックス付け
Netflixのエンジニアは最近、どのようにStudio Searchの構築したかを公開した。そこでは、Apache Kafkaストリーム、Apache Flinkベースのデータメッシュプロセス、Elasticsearchシンクを使ってインデックスが管理される。彼らは、NetflixのフェデレーションGraphQLグラフの要素を抽出し、それを検索可能にするプラットフォームを設計した。現在、Studio Searchでは、組織内の多くのアプリケーションのユーザエクスペリエンスに関して重要な部分が強化されている。
-
Apache Flink、Kafka、およびPinotを使用したUberでのリアルタイムの正確に1回のイベント処理
UberEats に広告を導入した後、Uber はいくつかの困難に直面した。生成したイベントは、迅速、確実、正確に処理する必要があった。これらの要件は、広告イベントのストリームを正確に1回のセマンティクスでリアルタイムに処理する、Apache Flink、Kafka、および Pinot をベースにしたシステムによって満たされた。このアーキテクチャを説明する記事が最近 Uber Engineering ブログに公開された。
-
pacheCon 2019基調講演 - Google CloudによるKubernetesを使用したビッグデータ処理の拡張
ApacheCon North AmericaでChristopher Crosbie氏が、"Yet Another Resource Negotiator for Big Data? How Google Cloud is Enhancing Data Lake Processing with Kubernetes"と題した基調講演を行った。講演の中で氏が強調したのは、Kubernetesクラスタ内でApacheソフトウェアを動作させるためのコントロールプレーンを提供する、オープンソースのKubernetesオペレータを開発することによって、Apacheのビッグデータソフトウェアを"クラウドネイティブ"にするという、Googleの取り組みについてだった。
-
Keystone - Netflixのリアルタイムストリーム処理プラットフォーム
Netflixは先日、自社の技術ブログで、同社のリアルタイムストリーム処理プラットフォームであるKeystoneについて、その設計思想と洞察を論じた記事を公開した。Keystoneは2015年12月から運用されている。Netflixの加入者数が過去3年間で6,500万件から13,000万件以上へと増えたのに伴って、Keynoteも年を追って成長してきた。本記事ではKeynoteプラットフォームの最新情報を取り上げる。
-
data Artisansがストリームデータ上の直列化可能なACIDトランザクション機能を発表
data ArtisansがStreaming Ledgerの一般提供を開始すると発表した。Apache Flinkを拡張して、テーブル、キー、イベントストリーム間でシリアライズ可能なACIDトランザクションの実行を可能にする。同社独自のFlinkへのアドオンは特許出願中の技術であり、一度にひとつのキーでのみ一貫性のある操作が可能だという、現在の一般的な機能制限を越えた動作を可能にする。
-
Julien Le Dem氏に聞く - Apache Arrowが示すカラム指向データ処理の未来
Apache ArrowプロジェクトでPMCのリーダを務めるJulien Le Dem氏が，カラム指向データ処理の今後について，Data Eng Conf NYでプレゼンテーションを行なった。Apache Arrowはカラム型インメモリデータベースのオープンソース標準である。InfoQはParquetとの違いを確認すべく，氏にインタビューした。
-
Apache Flinkを使用したZalandoのマイクロサービスおよびストリーム処理用アーキテクチャ
Javier Lopez氏とMihail Vieru氏はReactive Summit 2016 Conferenceで，クラウドベースのデータ統合と，ビジネスインテリジェンスのユースケースにおけるストリーミング処理で使用される分散プラットフォームについて講演した。
-
ストリーム処理とLamdaアーキテクチャへの挑戦
Lamdaアーキテクチャはバッチとストリーム処理を結合させる有名なソリューションである。LinkedInのKatrik Paramasivam氏はデータ処理のためにApache Samzaを用いてチームがどうストリーム処理とLambdaアーキテクチャへの挑戦を行ったかを執筆した。この挑戦はイベントの遅延到着と複製メッセージの処理について記載されている。
-
Apache Flinkを用いたデータストリーミングアーキテクチャ
Jamie Grier氏がApache Flinkを用いたデータストリーミングアーキテクチャについてOSCON 2016 Conferenceで講演した。データストリーミングアプリケーションの構成要素とステートフルなストリーミング処理について、Flinkアプリケーションのサンプルコードとモニタリングをまじえて紹介した。
-
Yahoo!がApache Flink, Spark, Stormのベンチマークを実施
Yahoo!は，代表的なストリーム処理フレームワークであるApache Flink, Spark, Stormの３つを対象としたベンチマークを行った。