InfoQ ホームページ Data-Analytics に関するすべてのコンテンツ
-
Uber社がPrestoとExpress QueriesでSQLベースのデータ分析を加速した方法とは
Uber社は、オープンソースの分散型SQLクエリエンジンであるPrestoを使用して、Apache Hive、Apache Pinot、MySQL、Apache Kafkaなどの複数のデータソースで分析をしている。
-
Elasticがオープンソースに回帰：コミュニティはついてくるか？
オープンソースとElasticの両コミュニティにとって驚くべき動きとして、Elasticの創設者兼CEOであるShay Banon氏は最近、ElasticsearchとKibanaを再びオープンソースにすると発表した。この2つの製品は間もなく、OSI承認のライセンスであるAGPLの下でライセンスされる。
-
Canva、SNS+SQSよりAmazon KDSを選択し、1日250億件のイベントで85%の節約を実現
Canvaは、同社のProduct Analytics Platformのために、AWS SNSとSQSの組み合わせ、MKS、Amazon KDSなど、さまざまなデータメッセージングソリューション群を評価し、主に費用面での大きな優位性から最終的にAmazon KDSを選択した。同社は、パフォーマンス、メンテナンスの労力、コストなど、これらのソリューションに対して多くの側面から比較を行った。
-
Data Solutions Framework：AWS上でデータソリューションを構築するためのオープンソースプロジェクト
AWSはこの程、Data Solutions Framework (DSF)をリリースした。これは、AWS上でデータソリューションの作成を加速するために設計された、オープンソースのフレームワークである。AWS CDKを使用して構築されたこのフレームワークは、データソリューションを構築するためのビルディングブロックとして抽象化とパターンを公開しており、TypeScript（npm）とPython（PyPi）で利用できる。
-
データ処理ワークロードと柔軟なストレージを実現するAmazon ECSとAmazon EBSの統合
AWSは最近、Amazon Elastic Container Service (AmazonECS) がAmazon Elastic Block Store (AmazonEBS) との統合をサポートすることを発表した。
-
Netflix、MaestroとApache Icebergを使ったインクリメンタル処理ソリューションを構築
Netflixは、データ・プラットフォームにおけるインクリメンタル処理のための新しいソリューションを構築した。インクリメンタルアプローチは、完全なデータセットの処理を避けるため、コンピューティングリソースのコストと実行時間を大幅に削減する。同社は、Maestro workflow engineとApache Icebergを使用して、データの鮮度と精度を向上させ、マネージドバックフィル機能を提供する予定である。
-
AWS、モバイルおよびウェブアプリケーション向けの新しいクリックストリーム解析ソリューションを発表
AWSは最近、Clickstream Analytics on AWSという新しいサービスを発表した。 これは、企業のウェブアプリケーションやモバイルアプリケーション内のクリックストリームデータを収集、取り込み、分析、可視化するエンドツーエンドのソリューションだ。
-
Google Analyticsに対するオーストリアDPAの判決がEUベースのクラウドサービスへの道を開く
最近の判決で、オーストリアのデータ規制当局は、EU GDPR規制に基づいてGoogleアナリティクスの使用を違法を言い渡した。判決は非常に具体的に議論され、言葉で表現されている。一方で、それが意味するところはこの特定のケースの範囲をはるかに超えている。
-
Uber Riderアプリでのデータ収集、標準化、大規模な利用
Uber Engineeringは最近、Uber Riderアプリからデータを収集、標準化、使用する方法を公開した。ライダーデータには、Uberアプリとのライダーのインタラクションがすべて含まれる。このデータは、Uberのオンラインシステムからの毎日の何十億ものイベントを表している。Uberはこのデータを使って、ファンネルコンバージョンの増加、ユーザエンゲージメントなどの主要な問題領域に対処する。
-
Microsoftが"Azure for FHIR API"を"FHIR API to Azure Healthcare APIs"に名称変更
先頃Microsoftは、同社Cloud for Healthcare用Fast Healthcare Interoperability Resource(FHIR) Azure APIの名称を、"Azure Healthcare APIs"に変更すると発表した。それに合わせて、ヘルスケアデータのサポート範囲を拡張し、FHIR経由による患者の健康データ、DICOM経由の医療画像データに加えて、Azure IoT Connector for FHIR (IoT Connector)を通じて収集した医療機器データも対象にする。
-
Amazon SNS、Amazon Kinesis Data Firehose経由でのメッセージのアーカイブと分析が可能に
Amazon Web Services(AWS)は先頃、Amazon SNSがAmazon Kinesis Data Firehoseサブスクリプションをサポートし、"カスタムコードを書く必要なく[...]データレイク(data lake)、データストア、およびアナリティクスサービス"へのメッセージ送信を可能にすると発表した。新たなイベント送信先が加わることで、サードパーティサービスプロバイダのインテグレーションも容易になる。
-
AWSがAmazon Finspaceと呼ばれるデータ管理および分析ソリューションを発表
最近、AWSは、Amazon FinSpaceと呼ばれる金融サービス業界（FSI）向けのデータ管理および分析ソリューションを発表した。このサービスは、金融アナリストが分析のためにあらゆる種類の財務データを見つけてアクセスするのにかかる時間を短縮することを目的としている。
-
BBCの分析プラットフォームの失敗に備えた設計
先週のInfoQ Liveで、BBCのプリンシパルシステムエンジニアであるBlanca Garcia-Gil氏が、データプラットフォームの進化する分析のセッションを行った。このセッション中、Garcia-Gil氏は、チームが「既知の未知」と「未知の未知」という2種類の障害にどのように備えて設計したかに焦点を当てた。
-
Feature Storeで機械学習ライフサイクルを加速
Feature Storeは次世代のMLプラットフォームの中核であり、データサイエンティストがMLアプリケーションの提供を加速できるようにするものである。Mike Del Balso氏とGeoff Sims氏は最近、Spark AI Summit 2020 Conferenceで、フィーチャーストア主導のML開発について講演した。
-
Microsoftがデータウェアハウスおよび分析サービスのAzure Synapseを発表
年次開催されるIgniteカンファレンスで、Microsoftによる今年の発表のひとつとして、Azure Synapseという新しい分析サービスに関するものがあった。Azure SQL Data Warehouseの後継となるこのサービスは、企業規模のデータウェアハウスとビッグデータ解析をひとつの場所で実現するものだ。