InfoQ ホームページ Data に関するすべてのコンテンツ
-
データメッシュ組織の構築
データメッシュ組織は、プロデューサー、コンシューマー、そしてプラットフォームで構成される。Matthias Patzak氏によると、プラットフォームチームの使命は、プロデューサーライフとコンシューマーライフをシンプルで効率的かつストレスフリーにすることだという。データは組織全体で、検出可能で理解しやすく、信頼でき、安全かつ簡単に共有できなければならない。
-
Anthropic、AIデータハンドリング強化のためのコンテキスト検索を発表
Anthropicは、AIシステムと広範な知識ベースとの相互作用における重要な進歩であるコンテキスト検索を発表した。この技術は、埋め込みや索引付けの前にテキストチャンクをコンテキスト情報を付加することで、検索拡張生成（RAG）システムにおけるコンテキスト損失の課題に対処する。
-
ウェブ、プライベート、SaaSアプリケーション全体のデータセキュリティには"Cloudflare One Data Protection Suite"を
Cloudflareはこのほど、ウェブ、プライベート、SaaSアプリケーションなど、あらゆる環境でデータを保護するために設計された高度なセキュリティ・ソリューションの統一セットであるOne Data Protection Suiteを発表した。この製品はCloudflareのSecurity Service Edge（SSE）によって提供され、顧客は単一のプラットフォームから、クラウドにおけるコンプライアンスの合理化、データの露出とソースコードの損失の軽減、開発者とAI環境の安全性を実現できるとしている。
-
Microsoftの新しいシミュレーションフレームワークFLUTEが連合学習アルゴリズムの開発を加速
Microsoft Researchは最近、連合学習ユーティリティと実験用ツール（FLUTE）をリリースした。これは連合学習のMLアルゴリズム開発を促進するための新しいシミュレーションフレームワークである。連合学習の主な目標は、一か所でデータを共有する必要なしに、大量のデータに対して複雑な機械学習モデルをトレーニングすることである。
-
Meta AIが提供する新しいデータセットにより、水素燃料向けの再生可能エネルギー触媒の発見が加速
Meta AIは最近、グリーン水素燃料MLモデリングとシミュレーションに関するまったく新しいデータセットを間もなくリリースすると発表した。これは、酸素発生反応（OER）のための酸化物触媒に焦点を当てたものである。OERは風力と太陽光のエネルギーを介したグリーン水素燃料の生産に使われる重要な化学反応である。
-
MicrosoftがOpen Data for Social Impact Frameworkを発表
Microsoftは最近、Open Data for Social Impact Frameworkを導入した。これは、組織がデータを活用して新しい分析結果を得たり、より適切な意思決定を行ったり、差し迫った社会問題に取り組みながら効率性を向上させたりすることを支援するガイドである。このフレームワークには、組織がスタートするために使える5つのステップのロードマップが含まれている。
-
Azure Purviewワークフローを使って、データエンティティの操作、検証、承認を統合
最近、MicrosoftはAzure Purviewワークフローのプレビューを発表した。これにより、顧客は、反復可能なビジネスプロセスを使って、データエンティティに対する統合を行い、そして作成・更新・削除の操作、検証、承認ができるようになる。これらのワークフローは現在プレビュー中であり、Azure Purviewの一部である。
-
AWS Data Exchange for API によりサードパーティAPIへの一貫したアクセスの提供
先ごろのラスベガスでの AWS re:Invent の間に同社は AWS Data Exchange for API を発表した。この新機能により、顧客は AWS Data Exchange のプロバイダからサードパーティのAPI 製品 を検索、サブスクライブ、そして使用できる。
-
Apache Sparkはバージョン3.2でPandas APIを提供
Apache Sparkチームは、Pandas APIを製品の最新の3.2リリースに統合した。この変更で、PySpark実行エンジンを使って、データフレーム処理を単一のマシン内の複数のクラスタまたは複数のプロセッサーに拡張できる。
-
ClouderaがCloudera DataFlow for the Public Cloudの提供開始を発表
エンタープライズクラウドデータ企業のClouderaは先日、Cloudera Data Platform (CDP)上でハイブリッドストリーミングワークロードを処理するためのデータフローを提供する、クラウドネイティブサービスのCloudera DataFlow for the Public Cloudを一般供与(GA)開始すると発表した。
-
Microsoftが"Azure for FHIR API"を"FHIR API to Azure Healthcare APIs"に名称変更
先頃Microsoftは、同社Cloud for Healthcare用Fast Healthcare Interoperability Resource(FHIR) Azure APIの名称を、"Azure Healthcare APIs"に変更すると発表した。それに合わせて、ヘルスケアデータのサポート範囲を拡張し、FHIR経由による患者の健康データ、DICOM経由の医療画像データに加えて、Azure IoT Connector for FHIR (IoT Connector)を通じて収集した医療機器データも対象にする。
-
Perceiver：複数の入力データ型向けの単一のニューラルネットワークモデル
GoogleのDeepMind社は最近、Perceiverと呼ばれる最先端のディープラーニングモデルをリリースした。これは、人間の脳がマルチモーダルデータを認識するのと同じように、音声から画像までの複数の入力データを受信して処理するものである。Perceiverは、複数の入力データ型、つまり点群、音声、画像を受信して分類できる。
-
Google、従来よりもサービスベースのアーキテクチャ”Runner V2 to Dataflow”を新たに発表
Google Cloud Dataflowは、Google Cloud Platform(GCP)内でApache Beamパイプラインを実行するための、完全マネージドなサービスである。先日のブログ記事でGoogleは、Runner v2 to Dataflowという、これまでよりもサービスベースのアーキテクチャを��たに発表した。言語SDKのすべてを対象とする多言語サポートも含まれる。
-
-
データエンジニアリングの未来 - QCon San FranciscoでのChris Riccomini氏の講演より
QCon San Francisco 2919で、Chris Riccomini氏が、"The Future of Data Engineering"と題した講演を行った。おもな内容は、完全に自動化された非集中型データウェアハウスの実現という、データエンジニアリングの最終目標への到達に関するものだ。