InfoQ ホームページ data-analysis に関するすべてのコンテンツ
-
Amazonが分析のためにサステナビリティデータセットを提供
Amazon Web Services Open Data (AWSOD) とAmazon Sustainability (AS)は、AWS Simple Storage Service (S3)でサステナビリティデータセットを利用できるようにするために協力して、最適な検索のためにデータセットを前処理することで一様に処理する重い処理を取り除く。持続可能なデータセットは一般に衛星、地質学的研究、気象レーダー、農業研究などからのものである。
-
NoSQL データベースのアジャイルなデータモデリング
Data Arachitecture Summit 2018 Conference にて Pascal Desmarets 氏が NoSQL データベースのためのアジャイルなモデリングとベストプラクティスについて語った。
-
ソフトウェア開発から機械学習へのチーム転換：QCon NYのGolestan Radwan
企業がビッグデータや機械学習の戦略をプロジェクトポートフォリオに追加する際、チームがソフトウェアエンジニアリングからデータエンジニアリングや機械学習へ移行することなど、いくつかの困難に直面する。Golestan "Sally" Radwan氏は最近QCon New York 2018で、伝統的なソフトウェアエンジニアリングチームの機械学習／AIジャーニーを先導した経験について講演した。
-
分散型メッセージングフレームワークApache Pulsar 2.0がスキーマレジストリとトピック圧縮をサポート
オープンソースの分散型pub-subメッセージングフレームワークApache Pulsarの最新バージョンによって、企業は、動いているデータを操作することによって「バッチでできることを超える」ことができる。 Streamlioは最近、Apache Pulsar 2.0ストリーミングメッセージングソリューションの利用できるようになったことを発表した。新しいバージョンでは、Pulsar関数、スキーマレジストリ、トピック圧縮がサポートされている。
-
並列実行とライブレコメンデーションを可能にするeBayのAcceleratorデータ処理フレームワーク
eBayのAcceleratorデータ処理フレームワークは、並列実行機能と、ソースコードと入力データ、結果の自動管理を可能にする。データ分析やアルゴリズム開発、さらにはライブレコメンデーションシステムでの利用が可能だ。
-
統合データAPIとGSQLを備えたPayPalのGimel分析プラットフォーム
PayPalのRomit Mehta氏とDeepak Chandramouli氏は、先日のQCon.aiカンファレンスで、Gimelデータ分析プラットフォームと、同プラットフォームを用いたデータアクセスのコモディティ化について講演した。Mehta、Chandramouli両氏に、同データプラットフォームのセキュリティ面のサポート、データのバージョニング、将来的なロードマップについて話を聞いた。
-
Dataikuが最新リリースでディープラーニングとコンピュータビジョンを統合
共同データサイエンスプラットフォームDatakuのData Science Studioの最新リリースには、画像処理用に事前学習されたディープラーニングモデルが含まれている。DSSプラットフォームはデータソーシングや可視化から運用展開まで、データサイエンスプロジェクトの全ステップを実行する。マシンラーニングモデルは標準的なライブラリをサポートする。Hadoopや複数のSparkエンジンとの統合も可能だ。
-
機械学習を使って金融詐欺と戦うAirbnb
民泊サイトであるAirbnbは機械学習を使ってクレジットカード不正利用と戦っている。同社は"フリクション"を使って、チャージバックと戦いながら、正当な顧客が予約できなくなるというネガティブな結果を最小限にしている。
-
ConfluentがApache Kafka用分散ストリーミングSQLエンジンのKSQLをリリース
ConfluentがリリースしたKSQLは、Apache Kafkaのインタラクティブな分散ストリーミングエンジンだ。Apache Kafka内のトピックに対する集約やジョイン、ウィンドウニング、セッション化といったストリーミング処理操作をサポートする。このオープンソースのストリーミングSQLエンジンは、Kafka Summitカンファレンスで発表された。
-
Microsoft、データサイエンティストと開発者向けのAIサービスとツールをアップデート
先日のMicrosoft Igniteにて、AI関連サービスおよびツールのアップデートが発表された。今回のアップデートには、Azure ML Experimentation Service、Azure ML Model Management Service、Azure ML Workbench、Microsoft Cognitive Servicesの一般提供が含まれている。
-
DatameerのAndrew Brust氏に聞く - AIにおけるビッグデータの役割とは
InfoQのRags SrinivasがDatameerのAndrew Brust氏に、AIにおけるビッグデータの役割の拡大と、SmartAIを使ってそれを運用可能にする方法について聞いた。
-
MicrosoftがAzure IoTプラットフォームをアップデート、接続機能と時系列分析、エッジデバイスでの分析を可能に
マイクロソフトは先頃、AzureのIoT(Internet of Things)機能に関するいくつかの発表を行った。発表されたニュースにはAzure Time Series Insightsという新サービスの追加、OPC UA/DA用の接続プラットフォームの新たなサポート、エッジデバイス上でのAzure Stream Analyticのサポートなどが含まれている。Azure IoT Centralという、新しいSaaSベースのIoTソリューションも合わせて発表された。
-
データ準備のパイプライン：戦略、オプション、ツール
データ準備は、データ処理および分析ユースケースの重要な1側面である。ビジネスアナリストやデータサイエンティストは、データの分析や機械学習モデルの開発ではなく、データの収集と準備に約80％を費やしている。Kelly Stirman氏は先週、Enterprise Data World 2017 Conferenceでデータ準備のベストプラクティスについて講演した。
-
Mathieu Ripert氏，Instacartのマシンラーニング最適化を語る
Instacartは食料品を１時間以内に届けるオンライン・デリバリサービスである。アイテムをWebサイトあるいはモバイルアプリで注文すると，Instacartの購入代行者グループが地元の店舗でそれを購入して，購入者に届ける仕組みだ。InfoQは同社のデータサイエンティストであるMathieu Ripert氏にインタビューして，よりよいカスタマエクスペリエンスを保証する上で，Instacartがマシンラーニングをどのうように活用しているのか聞いた。
-
サードパーティ製ツールがAdidasのパフォーマンス(と文化)をいかに損なったか
靴と服の巨大メーカのIT部門は，パフォーマンスを損なうサードパーティ製ツールのコントロール不能な拡散をいかにして抑え込んだのか。問題はさらに，ビジネスとIT部門の間に生じる非難の文化にも関係する。解決の鍵となったのは，パフォーマンスデータとユーザエクスペリエンスの検証を重視する，新たなサードパーティのガバナンスプロセスだった。