InfoQ ホームページ Distributed_Systems に関するすべてのコンテンツ
-
Uber社、Apache Kafkaの階層型ストレージ機能を推進、効率性をめぐる議論に拍車
運送会社のUber社が、人気の分散イベントストリーミングプラットフォームApache Kafkaの新たな階層型ストレージ機能追加について、詳細を発表した。本機能は、大規模なKafkaクラスタを運営する組織の直面するスケーラビリティや効率性の課題への対応として3.6.0で追加され、現在、早期アクセスの段階である。
-
Amazon S3の条件付き書き込みで分散システムのデータ整合性を改善
AWSは最近、Amazon S3で条件付き書き込みをサポートすることを発表した。これにより、ユーザーはオブジェクトを作成する前にその存在を確認できるようになった。この機能は、データをアップロードする際に既存のオブジェクトの上書きを防ぐのに役立ち、アプリケーションのデータ管理を容易にする。
-
Amazon Aurora Serverlessは10K以上のインスタンスのフリートに対して、どのようにリソースとスケーリングを管理するのか？
AWSのエンジニアが、Amazon Aurora Serverlessプラットフォームのリソース管理とスケーリングの進化と最新の設計について説明した論文を発表した。Aurora Serverlessは、顧客のワークロードのニーズを満たすために動的にリソースをスケーリングし調整するための全体的なアプローチを作成するために、異なるレベルのコンポーネントの組み合わせを使用する。
-
UberがGoogle Cloud Platformでビッグデータ・インフラを近代化するまでの道のり
Uber社は、公式エンジニアリング・ブログへの最近の投稿で、バッチデータ分析と機械学習（ML）トレーニング・スタックをGoogle Cloud Platform（GCP）に移行する戦略を明らかにした。Uberは、世界最大級のHadoopを導入しており、2つの地域にある数万台のサーバーで1エクサバイト以上のデータを管理している。オープンソースのデータエコシステム、特にHadoopは、データプラットフォームの礎となっている。
-
DoorDashはどのようにキャッシュをリアーキテクトし、スケーラビリティとパフォーマンスを向上させたか？
DoorDashは、すべてのマイクロサービスで使用していたヘテロ環境（相互接続・連携に保証のないハードウェアやソフトウェアを混在させて利用している状況のこと）のキャッシュシステムを再構築し、汎用的なメカニズムを提供する共通の多層キャッシュを作成した。
-
Pinterest、KubernetesとApache Helixで非同期コンピューティング・プラットフォームを刷新
Pinterestは次世代の非同期コンピューティング・プラットフォームであるPacerを開発し、大きくなり過ぎてスケーラビリティと信頼性の課題が生じた旧ソリューションであるPinlaterを置き換えた。新しいアーキテクチャは、ジョブ実行ワーカーのスケジューリングにKubernetes、クラスタ管理にApache Helixを活用している。
-
Cadence1.0：Uberがスケーラブルなワークフロー・オーケストレーション・プラットフォームをリリース
Uberは6年間の開発期間を経て、Cadenceと名付けられたワークフロー・オーケストレーション・プラットフォームのメジャーバージョンをリリースした。Uberや他の企業は、ネイティブのプログラミング言語を使ってステートフルなサービスを大規模に構築するためにCadenceを使用している。チームは、使いやすさ、オブザーバビリティ、効率性の向上を目標に次のリリースに取り組んでいる。
-
Cloudflare D1でCloudflareワーカーのための分散SQLiteを提供
間もなくベータ版に入るD1は、CloudflareによるクラウドベースのSQLストレージ分野へのの最初のステップである。D1はSQLiteの上に構築されており、分散レプリケーションメカニズム、バッチ操作のサポート、組み込みコンピューティング、自動バックアップと冗長化などが追加されている。
-
BraintreeがThundering Herdに対処
BraintreeのエンジニアのAnthony Ross氏は、最近の記事で、失敗したタスク対する再試行間隔にランダムなジッターを導入することで、どのようにThundering Herd問題を解決したかを説明した。これは、支払い問題（Dispute）管理APIの効率に影響を与えていた。
-
eBayで分散アーキテクチャによって複雑な依存関係を管理
eBayエンジニアリングチームは最近、彼らがどのようにしてスケーラブルなリリースシステムを考案したかについてその概要を説明した。リリースソリューションは、分散アーキテクチャを活用して、約2時間で3,000を超える依存関係にあるライブラリをリリースする。チームはJenkinsをGroovyスクリプトと組み合わせて使って、リリースを実行する。
-
JaegerとUberのCRISPを使ったマイクロサービスコールのクリティカルパス分析
マイクロサービスベースのシステムでエンドツーエンドの遅延を減らすために最適化する必要のあるサービスを見つけることは課題である。コールグラフが複雑すぎて読み取れない場合があるためだ。Uberはこの問題を解決するために開発されたCRISPと呼ばれるオープンソースツールについて説明した。このツールでは、コールグラフでクリティカルパスを見つける。クリティカルパスによって、最適化することでシステム全体に利益がある操作を特定できる。
-
DaprのCNCFインキュベーターへの参加とYaron Schneider氏とのQ & A
Cloud Native Computing Foundation (CNCF) は先ごろ、分散アプリケーションランタイム (Dapr) を CNCF インキュベーションプロジェクトとして受け入れたことを発表した。この声明は、Dapr プロジェクトの運営および技術委員会 (STC) の設立を発表した、以前の Dapr による発表に続くものだ。
-
Swiftが実験的に分散アクターをサポート
新たなSwift Distributed Actorsパッケージによって、将来のdistributed actor言語機能がSwiftでどのようになるかを垣間見ることができる。
-
"分散システムの８つの嘘”を振り返る
Ably Blogの先日の記事では、Alex Diaconu氏が、"eight fallacies of distributed computing(分散コンピューティングの8つの嘘)"を振り返るとともに、それらに対処するためのいくつかのヒントを紹介している。そのDiaconu氏に、Ablyのエンジニアたちがそれらの誤謬にどう対処しているのか、詳しく聞くことができた。
-
根本的な不確実性が人々に与える影響
人間は確実性を求める。それは安心感を与えるためである。パンデミックが人々を混乱させたため、突然完全にチームが分散してしまった。Kara Langford氏によると、根本的な不確実性により、人々は危険にさらされていると思い込み、健康問題につながる可能性がある。人々は異なる反応をする。不確実性は、新鮮なアイデア、革新、社会的利益につながることも示されている。