InfoQ ホームページ Infrastructure に関するすべてのコンテンツ
-
Googleが機密フェデレーション分析でデータプライバシーを強化
Googleはプライバシーを保護しながらデータ処理の透明性を高めるために設計された技術、Confidential Federated Analytics（CFA）を発表した。フェデレーション分析を基盤に、CFAは機密コンピューティングを活用して生データがサーバーやエンジニアに公開されることなく、ユーザーデータに対して事前に定義された検査可能な計算のみが実行されるようにする。
-
Hugging FaceがGPU全体の効率的LLMトレーニングに関するガイドを公開
Hugging FaceがUltra-Scale Playbook: Training LLMs on GPU Clusters、GPU クラスター全体で大規模言語モデル（LLM）をトレーニングする際の方法論と技術について詳細に探究するオープンソースのガイドを公開した。このプレイブックはスループット、GPU利用率、トレーニング効率の最適化に焦点を当て、最大512GPUを使用して実施された4000以上のスケーリング実験に基づいている。大規模モデルトレーニングに取り組む研究者やエンジニアに実践的なガイダンスを提供することを目的としており、再現可能なベンチマーク、実装の詳細、パフォーマンス最適化を提供している。
-
CDNネットワークのトラブルでCanvaがダウンした理由について（アクセス・ロックや飽和状態）
Canvaのエンジニアリングチームは最近、昨年11月に経験した障害に関する事後報告を発表し、API Gatewayの障害と、この事故で学んだ教訓について詳しく説明した。CanvaのCTOであるBrendan Humphreys氏は、次のように認めている：
-
AWS CloudFormation Serviceにおけるインフラ管理強化のためのスタックリファクタリング
AWSはCloudFormationサービスの新機能をリリースし、ユーザーがスタック間でリソースを移動できるようにした。同社によると、この機能はモジュール性、組織性、変化するビジネス要件との整合性を向上させるとのこと。
-
データコントラクトでデータチームのチームコラボレーションを促進するには
データコントラクトは、データプロバイダーとデータコンシューマー間のインターフェース定義であり、データモデル、品質保証、所有権などを指定する。Jochen Christ氏によると、データコントラクトはデータメッシュでの分散データのデータ所有権の決定に不可欠であり、このおかげでデータ特定性、データ相互運用性、データガバナンスが確保されている。データコントラクトでチーム間のコミュニケーションが促進され、データプロダクトの信頼性と品質が向上している。
-
Vercelでは新しいMicroVMインフラストラクチャの導入でビルド時間を短縮
クラウドプラットフォームサービス会社のVercelは、顧客のビルドのインフラストラクチャを支える新しい低レベルコンピュートプラットフォームであるHiveについての詳細な分析を公開した。Vercelは、2023年11月から信頼されていない一時的なコンピューティングタスクのためにHiveを使用している。
-
AWS Glue 5.0がSpark 3.5.2を導入、ETLパフォーマンスを強化
ラスベガスで開催された最新のre:Inventカンファレンスにおいて、AmazonはApache Sparkを活用したETLジョブ高速化のために設計されたAWS Glue 5.0の一般提供を発表した。このサーバーレスデータ統合サービスの最新リリースでは、パフォーマンスとセキュリティの向上とともに、Spark 3.5.2、Python 3.11、Java 17を含むアップグレードされたランタイムが導入されている。
-
Amazon、SAP HANAワークロード向けのハイメモリ EC2 U7inh インスタンスを強化実装
先日AWSは、Hewlett Packard Enterprise（HPE）社と共同開発した新たなAmazon Elastic Compute Cloud（EC2）ハイメモリU7inh インスタンスの 一般提供（GA）を発表した。このインスタンスは、SAP HANAなどのミッションクリティカルな大規模インメモリデータベースワークロードをサポートするように設計されている。
-
Netflix、新しい構成機能でMetaflowを強化
Netflixは、Metaflow機械学習インフラストラクチャに重要な機能強化を導入した：MLワークフローに強力な構成管理をもたらす新しいConfigオブジェクトである。この追加は、多様なMLとAIのユースケースにわたって何千ものユニークなMetaflowフローを管理するNetflixのチームが直面する共通の課題に対処する。
-
Azure Boost DPU：クラウドのパフォーマンスを強化するマイクロソフトの新しいシリコンソリューション
マイクロソフトは先日のIgniteカンファレンスで、効率的で低消費電力のデータ中心ワークロード向けに設計された、初の自社製データ処理ユニット（DPU）であるAzure Boost DPUを発表した。同社によると、この単一のシリコンは、高速イーサネットおよびPCIeインターフェース、ネットワークおよびストレージエンジン、データアクセラレータ、セキュリティ機能を統合し、完全にプログラマブルなシステム・オン・ア・チップになっているという。
-
Cloudflare 2024年を振り返る：GitHub Copilotの力強い成長とGoがNode.jsを上回る
Cloudflareはこのほど、グローバルハイパースケーラネットワークのデータを分析したレポート「Radar Year in Review」の第5版を発表した。その結果、世界のインターネットトラフィックは17.2%増加し、モバイルとIPv6リクエストの顕著な伸びが明らかになった。さらに、自動化されたAPIリクエストでもっとも人気のある言語としてGoがNode.jsを抜き、GitHub Copilotが大きな伸びを示した。
-
QCon San Francisco 2024 ソフトウェア・アーキテクチャ・トラック - 現在の課題とトレンドをナビゲートする
QCon San Francisco 2024では、ソフトウェアアーキテクチャが中心テーマとなり、現在もっとも大規模で複雑なアーキテクチャを探求するための2つのトラックが設けられている。Netflixでの多様なMLシステムの設計からGitHub Copilotにおける数百万もの完了リクエストの処理に至るまで、大規模な課題に取り組もうとするアーキテクトにインスピレーションと実践的な教訓を提供する シニア・ソフトウェア・プラクティショナーに参加しよう。
-
データメッシュ組織の構築
データメッシュ組織は、プロデューサー、コンシューマー、そしてプラットフォームで構成される。Matthias Patzak氏によると、プラットフォームチームの使命は、プロデューサーライフとコンシューマーライフをシンプルで効率的かつストレスフリーにすることだという。データは組織全体で、検出可能で理解しやすく、信頼でき、安全かつ簡単に共有できなければならない。
-
汎用的で計算負荷の高いAmazon EC2 Graviton4インスタンスが利用可能になった
AWSはこのほど、最新のGraviton4プロセッサを搭載したEC2 C8gとM8gインスタンスをリリースした。汎用的なM8gインスタンスと計算負荷の高いC8gインスタンスは、Graviton3ベースのインスタンスと比較して最大30％の性能向上を実現するように設計されており、前世代のM7gとC7gと比較してコストは約10％向上している。
-
Uberのバッチ・データ・プラットフォームの拡張：データ・メッシュの原則によるクラウドへの道のり
数ヶ月前、UberはGoogle Cloud Platform（GCP）上でバッチデータ分析と機械学習プラットフォームのクラウドへの移行を開始した。最近のエンジニアリング・ブログへの投稿で、Uberは重要なデータ・メッシュの原則を取り入れたバッチ・データのクラウド移行に関する追加情報を提供した。