InfoQ ホームページ Apache-Airflow に関するすべてのコンテンツ
ニュース
RSSフィード-
AirbnbがHimejiを構築 - スケーラブルな中央認証システム
Airbnbは最近、スケーラブルな集中認証システムであるHimejiをどのように構築したかについて説明した。Himejiは、信頼できる唯一の情報源として、パーミッションデータを保存し、パーミッションチェックを実行する。シャーディングおよびレプリケートされたインメモリキャッシュを使って、パフォーマンスを向上させ、レイテンシを短縮し、本番環境で約1年間チェックを行ってきた。
-
BBCの分析プラットフォームの失敗に備えた設計
先週のInfoQ Liveで、BBCのプリンシパルシステムエンジニアであるBlanca Garcia-Gil氏が、データプラットフォームの進化する分析のセッションを行った。このセッション中、Garcia-Gil氏は、チームが「既知の未知」と「未知の未知」という2種類の障害にどのように備えて設計したかに焦点を当てた。
-
PayPalは、次世代のデータ移動プラットフォームとしてApache AirflowとApache Gobblinを標準化
PayPalは最近、次世代のデータ移動プラットフォームを実装するために、Apache AirflowとApache Gobblinでどのように標準化されたかについて説明している。 PayPalエンジニアリングブログの最近のブログ投稿で、PayPalの技術スタッフのシニアメンバーであるJay Sen氏は、既存のデータ移動プラットフォームが複雑で管理しにくいエコシステムで、多くのツールとプラットフォームにどのように進化したか、そして、新しい実装への移行について詳しく説明している。
-
AWSがApache AirflowのAmazonマネージドワークフローを導入
先頃、AWSはApache Airflow (MWAA) 用のAmazonマネージドワークフローを導入した。これは、AWSでのApache Airflowのオープンソースバージョンの実行を簡素化し、抽出-変換-ロード (ETL) ジョブとデータパイプラインを実行するワークフローを構築するフルマネージドサービスである。