ポッドキャスト

Lily Maraと信頼性の高いKafkaデータ処理パイプラインを構築する

今日の回では、Thomas Betts氏がカリフォルニア州サンマテオにあるOneSignalのエンジニアリングマネージャー、Lily Mara氏に話を聞いた。 彼女は、OneSignalの他のエンジニアリングチームが使用する社内サービスを担当するインフラサービスチームを管理している。信頼性の高いKafkaデータ処理パイプラインの構築方法について議論する。OneSignalは、RustのKafkaコンシューマーに支持されている最大スループットとなるHTTPエンドポイントのパフォーマンスと保守性を、パイプライン処理を非同期システムにすることで改善した。同期式から非同期式への移行は、運用コストを簡素化できるが、新たな課題も発生する。