DoorDashはユーザー体験を向上して数千件もの注文キャンセルを削減するために、店舗の稼働状況を予測する機械学習モデルを導入している。店舗の稼働状況や注文の受付・処理能力を把握することは、DoorDashのプラットフォームにとって非常に重要だ。DoorDashの各マーケットプレイスは独立して稼働しているので、注文が届かないことを顧客に知らせたり、閉店したマーケットプレイスに他の注文が入るのを避けるためにも営業時間の情報は重要なのである。
DoorDashの配達員がマーケットプレイスの閉店を見つけた場合、DoorDashの配達員アプリの「Dasher Report Store Close」（DSRC）を通じて、閉店したマーケットプレイスを報告可能だ。このプロセスは閉店したマーケットの写真を提出することから始まり、時間の損失に対して払い戻しが行われ、別の配達を続けることができる。DSRCの報告を受けると、DoorDashはプラットフォーム上で更新するために店舗に連絡を取り、その状況を把握する。これは、時間がかかり、拡張性がなく、非効率的なプロセスである。こうした理由から、DoorDashは、最後の配達の時間やDasherがアップロードした写真の分析など、いくつかの変数に基づいて店舗の状態を理解できる機械学習モデルを開発した。
店舗の稼働状況を推測するモデルを作成する最初の試みは、DSRCレポートが届いたときに市場が閉店している条件付き確率の計算だった。
Probability(Store is Closed | DRSC report)
店舗の状態変数は、過去のDSRCレポートの状況に基づいて構築された：具体例を挙げると、DoorDashの配達員が15分以内にピックアップを完了した場合、その店舗はDSRCレポートで閉店とされているにもかかわらず営業している可能性がある。さらに、新しい機械学習モデルでは、DoorDashの配達員がアップロードした画像を利用してる。DoorDashの画像処理プラットフォームを利用して内部で学習させた画像分類器は、アップロードされた画像を解析し、店舗が閉まっているかどうかを把握する（例えば、照明が消えているかどうかを解析する）。この分類器は、画像情報を1つの数値に圧縮し機械学習モデルの特徴量として活用する。これによりDoorDashプラットフォームは、数十万枚の画像を迅速に処理して使用可能となる。
LightGBMモデルは、履歴データと画像データを組み合わせて、店舗が閉店している確率を最終的に見つけだす。店舗の状態に関する決定は、この確率に定義された3つのしきい値に基づいて行われる。店舗が閉店している確率が低いと、注文の割り当てを解除し、注文を配達する新しいDasherを探す。中間の確率では、DoorDashは注文をキャンセルし、高い確率では、注文のキャンセルと店舗の一時停止の両方をプラットフォームが行う。
/filters:no_upscale()/news/2023/01/doordash-ml-marketplace-status/en/resources/1historical-data-12-1024x489-1674502213313.jpg)
機械学習モデルのプロダクション環境への展開とABテストの後、DoorDashはユーザー体験が向上し、毎週何千もの配達がキャンセルされずに済んだことを確認できた。次のステップは、時間帯、将来の出店数、将来の注文キャンセル数など、他の特徴を取り入れることによって、しきい値の決定を動的にすることだ。もう一つの改良点は、店舗に関する各決定にかかるコストを理解するために損失関数の開発を進めることだ。損失関数と確率モデルのおかげでDoorDashは期待損失を計算し最小化するアクションを見つけられることだろう。