Amazonは最近、第4回Alexa Prize SocialBotグランドチャレンジの受賞者を発表した。大学生が会話型AIを開発するコンテストだ。チェコ工科大学（CTU）のチームが優勝し、スタンフォード大学とSUNYバッファローのチームが2位と3位であった。
この発表は、Amazon Scienceの研究Webサイトに掲載された。チャレンジに参加する大学のチームは、ランダムなAlexaユーザと対話するAlexaスキルを構築する必要がある。これは、ユーザを少なくとも20分間関与させ、審査員から5段階中4の評価を達成することが目標となる。この目標を達成したチームはなかったが、今年の受賞者であるチェコ工科大学のTeam Alquistの平均対話時間は14分強で、平均評価は3.28であった。チームリーダーのJakub Konrád氏は次のように述べている。
4年連続で決勝に到達したボットを構築できたことをうれしく思いますし、チームを誇りに思います。今年は、柔軟な会話ができるシステムの開発に努めました。準備されたシナリオで生成的アプローチを統合しています。このシナリオは、ユーザのニーズに合わせて調整可能です。
Amazonは2016年に最初にSocialBotグランドチャレンジを発表した。20分の会話と5段階中4の評価という目標を達成したチームはまだないが、大会の全体的なパフォーマンスは毎年向上している。いくつかの大学がチームとして複数年参加している。CTUチームは毎年の大会で2位か3位になっている。今年の準優勝者であるスタンフォードは昨年も2位になった。今年の初めに、Amazonは追加のAlexaPrizeコンペティションであるTaskbotチャレンジを開始した。この課題では、大学チームは、ユーザが複数のステップと決定を行って自分で行う作業と料理の作業の完了をサポートするマルチモーダル（音声とビジョン）エージェントを構築する必要がある。
チャットボットを構築するために、チームはAlexaスキルキットとAWS Lambdaを使ってAlexaスキルを実装する。AmazonはCoBotと呼ばれる追加のPythonツールキットも提供している。これには、自然言語理解、ダイアログ管理、および、自動スケーリングと高可用性のために他のAWSテクノロジーを使用する応答生成サービスが含まれている。そのため、チームはコアとなる会話の問題に集中できる。
ボットが実行されて大会が始まると、Alexaユーザは、Alexaに「チャットしましょう」というプロンプトを表示することで、ランダムに選択されたボットの1つに接続できる。会話を終了すると、ユーザはフィードバックを求められる。大会は、ボットとのユーザの会話に関するいくつかのメトリックを追跡します。最も重要なのは、90パーセンタイルの期間です。その他のメトリックには、期間の中央値と1～5のスケールでのユーザ評価が含まれる。今年のボットは昨年よりも優れたパフォーマンスで大会を開始したが、大会の準決勝段階で品質が低下し始めた。Amazonはこれを「本質的に予測不可能な研究アイデアで実験している」チームに見られるものと考えている。
このチャレンジに関するRedditの議論で、2位のスタンフォードチームのメンバーは次のように書いている。
私は通常のAlexa賞を「退屈なチャットボット」と呼ぶことにしたいと思っています。確かに、言語モデルには多くの進歩がありました。しかし、適用された設定では、オープンドメインチャットボットの問題にはまだ多くの課題があります。パーソナリティの一貫性、メモリと状態の永続性、制御可能な生成、応答待ち時間など。おそらく偏見があるでしょうが、これらは興味深く重要な問題だと思っています。それはまだ優れたソリューションにはほど遠いものであり、オープンドメインのチャットボットが楽しい会話のパートナーになるのを妨げています。
各チームから提出されたソリューションを説明するテクニカルペーパーは、Alexa PrizeのWebサイトから入手できる。