ニューラルネットワークやAIに関する世界最高峰の国際会議NIPS（The Neural Information Processing Systems, 米国カリフォルニア州で12/4-9に開催）で行われた質問応答に関するコンペティション「Human-Computer QA Competition」でStudio OusiaのAIが人間のチャンピオンを含むクイズエキスパート6人組のチームと対戦を行い、465対200のスコアをつけて勝利しました。

上図：左側が人間のクイズエキスパート6人チームのスコア、右側がStudio Ousiaのシステムのスコア。

この対戦は、NIPSのコンペティショントラックの一つとして開催されている「Human-Computer Question Answering Competition」の中で行われました。 このコンペティションでは、参加者はクイズボウルと呼ばれる、クイズ対戦ゲームを解くAIを開発することを求められます。 そして、提出したAIは、他の提出されたAIとの対戦をして性能を評価され、このAI同士の対戦で勝利したAIが最終的に人間のチームと対戦するということになっています。クイズボウルは順に読まれる質問文から回答を予測して早押しで答えるゲームで、いかに早く、かつ正確に回答を出せるかが焦点になります。コンペティションに参加したAI同士が事前に対戦を行った結果、10月にStudio Ousiaのシステムが優勝していました。

対戦した人間のチームは、クイズ番組「ジェパディ!」の優勝者でテレビ番組「Who Wants to be a Millionaire)」で過去に25万ドル獲得したことのあるRaj Dhuwalia氏や、数学者で、過去にいくつかの米国のクイズコンペティションで優勝した経験を持つDavid Farris氏などの有力なクイズプレーヤーを含む六名で構成されました。

クイズ対戦が行われたNIPSの会場では、点差が広がるにつれて人間の正解が出ると会場が盛り上がり、機械の音声で回答が読み上げられ正解の合図が流れると、会場が静まり返るというような状況が繰り広げられていたようです。

このコンペティションは2016年に引き続き二度目の開催で、前回と同様にメリーランド大学、スタンフォード大学、Allen Institute for AI等に所属する質問応答の分野で著名な研究者がオーガナイズしています。

今回のシステムは、弊社で開発している質問応答システムであるQA ENGINEの製品の開発の過程で得られたノウハウを元に二つのディープラーニングを用いた自然言語理解モデルと、複数の情報検索モデルから出力された複数の特徴を、アンサンブル学習を用いて組み合わせて開発されています。 なお、QA ENGINEについては日本語の対応が可能となっており、すでにチャットボットのエンジンとして活躍しています。 また、本システムは、弊社と奈良先端科学技術大学院大学(NAIST)で行っている共同研究の成果の一つでもあります。