2018年にはヘルプデスクにAIを導入することが普及し、大企業では複数のベンダーのソリューションを比較検討して導入を決定することも珍しくなくなりました。
その中で一つの指標として用いられるのが回答精度の比較です。AIを導入するにあたって、「正確に答えること」が期待されるのですから、検討項目に入ってしかるべきものでしょう。精度の測り方にはいくつかのアプローチがありますが、効果の低い方法で精度を計測しても意味がありませんし、その後の導入効果に影響が出てしまいます。
そこで、こちらでは機械学習による質問応答システムを例に取りながら、弊社の推奨する正解率の比較検証方法の一例の概略をお話したいと思います。
弊社の推奨する検証の手法は単純で、以下の２つとなります。
- 対象サービスとなるべく同じ性質やドメインのデータで学習を行い、比較をする
- 検証の質問は学習データに含まれる質問とは異なるものを用いる
まず１つ目のポイント「対象サービスとなるべく同じ性質やドメインのデータで学習を行い、比較をする」についてお話しします。時々お客様に「この質問応答システムの正答率は何パーセントですか」ということを聞かれます。実はこの質問にはあまり意味がありません。なぜなら同じ機械学習モデルでも、学習する質問の性質・ドメインやその量によって、違う回答精度を示します。
大事なことは御社の業務にどのベンダーのシステムが合っているかを知ることですので、業務に使いたいデータで学習データを作り、その同じデータを使って検討中のソリューションを比較します。
多くの場合は回答候補を作って、それに対して質問例を複数個ずつ（例：一つの回答候補に対して質問例を5-10個）作ります。それを機械学習して、質問をしてみて比較をします。もしも、回答候補および質問例の入力以外の入力（例えば辞書登録）があれば、それは別工程として評価する必要があります。
なお、同じタイプのテキストで同じシステムならば、学習データ(質問例）が多ければ多いほど、回答精度は上がることが多いと考えられます。
次に、２つ目のポイントである「検証の質問は学習データに含まれる質問とは異なるものを用いる」についてお話しします。質問応答システムを作る時に機械学習を使う理由の一つに「学習させた表現そのものではない質問に対しても答えられる」ことが期待できることがあります。
逆に、機械学習の場合、時たま学習表現そのままでも誤答をしたり、正解でもスコアが低めだったりすることがあります。これはなぜかというと多くの機械学習システムにおいては「過学習」を避けるための調整が行われているからです。過学習を防ぐ仕組みを導入しないと学習データにあまりにも忠実に学習モデルができてしまって、全体的な性能が悪化する状況となります。
ですので、検証する際の質問は、学習した質問と表現の異なるものをいくつかのバリエーションで準備するのがよいでしょう。
以上が機械学習による質問応答システムの精度を比較する基本ポイントです。
最後に番外編として、「学習のデータ量を段階的に増やして検証する」ことについてお話ししたいと思います。
すでにお話ししたように、同じシステムでも学習データが多いほど回答精度は上がる可能性が高くなります。しかし、多くの学習データを作成する（=質問例を多く作る)というのはそれなりの業務負担になりますので、導入企業によって「どの程度の学習データなら用意できそうか」ということと「どの程度の回答精度を求めているか」という２つの要素のバランスを考える必要があるとともに、導入するソリューション選びにそれを反映することが望ましいと言えると思います。
たとえば、ソリューションによっては、とても少ない学習データでそこそこの精度を出すけれども、そのあとどんなに学習データを追加しても大して精度が上がらないものがあります。逆に少ない学習データではうまく機能しないけれども、学習データを増やすと確実に精度が上がるものもあります。もちろん、学習データが少なくても多くても他のソリューションよりも精度が高いものが理想と言えるでしょう。しかし、これを知るためには具体的に御社の使いたいデータで比較する必要があります。
これらを検証する一つの方法としては、まずは回答候補に対して２−３個だけ質問例をつけて学習させて、テストしてみます。それを５つ、７つ、１０個と増やしながら、それぞれテストします。この質問例の数は例ですので、具体的にはどのような学習データ量（質問例数）で比較したいのかを考えて設定するのがよいでしょう。
この際にテストに使う質問はもちろん学習させた質問と表現を変えます。
以上、弊社がお薦めする簡単な質問応答システムの精度比較方法のご紹介でした。
チャットボットなどカスタマーサポートに自動応答AIを導入する際のチェックポイントを解説したホワイトペーパー「カスタマーサポート業務効率化のためのAIの選び方」配布中です。
