お話をしてくださった方

Fastest Customer Support マネージャー 小川紀一郎氏（※所属・役職は導入当時
チーフスーパーバイザー　井上健氏（※所属・役職は導入当時）

QA ENGINE導入の背景

クラウド会計ソフトを提供するfreeeがカスタマーサポートの中で主力のチャネルとして最も力をいれているのはチャットだ。サポート対応内容は機能面での使い方から一般的な経理知識まで幅広い。

そこに確定申告の提出期限を迎える１月から３月初旬の期間は通常のお問い合わせ件数の３倍以上のボリュームが押し寄せる。2016年までは社内の他部署のメンバーの動員や外部パートナーの人員増強で乗り切っていが対応内容が広範かつ専門的であるため、短期の補強要員では対応しきれず、エスカレーションが必要になってしまうことが頻発していた。「事業拡大に伴い問題は深刻化していました。抜本的なアプローチを取る必要があると感じました」と同社のFastest Customer Support マネージャー の小川氏は当時を振り返る。

分析したところ、質問の7-8割は定型的に答えられるものであるということが判明。これをAIに対応させれば良いのではないか、ということでStudio OusiaのQA ENGINEを導入することが決定した。

導入から運用まで

導入にあたっては効率化を明確に意識して、全ての質問に答えるよりむしろ最も頻繁に聞かれる質問に対して正確に答えるということをチャットボットの目標とした。回答は既存のチャットサポートの定型文約300件を活用、過去にヘルプデスクに来た質問に対してその正解を紐付けしたデータを準備し、機械学習を実施した。

検討は2016年１０月中旬に開始したが、2017年１月には運用開始に踏み切った。「まずはアウトプットにすることを最重要視しました。最初からなんでも答えられるようにするよりは運用の中でどんどん答えられる率をあげていく方が長い目で見ると早いという判断です」とチーフスーパーバイザーの井上氏。

freeeのチャットボットでは、回答が一つだけ表示されるように設定している。また、スコアで足切りをすることによって、QA ENGINEでの確信度が低い回答は表示されない仕組みだ。「QA ENGINEの回答表示数は設定自由ですが、いくつも答えを見せることでお客様を迷わせたくなかったし、間違った答えを表示するよりもオペレーターに繋ぎたかった」（井上氏）からだ。
実際チャットウィジェットの下にはオペレーターにつなぐブルーのボタンが導線として用意されており、ユーザーはチャットボットの回答に満足できなかったり、もっと詳しい話を聞きたい場合は、即オペレーターと対話できるようになっている。

QA ENGINE導入の効果

freeeでのチャットボットの導入効果測定指標には、回答の表示率および解決率（オペレーターに質問をしないで、チャットボットの答えだけで解決した率）がある。導入当初は表示率は約50%、解決率は約30%だった。「確定申告時期にオペレーターに回る質問が30%減ったというだけで効率化の効果はあった」（小川氏）。その後６ヶ月間、月に1-2日ぐらいの作業で、新しいユーザーからの質問に正解を紐付けて機械学習を実施した結果、表示率が約80%、解決率は50%にまで向上した。「QA ENGINEはディープラーニングという高度な技術を使っているのですが、その学習データの作成や機械学習の操作については専門の知識が必要ではない。基本的にはクリック操作のみなので、現場の人間が運用を直接担当し、精度を継続的に上げることができたのがよかったです。」（井上氏）

今後の展望

「継続して育成すれば、ゆくゆくはボットが質問全体の80%を解決できるところまでいくのではないかと考えています」と井上氏。また、QA ENGINEはAPIを使って色々なところに表示させることが可能だ。現在は上記のチャットウィジェットの他に、お問い合わせフォームとの連動も行なっている。今後は他のアプリケーションでの対応やメール業務への適用なども検討中だ。