2019年11月27日にQA ENGINEユーザー会#2を開催いたしました。QA ENGINEユーザー会はQA ENGINEを利用している企業様、そのサポート行っているパートナー企業様にお集まりいただき、現場ノウハウを参加者同士で共有していただくとともに、弊社に対する商品フィードバックをいただくことを目的とした会です。
今回はSansan株式会社にてQA ENGINEの運用の中心を担っている村松様にお越しいただき、Sansan様での取り組みを発表いただきました。
Sansan様ではユーザー数の増加と共に問い合わせが増えており、ユーザーの問題解決時間の短縮と対応効率化を目的にテクノロジーの導入を検討していました。当初は問い合わせフォームの回答支援ツールとして、現在はユーザーサポートのチャットボットとしてご利用いただいております。
Sansan様ではQA ENGINEを育てるための様々な工夫を行っています。
- ・アイコンを付け、名前を付け、みんなで可愛がる
- ・回答の更新やアノテーションの作業を全員が行う体制を構築する
- ・QA ENGINEで回答する分野、しない分野を明確にして学習効率を上げる
その結果、正答率が半年で倍以上向上しました。これからもより一層の高みを目指してコツコツと努力をしていくとのこと。
村松様からの発表に対して、会場から現場担当者ならではな質問があがりました。
KPIの設定方法、回答準備やアノテーションを複数人で行う上での質管理方法、正答率向上のためのアノテーション上の工夫等に関して活発な質疑応答が行われました。それぞれの実情を共有する場面も多く、みんなで経験を共有する場となりました。
最後に弊社から取り組みのアップデートとして2つの発表を行いました。
・QA ENGINEの新機能であるエラー分析機能のご紹介
エラー分析機能は、指定された質問のリストに対して機械学習モデルをテストし、性能の評価や、正誤の比較を行うことが出来ます。絶対外したくない質問に対する新旧の学習モデルの判定結果を常に確認することが楽になります。
・AIが自動的にテキストデータの仕分けを行うSMART ANNOTATORのご紹介
SMART ANNOTATORはテキストデータを意味が似たもの同士でクラスタリングし、クラスタごとにタグ付けをしやすくするツールです。弊社の自然言語処理技術を活用した、QA ENGINEと独立したツールとなっています。QA ENGINEで活用する学習データの生成を簡単にすることを想定して開発をしておりますが、VoC分析をはじめとした問い合わせ分析にも利用できます。
後半は軽食をお楽しみいただきながらユーザー様同士の交流を行いました。登壇者に質問をしたり、他のユーザー企業様と情報交換をしたりと、終了時間を過ぎても歓談が続きました。
