自然言語解析を従業員満足度向上に活用すべき理由について

はじめに

（当レポートの概要について）

　AME&Company株式会社は自然言語技術を使用しているAME Cloudを通じて、様々な企業様の従業員満足度向上のサポートサービスを提供しております。当レポートでは、

• AME Cloudでできること

• 結婚式場をサンプルとした自然言語解析の手法

• 自然言語解析の精度

について言及しております。従業員満足度向上のために、少しでも皆様のお役に立てることができれば幸いです。

AME Cloudは自然言語データの解析に強力なツール

（分析手法）

AME Cloudは、アンケートやクチコミといった自然言語データの解析をサポートする二つの機能を持つ。

一つ目の機能は、AIによる感情分析を用いた、自然言語の定量化である。ここで感情分析とは、ある文章の内容が否定的か肯定的かを、-1から+1までの値(感情スコア)で評価する処理を指す。例を挙げると、「講演者の話は面白かった」=+0.5といった具合である。この感情分析によって、自然言語データを定量的/統計的に評価できるようになる。

AME Cloudのもう一つの機能は、ユーザーが任意に設定したルールに基づく項目分類である。ここでルールとは、例えば、"音"や"声"といったキーワードを含む文章は"音響の良さ"の項目に分類する、といった規則を指す。この機能によって、ユーザーにとって特に関心があるデータを抽出して解析を行なうことができる。

なお、解析に際して、AME Cloudでは、データの可視化方法も様々選択できる。例えば、図1に示すように、注目する項目に関する感情スコアをヒストグラムとして表示することができ、このヒストグラムから平均値や標準偏差を評価することが可能である。平均値や標準偏差といった統計値は、解析結果から説得力のある主張を行なうために必要不可欠である。

　これらの作業を行おうとすると、分析者によって感情評価の統一性が異なることで、分析結果が俗人的になり得る。また、エクセルやプログラミングを用いて解析を試みると、データの整備からツールの構築に多数の手間が取られてしまうため、当サービスは非常に有効なサービスと言える。（表1）

図1. 感情スコアに関するヒストグラム

結婚式場のクチコミ解析を行なう

AME Cloudによる自然言語解析のデモンストレーションとして、本稿では結婚式場のクチコミ解析結果を紹介する。

結婚式は、多くの人の場合、一生に一度の大イベントである。このような特別な日を最高の思い出にするために、新郎・新婦は、式場選びに際して多くの式場を見て回り、細部に渡って比較を行なう。したがって、式場運営者は、顧客獲得のため、競合に対する自身の式場の弱みを細かな項目に至るまで把握し、適宜改善を行わなければならない。

AME Cloudを用いることで、膨大な量のクチコミを多数の項目に分類し、各項目に関する統計的な評価結果を取得することができる。したがってAME Cloudは、式場運営者が自身の強みや弱みを把握するうえで強力なツールとなり得る。

今回のデモンストレーションでは、東京の表参道エリアに属する結婚式場のクチコミ7,778件(71,397センテンス)に対して解析を行った。また、式場の評価項目については、次の10項目とした: ”フェア(相談会)”、”プランナー”、”衣装”、”料理”、”装花”、”料金”、”挙式会場・披露宴会場”、”演出”、”スタッフ”、”アクセス”　。

ルール作成にはワードクラウドを用いる

（解析ルールの設定）

図2. AME Cloud上のワードクラウド

項目分類のためのキーワード選定には、図2に示すAME Cloud上のワードクラウドを用いた。ワードクラウドには、クチコミに含まれる頻度が多い単語ほど大きく表示される。したがって、大きく表示されている単語から機械的にルールに組み込んで行くことで、効率よく項目分類を行なうことが可能である。

85%のセンテンスを90％の精度で分類できた

（精度）

項目分類に際して使用したルールは表1の通りである。なお、表には別途用意した評価データセットを用いて、今回使用したルールの精度(正しい分類が行われれた割合)を評価した結果も示している。表から、全ての項目に関して概ね90%程度の精度で項目分類ができていることが確認できる。

各項目に属するセンテンスの構成比は図3の通りである。なお、missing valueは今回設定したルールで分類できなかったセンテンスの集合を表しており、この割合が約15%であることがわかる。したがって、残りの約85%のセンテンスが、今回設定した評価項目の何れかに属していることが確認できた。

表1. 各項目のルールと精度

評価項目	ルール（キーワード）	精度(%)
フェア	​“見学”、”相談会”など 合計7キーワード	99
プランナー	“プランナー”、”提案”など 合計5キーワード	91
衣装	“ドレス”、”メイク”など 合計7キーワード	87
料理	​“ケーキ”、”ワイン”など 合計30キーワード	93
装花	​“花”、”フラワー”、”ブーケ”	93
料金	“見積り”、”予算”など 合計15キーワード	95
挙式・披露宴会場	“チャペル”、”テラス”など 合計65キーワード	91
演出	“集合写真”、”演奏”など 合計25キーワード	93
スタッフ	“スタッフ”、”司会”など 合計29キーワード	90
アクセス	​“駅”、”駐車場”など 合計11キーワード	93

図3. 各評価項目の構成比

エリア平均との比較でわかる弱み

（周辺式場との比較）

項目分類が完了すれば、AME Cloudの豊富な可視化ツールを用いてユーザーが望む解析を行なうことができる。今回は表参道エリア全体と同エリア内のある式場(式場Aとする)の比較を行った。図4に解析結果を示す。横軸は今回設定した10個の評価項目であり、縦軸は感情スコアの平均値である。図から両者の値は多くの項目で概ね一致していることがわかる。しかし、”プランナー”と”料金”の項目については、式場Aのスコアはエリア平均を比較的大きく下回っていることがわかる。このように、AME Cloudを用いることで、各式場を任意の評価項目および尺度に基づいて比較可能である。

図4. 式場Aと表参道エリア全体との比較

自然文解析で得られる情報

（5段階アンケートなどのスコアとの差異）

自然文を用いた解析によって、様々な特徴を発見できることについてはご理解いただけたかと思う。しかしながら、これらの解析に自然文解析のような高度技術は不要だと考える方も少なくない。例えば5段階評価アンケート等でも同じような示唆を導き出すことができるのではないかと考えることも不自然ではないと考える。

そこで、今回解析対象としたサンプルデータには既に5段階アンケートの評価結果も存在していたので、5段階アンケート結果と自然文解析結果を比較してみた。

実際に5段階アンケートの集計値と今回分析した自然言語から導き出した集計値を比較してみた。

図5. 5段階アンケート結果と自然文解析結果の比較

赤線が5段階評価アンケート結果、青線が自然文解析結果である。直感的に、それぞれの調査結果に相関性が見られる。

しかしながら、【料金】の結果だけを切り取ってみた場合、それぞれのスコア間に差異があることが見て取っていただけるだろう。要因としてはスコアをつけるときには気にしない些細な不満が自然文の中に表現されている可能性があることを表している。

これらの差異は、冒頭のルール設定の精度に依存する側面も否めないが、自然文解析のみでしか得られない情報がある可能性も否定はできない結果となった。