AIによるカテゴリー分類の使い方

Quality-Work Ver3.0から、AIを使ったカテゴリー分類ができるようになっています。

アクティビティの分類方法

Quality-Workでは、ユーザーごとにさまざまな観点で作業の分類ができるように、「ビュー＆カテゴリー」方式で作業分類を行います。（ビューとカテゴリの説明はこちらを参照）

Ver2.0までは、「マニュアルでの分類」と「キーワードマッチングによる自動分類」の２つの方法を組み合わせてカテゴリーの分類を行っていましたが、Ver3.0ではこれに加え、「AIによる自動分類」の機能を追加し、ビューごとに「キーワードマッチング」と「AI」のどちらかの自動分類方式を選択し「マニュアル分類」と組み合わせて分類を行うようになっています。

キーワードマッチングによる自動分類は、単純なケースでは非常にうまく動きますが、少し複雑なケースではうまく分類できない場合もありますし、適切なキーワードを選び設定するのには意外と手間と時間がかかってしまうという問題がありました。新たに導入した学習機能を持ったAIによる分類機能は、これらの問題を解決することができます。

AIによる分類の仕組み

AIによる分類は、以下の仕組みで動作します。

学習データとなるデータを登録する
学習データを使ってAIモデルを作る
AIモデルを使って分類を行う

具体的な操作方法

学習データの登録

　まず、「マニュアル分類」を使って、過去に記録されたアクティビティをどのカテゴリーに分類するかを設定します。（操作方法はここを参照）これにより、アクティビティの「アプリケーション名＋タイトル」の文字列情報とそれに対するカテゴリーが紐付けされた「正解データ」ができます。

　Quality-Workでは、過去のアクティビティのうち、「正解データ」と同じ「アプリケーション名＋タイトル」を持つものを抽出して学習データとして使います。

Quality-Workでは、少ない学習データでもAI推論ができる方式を採用していますが、それでもデータが少なすぎると正しく学習を行うことができません。学習データとして最低どれくらいの量のデータが必要かはケースバイケースなのですが、一応以下を目安としていただければ良いかと思います。

数日分(おそらく1000件程度)のアクティビティが記録されていること。
全体で50件以上、１カテゴリーあたり５件以上のアクティビティ記録をマニュアルで分類登録されていること。

AIモデルの生成

　十分なデータが揃ったら、AIモデルを生成します。カテゴリーエディターの中程に表示されている「分類方法」のところで「AI分類:全て」か「AI分類:高確度のみ」を選ぶと以下のような表示になります。

「AI分類:全て」か「AI分類:高確度のみ」はどちらも同じAIモデルを使って分類を行いますが、以下の違いがあります。

AI分類：全て　全てのアクティビティーをどれかのカテゴリーに分類します

AI分類：高確度のみ　AIによる推定の正解確度50%以上のものだけを分類します。どのカテゴリーも50%未満の確度だった場合は、「Undefined」に分類します。

モデルを生成する操作はとても簡単です。まず、右側に表示されている「モデル作成」ボタンをクリックすると、以下の画面が表示されます。

学習データとしてデフォルトで「全てのアクティビティ情報を使う」が選択されていますが、初めてモデルを生成するのであれば、特に変更する必要はありません。そのまま「生成」をクリックします。（「期間を指定する」必要があるのは、学習データが大きくなりすぎるので数を絞りたい場合や、過去の期間のアクティビティを学習データに含めたくない場合など、調整が必要な場合などです）

生成ボタンがクリックされると、Quality-Workは「学習データの抽出」し、AIモデルを生成した上でこれを学習させます。学習が終わると画面は以下のようになり、学習したデータ数とモデルの評価結果が表示されます。

学習モデルの評価結果は、AIライブラリとして使っている「scikit-learn」が出力してくれるモデルの評価結果です。各項目の意味の詳細は割愛しますが、以下のサイトに分かりやすい解説があります。

「適用」ボタンをクリックして、今生成したモデルを推定に使うよう設定します。「AIモデル一覧」に生成したモデルの情報が反映されます。

AIモデルの適用と削除

AIモデルは、新たに幾つでも生成することができ、また過去に生成したモデルをそのまま置いておくこともできます。使うことのできるAIモデルは以下のように「AIモデル一覧」として表示されます。

現在使われているモデルは白い枠で囲まれて表示されます
「適用」ボタンをクリックすることで、そのモデルを使うように設定されます
「削除」ボタンをクリックすると、そのモデルをシステムから消去します

推定結果の確認

AIモデルが適用されると、イベントセレクターにはAIモデルが分類した結果が表示されます。

「AI分類：全て」の場合の表示結果が以下です。

すでに完全一致で分類されているもの（赤字で表示されているもの）と同様にAIにより分類されたものは、背景色がカテゴリに設定されているカテゴリ色で示されます。また、右端にAIによる推定確度がパーセンテージで表示されます。

「AI分類：高確度のみ」の場合は以下のようになります。

推定確度が50%未満のものには、背景色がなく分類されていないのが分かります。

運用方法

運用における注意点は以下です

継続的にマニュアル分類を実施し、定期的にAIモデルを更新することをお勧めします。日々の仕事の中で作成したり参照したりするドキュメントなどはどんどん変わっていきますので、前に学習したものでは対応できなくなることがあるからです。「AI分類：高確度のみ」にした時に分類がされない推論時の確度の低いものを中心にマニュアル分類でを行うと、次にAIモデルをにより効果的な学習をさせることができます。
AI分類を行うビューに対し、カテゴリを追加したり削除した時には、AIモデルを更新してください。更新しなかった場合、AIモデルが追加したカテゴリーに分類を行うことはありません。逆にAIモデルが削除したはずのカテゴリーに分類を行ってしまい分類ができなくなることもあります。
新たにAIモデルを作成しても、前に使っていたモデルはそのまま保存され続けます。カテゴリー情報がそのままであれば過去のモデルを再度使用することもできます。ただし、モデルが増え続けるとローカルストレージを圧迫することがありますので、不要になったモデルは「削除」していくことをお勧めします。