FRONTEO、人の作業品質に対する、AIによる評価指標を開発

2022 年 7 月 27 日
報道資料
株式会社 FRONTEO



FRONTEO、人の作業品質に対する、
AI による評価指標を開発
不正調査や訴訟支援における文書レビュー機能に、独自開発の AI による評価指標を搭載



株式会社FRONTEO（本社：東京都港区、代表取締役社長：守本 正宏、以下 FRONTEO）は、自
社開発したAIエンジン「KIBIT
（読み：キビット） を搭載したAIレビューツール
」 「KIBIT Automator」
に実装する、レビュアーの業務品質の定量評価に役立つ新たな指標の開発に成功しました。この指
標は、業務品質をAIにより数値で自動測定し、業務品質の向上に効果的な管理や施策を行うことを
可能にするものです。


企業が管理するデータ量は年々増加の一途をたどっており、デジタルフォレンジック（デジタル
デバイスに記録された情報を対象とする情報保全・分析調査）においては、証拠保持者（カストデ
ィアン）1人当たり数TBに及ぶこともあるデータを収集し、膨大な文書の中から限られた期間内で
証拠に関連する文書を発見しなければなりません。調査に関わる弁護士にとって、時間、費用、調
査品質が大きな課題となります。その中でも、関連情報を発見するプロセスである文書レビューは、
時間と費用の7割を占めると言われ、AIの活用が欠かせません。KIBIT Automatorは、リーガルテッ
ク領域において既に米国や日本で運用が進んでおり、弁護士の判断を学習した高性能AIエンジン
KIBITが、証拠に関連のある文書と関連のない文書を分類することにより、人によるレビューが必要
な文書量を大幅に削減し、時間や費用の圧縮を実現しています。


このたび、FRONTEOは人によるレビュー品質の向上に焦点を当て、レビュアーの業務品質を適
切に数値で管理することが重要との認識のもと、評価指標の開発に取り組みました。この評価は、
従来、Overturn Rateという担当した文書数のうち再レビューにより文書分類にミスのあったことが
判明した文書数の割合を用いて行われてきました。しかし、この方式では、例えば担当した文書数
以外の条件（文書の種類・難易度・証拠に関連のある文書が含まれている率）が同じ環境下におい
て、20文書のうち5文書にミスがあった場合と200文書のうち50文書にミスがあった場合では、後者
の方が高い信頼度でミスが多いと判断されるべきですが、どちらにおいても同じ25%という数字に
評価される等の問題がありました。そこで、FRONTEOは、文書レビューのオペレーションにおけ
る計測可能な数値群を統計学的に扱い、Quality Control（以下、QC）と呼ばれる文書レビューの品
質チェックを受けた文書数に対するミス文書数の割合に修正することにより、上記の問題を解決し
新たな評価指標を生み出しました。この評価指標を独自開発のAIで自動算出することにより、文書
レビューにおけるレビュアーのレビュー品質を、より正しく評価することができるようになりまし
た。

---

 上記の例において、新方式では、後者の方が前者より3倍問題視されます。しかし、50文書ものミ
スの原因がQC文書数の多さによるものであれば、3倍より小さい値に自動で補正されます。この結
果、例えば、QCを行う正確な（Overturn Rateの低い）QCレビュアーや正確さに問題のある（Overturn
Rateの高い）注意対象レビュアー等、文書レビュー品質の管理と向上において重要なレビュアーの
候補を、より正しく選定することができます。


図１は、FRONTEOのテストデータを用い、実際に従来方式と新方式により算出したOverturn
Rateを比較したものです。新方式は従来方式よりも適正にQCレビュアーや注意対象レビュアーを
解析的かつ自動的に選定できることが明らかとなりました。このように、より統計学的に根拠のあ
る数値指標を用いることによって、AIがレビュアーの適切な選定や評価を解析的に支援し、レビュ
アーの管理とレビュー品質の向上をさらに推進することができます。




図１．従来方式と新方式で算出したOverturn Rateの比較（FRONTEOのテストデータを使用）。
グラフの囲み部分は、2つの方式間で、Quality Control (QC)担当者として選抜される品質が高い
と思われるレビュアーと、注意対象の候補となる品質の低い（ミスの多い）レビュアーが変わる
例を示しています。


FRONTEOは、日本におけるデジタルフォレンジックとディスカバリ（米国の民事訴訟制度にお
ける証拠開示手続き）のパイオニアとして、今後も不正調査や訴訟支援の効率化に役立つソリュー
ションの開発、改良に努めてまいります。




■KIBIT Automatorについて URL: https://legal.fronteo.com/products/kibit-automator/
「KIBIT Automator」は、米国民事訴訟の公判手続きで必要となる証拠開示（ディスカバリ）の中

---

でも特に、電子証拠開示（eディスカバリ）における文書レビュー作業の効率向上、作業担当者の
負荷軽減、費用削減を目的として開発されたAIツールで、2019年3月にリリースされました。ディ
スカバリで使われる調査手法を応用し、AIを活用して証拠資料である大容量の電子メールや電子
ファイルの審査・分析を行います。近年、日本国内の第三者委員会調査でもデジタルフォレンジッ
ク調査の重要なプロセスの一つとして活用され、企業に求められている、短期での情報開示への
対応も期待されます。


■KIBITについて URL: https://www.fronteo.com/products/kibit/
「KIBIT」は、専門家や業務熟練者が備える“暗黙知”を再現する独自の機械学習アルゴリズムを用
い、キーワードに頼らずテキストを解析する人工知能です。少量の教師データで短時間での高精
度な解析が可能です。


■FRONTEO について URL: https://www.fronteo.com/
FRONTEO は、自然言語処理に特化した自社開発 AI エンジン「KIBIT
（読み キビット）と
： 」「Concept
Encoder（商標：conceptencorder、読み：コンセプトエンコーダー）」、「Looca Cross(読み：
ルーカクロス)」を用いて膨大な量のテキストデータの中から意味のある重要な情報を抽出し、企
業のビジネスを支援する、データ解析企業です。2003 年 8 月の創業以来、企業の国際訴訟を支援
する「e ディスカバリ（電子証拠開示）」や「デジタルフォレンジック調査」などのリーガルテッ
ク事業をメインに、日本、米国、韓国、台湾とグローバルに事業を展開してきました。同事業で
培った AI 技術をもとに、2014 年よりライフサイエンス分野、ビジネスインテリジェンス分野、
経済安全保障へと事業のフィールドを拡大し、AI を用いて「テキストデータを知見に変える」こ
とで、創薬支援、認知症診断支援、金融・人事・営業支援など、様々な企業の課題解決に貢献して
います。2007 年 6 月 26 日東証マザーズ（現：東証グロース）上場。2021 年 1 月第一種医療機器
製造販売業許可を取得（許可番号：13B1X10350）、同 9 月管理医療機器販売業を届出（届出番
号：3 港み生機器第 120 号）。資本金 3,034,846 千円（2022 年 3 月 31 日現在）。


※FRONTEO、KIBIT、KIBIT Automator、conceptencorder、Looca CrossはFRONTEOの日本に
おける登録商標です。



＜報道関係者のお問合せ先＞
株式会社 FRONTEO 広報担当
Email: pr_contact@fronteo.com

---