【事例紹介】契約書チェックAI【法律事務所様】 - SAI-SHIKI | 自然言語処理AIに特化したコンサルティングと開発

機密情報に抵触しない範囲での事例紹介となります。

弁護士による契約書チェック業務を効率化するためのAIシステム開発事例となります。
文書からの属性抽出は自然言語処理AIでは一般的ですが、それを転用して条項の抜け落ちチェックとして応用している点が興味深い事例です。

本案件では、AIに限らずWebシステムと合わせて作成し保守運用を行っております。
特に、自然言語処理AIの継続的な改善はほぼ必須であり、弁護士による学習データの作成と合わせたMLOpsの設計が課題となりました。

達成のための課題：AIの継続的な改善

ほとんどのAIは課題達成のために教師データを必要とし、その教師データを準備することが一つのマイルストーンとなります。
契約書チェックというタスクにおいては、使用する学習データを専門家である弁護士が作成することが望ましいです。

この要件を満たすために、本案件ではアップロードされた契約書に対して教師情報を付与するwebシステムの開発を最初に行いました。
そして、教師情報が蓄積されていくとともにAIの学習を都度行います。
このアプローチでは、AIが間違えた予測をした場合に弁護士が修正を加え、それを反映してAIが賢くなり、またAIが間違えた場合のみ修正を加える…、とサイクルさせることで、段々と教師データを作成する負担を軽減していくことができました。
新しい契約書の種類を追加するといったAIのアップデートも、このサイクルが形成できた後には自然に行うことが可能となりました。

Tips：AI開発に継続的な改善が必要な理由

AIが学習したデータの分布と、実際に処理しようとしているデータの分布が異なるほどに予測精度が低下します。
また、AIが処理しようとしているデータの分布は時間によって変わる場合もあるため、それに対応するためにはAIを都度アップデートしていく必要があります。
時間経過でデータの分布が変わる具体例として、契約書チェックにおいては民法改正が挙げられます。
瑕疵担保責任が契約不適合責任に改められるなど、用語と内容ともに大幅な変更がありました。