説明可能なAI

はじめに

AIは、ほぼすべての産業とアプリケーション領域でエンジニアリングを変革しています。それに伴い、高精度なAIモデルが求められるようになりました。実際、AIモデルは従来の手法を置き換え、より精度の高いものになることが多いのですが、その代償として、この複雑なAIモデルがどのように判断しているのか、その結果が期待通りに機能していることをどう検証すればいいのかを問われることがあります。

説明可能なAIとは、モデルの決定を理解し、バイアスや敵対的な攻撃に対する感受性といったブラックボックスモデルの問題を明らかにするのに役立つ一連のツールやテクニックを指します。説明可能なAIは、機械学習モデルがどのように予測に至るかを理解するのに役立ちます。どの機能がモデルの決定を促すかを理解するのは簡単なことですが、複雑なモデルを説明するのは困難な場合があります。

AIモデルの進化

なぜ説明可能なAIが求められるのでしょうか？従来のモデルはこれほど複雑ではありませんでした。実際、冬場のサーモスタットの簡単な例から始めてみましょう。ルールベースのモデルは次のようなものです。

• 18℃以下ではヒーターをつける
• 20℃以上ではヒーターを切る

サーモスタットは期待通りに動作しているでしょうか？ 変数は現在の室温とヒーターが作動しているかどうかだけなので、部屋の温度から検証するのは非常に簡単です。

温度制御のような特定のモデルは、問題が単純であるか、あるいは物理的な関係について本質的に”常識の範囲内”で理解できるため、本質的に説明可能です。一般に、ブラックボックスモデルが受け入れられない用途では、本質的に説明可能な単純なモデルを使うことで、「十分に正確であれば有効である」と受け入れられることもあります。

しかし、より複雑なモデルに移行すると、以下のような利点があります。

正確さ

多くのシナリオで、複雑なモデルはより正確な結果をもたらします。結果がすぐに明らかにならないこともありますが、より早く答えにたどり着くことができます。

より複雑なデータ処理

AIモデルで直接使用できるストリーミング信号や画像などの複雑なデータを扱う場合でも、モデル構築の時間を大幅に短縮することができます。

複雑なアプリケーション空間

アプリケーションの複雑さは増しています。新しい研究では、特徴抽出などの従来の技術を、ディープラーニング技術で代替できるような新たな領域が模索されています。

• 図1：AIモデルの進化：シンプルなモデルは透明性が高いが、より複雑なモデルは性能を向上させることができる。

なぜ説明可能性なのか？

AIモデルはしばしば「ブラックボックス」と呼ばれ、モデルが何を学習したのか、また未知の条件下でモデルが期待通りに動作するかどうかを判断する方法が見えません。説明可能なモデルとは、モデルに対して質問を投げかけ、未知の部分を明らかにし、その予測、判断、行動を説明することを目的としています。

複雑さと説明しやすさ

より複雑なモデルに移行することは良いことですが、モデル内部で何が起こっているかを理解することはますます難しくなっています。そのため、予測力が高まっても、モデルに対する信頼性を維持できるような新しいアプローチを見つけ出す必要があります。

• 図2：説明可能性と予測力の間のトレードオフ：一般に、より強力なモデルは説明しにくい傾向がある。予測力が高まっても、モデルの信頼性を維持できるよう、説明可能性に対する新しいアプローチが必要になる。

説明可能なモデルを使用することで、プロセスに余分なステップを追加することなく、最も深い洞察を得ることができます。例えば、決定木や線形重みの利用によって、モデルが特定の結果を選択した理由についての正確な証拠を提供することができます。

データおよびモデルに対するより深い洞察を必要とし、説明可能性を求めるエンジニアは、以下のようなことを追求しています。

1. モデルに対する信頼性

多くの関係者は、モデルの役割やアプリケーションとの相互作用に基づく説明能力に関心を持っています。例えば、以下のようなことです。

a. 意思決定者は、AIモデルがどのように機能するかを信頼し、理解したい。
b. 顧客は、アプリケーションがすべてのシナリオで期待通りに動作し、システムの動作が合理的で共感が持てることを確信したい。
c. モデル開発者は、モデルの挙動を理解し、モデルが特定の決定を下す理由を理解することによって、精度を向上させたい。

2. 規制上の要件

内外の規制要件があるセーフティクリティカルなアプリケーションやガバナンス・コンプライアンスアプリケーションでAIモデルを使用したいという要望が高まっています。各業界特有の要件がありますが、学習の堅牢性、公平性、信頼性のエビデンスを提供することが重要となる場合があります。

3. バイアスの特定

偏ったデータまたは不均一なサンプルでモデルを学習させると、バイアスが発生する可能性があります。特に人に適用されるモデルでは、バイアスが問題となります。モデル開発者は、バイアスが暗黙のうちに結果を左右することを理解し、AIモデルが暗黙のうちにグループやサブセットを優遇することなく正確な予測を行う「汎化」できるよう、バイアスを考慮することが重要です。

4. モデルのデバッグ

モデルに携わるエンジニアにとって、説明可能性は、誤ったモデル予測の分析に役立ちます。これには、モデルやデータ内の問題を調べることも含まれます。デバッグに役立ついくつかの具体的な説明可能性のテクニックは、次のセクションで説明します。

現在の説明可能性の手法

説明可能な方法は、次の2つに分類されます。

グローバル手法は、入力データと予測される出力に基づいて、モデル内で最も影響力のある変数の概要を提供します。
ローカル手法は、個別の予測結果を説明します。

• 図3：グローバル手法とローカル手法の違い：ローカル手法は１つの予測に着目し、グローバル手法は複数の予測に着目する。

特徴の影響力を理解する

グローバル手法には、モデル予測に与える影響によって特徴を並べ替える特徴のランク付けや、ある特定の特徴に着目し、その値の全範囲にわたってモデル予測への影響を示す部分依存プロットなどがあります。

ローカル手法で最も一般的なものは、次の２つです。

1. 機械学習とディープラーニングのためのLIME：LIME（Local Interpretable, Model-agnostic Explanation）は、従来の機械学習とディープニューラルネットワークのデバッグの両方で使用することができます。複雑なモデルを、注目点付近の単純で説明可能なモデルで近似することで、予測因子のうちどれが最も決定に影響を与えたかを判断するものです。

2. シャープレイ値： あるクエリーポイントに対する特徴量のシャープレイ値は、その特徴量による、平均予測からの予測の偏差を説明します。シャープレイ値を使って、指定したクエリーポイントでの予測に対する個々の特徴の寄与を説明します。

可視化

画像処理やコンピュータービジョンアプリケーションのためのモデルを構築する場合、可視化はモデルの説明可能性を評価するための最良の方法の一つです。

モデルの可視化：Grad-CAMやオクルージョン感度のようなローカル手法により、画像やテキストの中でモデルの予測に最も強く影響を与えた箇所を特定することができます。

• 図4：ネットワークの不正確な予測を知るための 可視化

特徴の比較とグループ化：グローバル手法のT-SNEは、機能のグループ化を使用してカテゴリ間の関係を理解する1つの例です。 T-SNEは、単純な2次元プロットで高次元データを表示するのに適しています。

これらは、モデル開発者が説明しやすくするために現在利用できる多くのテクニックのうちのほんの一部に過ぎません。アルゴリズムの詳細にかかわらず、エンジニアがデータとモデルについてより深く理解できるようにする、という目標は同じです。AIのモデリングやテスト時にこれらのテクニックを使用することで、AIの予測に対してより深い洞察と信頼性を得ることができます。

説明可能性の先に

説明可能性は、多くの先進的なAIモデルの重要な欠点であるブラックボックス的な性質を克服するのに役立ちます。しかし、ブラックボックスモデルに対する利害関係者や規制当局の要求に対応することは、工学的システムに自信を持ってAIを使用するための1つのステップに過ぎません。実際に使用されるAIには、理解できるモデル、厳格なプロセスで構築されたモデル、セーフティクリティカルで繊細なアプリケーションに必要なレベルで動作できるモデルが求められます。

引き続き注力・改善すべき分野は以下の通りです。

検証および妥当性確認（V&V）

現在進行中の研究分野である V&V は、モデルが特定の条件下で動作するという確信や証明を超えて、説明可能性を高め、代わりに最低基準を満たす必要があるセーフティクリティカルアプリケーションで使用されるモデルに焦点を当てます。

安全認証

自動車や航空宇宙などの業界では、その業界におけるAIの安全認証がどのようなものであるかを定義しています。AIに置き換えたり強化したりする従来のアプローチも同じ基準を満たす必要があり、成果を証明し、解釈可能な結果を示すことによってのみ成功することになります。

より透明性の高いモデル

システムの出力は、ユーザーの期待に一致しなければなりません。「エンドユーザーとどのように結果を共有するか？」それは、エンジニアが最初から考えなければならないことなのです。

あなたのアプリケーションには説明可能性が必要ですか？

これからのAIは、説明可能性が重視されるようになるでしょう。セーフティクリティカルなアプリケーションや日常的なアプリケーションにAIが組み込まれるようになると、社内の関係者と社外のユーザー双方からの監視の目が厳しくなることが予想されます。説明可能性を重要視することは、すべての人に利益をもたらします。

エンジニアは、出力が直感と一致することを確認するときに、モデルのデバッグに利用できるより良い情報を得ることができます。要件や標準を満たすためのより多くの洞察を得ることもできます。そして、より複雑化し続けるシステムの透明性を高めることに注力できるようになるのです。

関連リソース

[PR]提供：MathWorks Japan（マスワークス合同会社）