理科大が大規模視覚-言語モデルから任意の知識を“忘却”させる技術を開発

東京理科大学(理科大)は12月10日、現代のAIの基礎となっている「大規模事前学習済み視覚-言語モデル」(以下、「LSPT-VLM」)に対し、そのモデルの構造やパラメータが未知であることを仮定する「ブラックボックス(BB)条件下」において、モデルが認識可能なクラスのうち、任意のものだけを認識できないようにする“選択的忘却手法”を提案したと発表した。

• 今回提案された手法の概要(出所:理科大Webサイト)

同成果は、理科大大学院 工学研究科 情報工学専攻の桑名優輔大学院生、後藤優太大学院生、理科大 工学部 情報工学科の入江豪准教授、NECの柴田剛志博士らの共同研究チームによるもの。詳細は、2024年12月10～15日にカナダ・バンクーバーにて開催中の、機械学習分野で最も権威があるとされる国際会議「NeurIPS 2024」に採択された。

AIの画像認識などにおいて、実用的には、あらゆる種類のオブジェクトクラスの分類を必要とすることはあまりない。たとえば自動運転システムであれば、車や歩行者、交通標識などの限られたクラスのオブジェクトを認識できれば十分だ。認識の必要がないクラスを残すことは、全体的な分類精度の低下だけでなく、計算資源の浪費や情報漏洩のリスクなどを引き起こす危険性がある。そのため、必要なクラスの分類精度に影響を与えることなく、特定クラスのみの分類精度を低下させるようにLSPT-VLMをチューニングする“選択的忘却手法”の開発が求められている。

しかし従来の選択的忘却手法は、学習/チューニングの対象となるモデルの完全な情報が利用可能なホワイトボックス設定用のものしかないとのこと。現実には、商業的な理由や社会的影響への配慮から、LSPT-VLMの詳細はブラックボックスであることも多々あり、そのようなモデルでは、モデルのアーキテクチャやパラメータ、勾配などにアクセスできない。そこで研究チームは今回、新たなアプローチから、BBモデルの選択的忘却手法の開発を目指したという。