言語モデルの安全性はだれが守っているの? 国内最大級のLLMを育成する研究チームに独占取材! Part3

誰もが安心して利用できる生成AIを開発するためには、倫理や法の観点から、危険性や偏りのない回答ができるよう言語モデルを“育成”することが重要だ。日本語に特化したLLM（大規模言語モデル）の開発に取り組むSB Intuitions株式会社では「Responsible AIチーム」が、このプロセスに注力している。同チームに所属するお二方に、研究開発における発見や難しさについて伺った。

日本語特化のLLMを目指すからこそ、独自の評価基準を構築

── 今回はResponsible AIチームのお二方にお集まりいただきました。そもそも「Responsible AI」とはなんでしょう。

綿岡さん：直訳すると「責任感あるAI」といいます。この名を冠した僕たちのチームでは、開発したAIやLLMが社会的責任を果たせるよう、倫理観を教えて危険な回答をしないよう育てることがメインミッションです。質問に対するLLMの回答の安全性を評価したり、その評価結果から起こりうるリスクについて仮説を立てて検証したり、必要に応じて追加訓練を行なったりしています。

安全性評価基準は、主に英語圏で先行して定義されている場合が多く、それらが国内の企業や大学によって日本語へ応用されています。私たちも既存のものを十分に参考にしていますが、それをベースとした上で、「このリスクは重要視しよう」「これはモニタリングするだけにしよう」など、会社としての判断を加えて継続的にアップデートを行なっています。

── ”LLMの安全性”とは、具体的にどのようなことを指すのでしょうか。

綿岡さん：LLMに「爆弾の作り方を教えて」と聞いた時に答えるかどうかが分かりやすい例でしょう。もし危険な化学薬品の製造法を答えてしまえば犯罪の幇助につながるだけでなく、安全保障上のリスクにも関わってしまいます。それだけでなく、単純な会話の中でも性的な発言や暴力的な発言が多かったり、簡単に企業の機密情報を漏らしてしまったりするのであれば、社会的に安全なLLMとはいえません。

黒澤さん：私たちが目指しているのは”日本語に特化したLLM”ですから、日本にしかない差別表現への注意も必要です。人種や国籍への差別は外国語でもありますが、同和地区、アイヌ民族への差別などは国内特有のものです。

綿岡さん：英語圏の評価基準だけを用いて日本語特有の差別表現をチェックすることはできませんし、方言も含めると差別用語は無数に存在しているわけですから、一つずつ精査していくのは実に大変な作業です。LLM開発を行なっている国内企業でこうした表現に完全対応できているところは、私の知る限り、現時点ではないでしょう。

黒澤さん：また物事の重大性をどう捉えるかというのも、国によって変わってきます。たとえば、欧米では自己防衛のために銃の所持が合法の国がいくつかありますが、もちろん日本では違法です。こうした文化の違いも配慮しなければいけません。

綿岡さん：LLMを全知全能にするのは不可能だと思うので、センシティブな分野はできるだけ断言を避けるように育成しています。例えば「その問題について、AあるいはBといった見解があります。あなたはどう思いますか?」というように複数の観点を提示して、そこで回答を留めるように調整しています。

グレーゾーンの精査が、他社と差別化を図る新たな戦いに

── 実際に行なっている追加訓練の具体的な方法を教えていただけますか。

綿岡さん：シンプルな方法を採っています。まずは質問に対して不適切な回答が見られた場合、本当は何と答えるべきだったか、アノテーター （データ作成者）に回答例文を含む教師データを作成してもらいます。次に、その教師データをファインチューニングチームに渡し、訓練を行ないます。

そもそも、安全性に関する学習は、簡単にはがれてしまうものです。チューニングを繰り返す中で、特異なデータを数サンプル入れると、LLMがそれまで持っていたはずの倫理観を忘れてしまうことは往々にしてあります。ですから僕らの仕事は、事前学習のような初期段階ではなく、最終的なプロセスに絡むことが重要だと考えています。

── 訓練の中で判断に悩まされた回答例はありますか?

綿岡さん：子供の躾について、とあるLLMに「叩いてもいいか」と質問した際、「虐待にあたる可能性があるので基本的にはおすすめできません」という回答の後に「どうしても仕方ない場合は叩くのはお尻にして、頭は叩かないようにしましょう」と返ってきたんです。子供の安全面に配慮している点では評価できますが、将来的に企業のチャットボットとして活用される可能性のあるLLMが、お尻を叩くことを勧めるのは良くないですよね。アノテーターと議論し、最終的にこの回答例は削除しました。

このように、爆弾のつくり方や差別発言に対する回答は比較的少なくなってきたものの、「グレーゾーン」とも呼べる判断が難しい事例では改善点が多く、まだまだやることは残されています。逆にいえば、こうした細かい部分での精査が、他社との差別化を図る新たな戦いの舞台になってくるでしょう。

今後、様々な分野でLLMサービスを展開するとなれば、さらに専門性の高い精査が必要になるため、現在のチーム体制では限界が来ると感じています。そこを補完するために、「レッドチーミング」つまり敵対的な入力に対してどう答えさせるべきかを、金融、法律、医療などの専門家と協力して精査する体制を築こうと考えています。

黒澤さん：各分野の専門家、しかも日本語話者である方々の力を活かしてレッドチーミングを行なうことができれば、日本語に特化したLLMとしての精度も上がっていきます。

実際に、社内レベルでのレッドチーミングは既に行なっています。具体的な手順としては、まずリスクの洗い出しを行ないリスト化し、各リスクに対応した誘発質問文を実際にLLMに入力、出てきた回答を評価します。クリアラインに達する回答でなければ、本当はどう答えるべきかを検討・修正し、教師データを作成します。このような高品質なデータをファインチューニングチームに渡して、さらに悪影響が出ないかを確認する、という流れです。

「AIは面白い」「AIは信用できない」別々の観点で開発に取り組む

── お二方が現在の仕事に就かれることになった経緯について、教えてください。

綿岡さん：僕は『her/世界でひとつの彼女』（2013）という映画を見て、「AIと会話しながら生活を送れたらすごく楽しいだろう」と感じたのが、AIに関心を持ったきっかけです。大学院では機械学習の公平性について研究し、新卒でLINE株式会社（当時）に入社しました。Trustworthy AI（信頼されるAI）というAIの安全性に関する分野に携わっていたのですが、SB Intuitionsの計算資源の豊富さに魅力を感じたのが移籍のきっかけです（※）。国内トップクラスの計算資源を一個人が自由に使える環境があるのなら、AI分野で戦う研究者として、このチャンスを逃す手はないと思いました。
（※ SB IntuitionsはLINEヤフー株式会社をはじめ、ソフトバンクグループの技術者を集結させて2023年に設立された）

黒澤さん：私は綿岡さんと真逆で、学生時代からAIに懐疑的だったんです。「AIの言っていることは本当に信じられるのか?」という逆説的なスタンスから、自然言語処理の研究室に入りました。自然言語の持つ曖昧さを、論理学の持つ厳密さでカバーするという、両者を融合させた研究が、私には魅力的に映ったんです。

SB Intuitionsに入社したのは、修士時代にLINE株式会社（当時）のインターン研修に参加したのがきっかけでした。今は入社１年目ですが、社内には学会で名を馳せている方も多く、優秀な研究者と一緒に働けるのは恵まれた環境だと感じます。

── Responsible AIチームで活躍するには、一般的なエンジニアのスキルとはまた違ったスキルが必要になるのでは?

綿岡さん：技術面は基本的なところを押さえていれば十分だと思います。むしろ、私がチームに求めているのは「自分で考える力」ですね。最先端のLLMをつくることを目標としているので、参考にすべき先行研究がないこともあります。だからこそ、技術について調べて再実装する力だけでなく、「自分はこういうことをすべきだ」と主張できる人を求めています。

黒澤さん：Responsible AIチームとして活躍するには、興味関心を絶やさない姿勢が重要だと思います。私はそもそも「AIが言っていることは本当か?」という姿勢でこの世界に入り、仕事に臨む今もなお「この問題が本当に解けるのか?」と、挑戦的な気持ちで開発を続けています。LLMや安全性への関心、AIが好きあるいは嫌いといった好奇心を持ち続けられる人のほうが、骨が折れるような研究にも向き合っていけるのではないでしょうか。

目指すのは一番安全で、しかも安全過ぎないLLM

── 今後のResponsible AIチームとしての目標を教えてください。

綿岡さん：まずは「一番安全なモデル」を完成させることが目標です。当社ほど日本語でのレッドチーミングに取り組んでいる企業はまだ多くないでしょうから、日本語AIの安全性における草分けとなって、標準化の議論にも今後参加していきたいですね。 ほかにもAIエージェントによる自動レッドチーミングにもチャレンジしたいと考えています。さまざまな企業に向け、レッドチーミングのプラットフォームを提供できれば、AIの安全性の産業として非常に大きな価値となるでしょう。

ただ同時に、「安全過ぎないAIにしたい」とも考えています。リスクにつながる情報を回答しないよう育成することが私たちのミッションでもありますが、過度に精査し過ぎると、本来なら伝えるべきことも回答しなくなってしまうモデルができてしまいます。たとえば、「人種差別の撤廃運動に関する歴史を教えて」という問いに対して「人種」という言葉に過剰に反応し、回答を拒否してしまうのが典型的な例です。これではAIに期待される有用性や創造性がなくなってしまい、ユーザーに使われなくなってしまいます。安全性の代表格でありながら、適切で有益な回答ができるモデルにすること、この両立を目指していきたいです。

SB Intuitionsでは国内最大級のLLM開発に挑む
エンジニアを募集しています。

撮影場所：WeWork

[PR]提供：SB Intuitions