企業の生成AI活用におけるメリットとリスクとは

ChatGPTに代表される、LLM（大規模言語モデル）ベースのAIツールが台頭する中、それらのツールがサイバーセキュリティに与える影響についてさまざまな議論が起こっている。では、具体的にどのような影響が考えられるのだろうか。LLMの概要と悪用の可能性、Vadeの親会社であるHornetsecurityが実施した調査結果を紹介する。

業務に必須となりつつあるLLM

AIを活用したサービスがここ数年で急激に普及している。AIは以前から多くの製品やサービスに搭載されていたが、スマートフォン向けの画像生成アプリを皮切りに、翻訳、音声のテキスト化、音声の生成、作曲など一般ユーザーが能動的に利用できるAIサービスが数多く登場している。そして2023年5月には、OpenAIがAIチャットボットとしてChatGPTの日本語版をリリースし、状況を一変させた。

ChatGPTなどのAIサービスは、大規模言語モデル（LLM：Large language Models）と呼ばれる。大量のデータとディープラーニング（深層学習）技術によって構築された言語モデルであり、自然な文章での対話が可能であることが特徴だ。翻訳も可能であるため言語も選ばない。このため、企業が問い合わせ窓口やカスタマーサポートにChatGPTを採用するケースが急増した。

ChatGPTはAIチャットボットとしてだけでなく、生成AIとしての活用も進んでいる。生成AIによって業務に必要な定型書類はほぼ作成できるし、マーケティング目的のブログやメールニュースの文章、広告のコピーも作成できる。翻訳も自在であるし、資料の挿絵やBGMさえ作成できてしまう。また、AIの学習内容は企業内に限定できるため、使えば使うほど自社を理解したAIに育っていく。

ChatGPTの成功を受けて、大手IT企業をはじめ多くのベンダーがLLMベースの生成AI（以下、生成AI）サービスの提供を開始している。こうしたサービスを導入する企業も増加しており、MM総研の調査によれば、日本企業では約7割が導入済み、準備・検討中も含めると90％に達する。生成AIは企業にとって必須のものとなりつつある。

浸透と共に増大する生成AIに対する懸念

現在は、Googleの「BERT（Bidirectional Encoder Representations from Transformers）」および「T5（Text-To-Text Transfer Transformer）」、Microsoftの「Turing-NLG」、Meta（Facebook）の「OPT（Open Pre-trained Transformer）」、Anthropicの「Claude」、AI21 Labsの「Jurassic-1」など多くの生成AIモデルが開発されている。

これらのモデルをベースに多くのサービスが提供されている。ChatGPTはGPT-3およびGPT-4がベースとなっており、そのほか、Microsoftのサービス「Copilot」やMetaの「Meta AI」などがある。複数のモデルを搭載するサービスもあれば、クラウドサービス以外にAPIで提供するサービスもあり、それぞれ異なる強みや特性を持つ。

一方で、生成AIへの懸念も増大している。生成AIは、例えば自己学習の際に誤った関連性を見いだしてしまうハルシネーションを引き起こし、学習データに存在しない内容の回答を出力してしまうことがある。また、生成AIを学習させるデータに既存の著作物やそれに類似するデータが混入していた場合、出力したデータが著作権侵害に該当してしまうことがある。個人情報や機密情報が混入した場合も同様だ。

犯罪への悪用も指摘されている。Hornetsecurityが発行した「2024年AIセキュリティレポート」では、ビジネスリーダーの45％が「AIがサイバー脅威ランドスケープを悪化させることを懸念している」と回答している。また、英国国家サイバーセキュリティセンター（NCSC）も、「AIはサイバー犯罪を民主化し、これまで熟練した敵にしかできなかった高度な攻撃を犯罪初心者でも行えるようにしている」と警鐘を鳴らしている。

生成AI悪用の可能性

生成AIは企業にとって非常に効果の高いツールであるが、サイバー犯罪者も生成AIを利用していることを忘れてはならない。ChatGPTをはじめ多くの生成AIモデルでは、悪用されないように制限を設けている。しかし、サイバー犯罪者は独自のパッチを作成してこの制限を回避している。この攻防も、サイバー犯罪者とセキュリティ対策の“イタチごっこ”の一つとなった。

以下、生成AIを悪用するケースを考えてみよう。

コード品質と開発生産性の向上

生成AIはプログラムのコードを書くこともできるが、マルウェアなど悪意のあるプログラムは生成できないよう制限されている。しかし、サイバー犯罪者は生成AIに独自に作成したパッチを適用することで、この制限を回避している。これにより、ランサムウェアを含む大量のマルウェアが生成される危険性があり、それはすでに起きている可能性もある。

フィッシングの巧妙化

以前のフィッシングメールは日本語の文章に不自然な部分が多くあり、違和感からフィッシングであることに気づけることが多かった。しかし、生成AIは自然な文章を生成できるため、フィッシングメールの文面にも違和感がない。しかも、一般的な文章であるため生成AIの制限に引っかかることがない。前述の「2024年AIセキュリティレポート」では、5社に3社がAIを悪用したフィッシング攻撃を最大の懸念事項に挙げている。

攻撃ターゲットの情報収集

企業内の特定の個人を標的としたスピアフィッシングや、ソーシャルエンジニアリングにより企業のヘルプデスクに電話による攻撃を行う際、個人やその人間関係を把握するためにサイバー犯罪者はLinkedInなどのSNSや企業サイトのリサーチなどを行う必要があった。しかし、生成AIベースの検索エンジンの登場により、そういった情報が容易に把握できるようになっている。これは、企業が何らかの話題になったときに短時間で個人を標的とした攻撃が行われる可能性があることを示している。

データポイズニング

サイバー犯罪者が生成AIの学習用データにアクセスできる場合、そのデータの一部を改ざんし、それらを学習した機械学習モデルを攻撃する可能性がある。これはデータポイズニングと呼ばれる手法で、サイバー犯罪者の都合のよい回答を引き出させることが可能になる。これによりユーザーに間違った認識を植え付けたり、生成AIサービスを提供する企業の信頼を失墜させたりすることもできる。

このように、生成AIは業務を効率化し企業の生産性を向上させる反面、課題やリスクも多く存在する。特に現在の懸念はフィッシングへの悪用である。次回は、生成AIを悪用したフィッシングの実例について詳しく紹介する。