SlashNextは7月13日(米国時間)、「WormGPT - The Generative AI Tool Cybercriminals Are Using to Launch BEC Attacks｜SlashNext」において、生成AI(Generative Artificial Intelligence)がどのようにサイバー犯罪者によって悪用されているかについて伝えた。生成AIは企業のみならず犯罪者にもメリットをもたらしており、これまで以上に高度で真偽の判断が難しい詐欺に悪用されている実態が指摘されている。

  • WormGPT - The Generative AI Tool Cybercriminals Are Using to Launch BEC Attacks｜SlashNext

    WormGPT - The Generative AI Tool Cybercriminals Are Using to Launch BEC Attacks｜SlashNext

まず、大規模言語モデル(LLM: Large Language Model)実装系の登場で標的に合わせて、パーソナライズした説得力のある偽のメールを自動生成する能力が高まっていることが指摘されている。まず、犯罪者は母国語で詐欺の電子メールを作成した上で、ターゲットとする国の言語に翻訳し、それをChatGPTにかけてより説得力のある文章へ推敲する。

これは、特定の言語に堪能ではない脅威者であってもより説得力のあるフィッシング詐欺メールやビジネスメール詐欺(BEC: Business Email Compromise)攻撃用メールを作成できる可能性が高まっていることを意味している。

次に、SlashNextは犯罪者がChatGPTの安全機能を回避する特殊なプロンプトについて取り上げている。ChatGPTには犯罪に悪用できるような情報を生成しないようにセーフティ機能が実装されているが、巧妙な会話の仕方でそうしたセーフティを回避できることが知られている。犯罪者はこうしたテクニックを駆使してChatGPTの制限を回避して犯罪に利用できる情報の取得を行っている。

さらに、SlashNextは犯罪者が悪用している「WormGPT」と呼ばれるツールについても言及。このツールは簡単にいうとサイバー犯罪に悪用できるように学習が行われたChatGPTに類似したシステムで、ChatGPTとは異なりセーフティ機能が実装されていない。SlashNextはこのツールにアクセスして実際に利用し、驚くほど説得力のある不穏当なメールを作成することを確認したと伝えている。

SlashNextは、こうした生成AI(Generative AI)を悪用した巧妙化し続けるサイバー攻撃に対応する方法として、次の2つのアドバイスを挙げている。

  • ビジネスメール詐欺(BEC)攻撃に特化したトレーニングを実施する。特に人工知能(AI: Artificial Intelligence)によって強化された攻撃に対抗することを目的としたトレーニングをプログラムを開発して実施する
  • AIによるビジネスメール詐欺(BEC)から身を守るために厳格な電子メール検証プロセスを実施する

ChatGPTをはじめとする大規模言語モデル(LLM)系の技術は、社会を大きく変えようとしている。そして、この動きはサイバーセキュリティの世界でも同様であり、攻撃は今まで以上に巧妙になっている。サイバー攻撃者もこうした技術を悪用していることを認識するとともに、推奨されているベストプラクティスを着実に実施し続けることが望まれる。