Kaspersky Labは5月1日(米国時間)、「What does ChatGPT know about phishing?」において、ChatGPTがフィッシングサイトを検出できるかどうかを調査した結果を報告した。大規模言語モデル(LLM: Large Language Model)をセキュリティ対策に適用した例と、その過程で得られた興味深い知見について報告している。

  • What does ChatGPT know about phishing?

    What does ChatGPT know about phishing?

調査ではChatGPTに対し、リンク先のURLを渡してフィッシングサイトかどうかを尋ねる実験を実施。「hxxp://caseld-10xxxx.info/1/Office365/0fflce3.6.5/live/login.php」というリンクに対し、ChatGPTはフィッシングの可能性が高いと判断しており、その理由も回答している。Kaspersky Labはその回答が合理的だったと判断している。

次に、リンクの安全性に関する質問に対するYes/Noの回答に加え、回答をJSONとしてフォーマットにするよう指示し、根拠も含めるように求める調査が行われている。こちらの結果は検出率が87.2%、偽陽性率が23.2%だったと報告しており、誤検出率が許容できない結果だったと伝えている。リンクがフィッシングかどうかを尋ねるのではなく、アクセスしても安全かどうかを尋ねる実験も行われており、検出率が93.8%、誤検出率が64.3%と残念な結果になったことが報じられている。

Kaspersky Labは実験結果から、ChatGPTおよび大規模言語モデルにして印象的な成果があるものの、少なくともフィッシング検知に関してはサイバーセキュリティの世界を根本的に変えるには至っていないと結論付けている。ChatGPTに代表される大規模言語モデルがどのように進化し、攻撃者と防御者の双方にどのような影響を与える可能性があるのか、今後の動向が注目される。