Malwarebytesは11月8日(米国時間)、「Using ChatGPT to cheat on assignments? New tool detects AI-generated text with amazing accuracy｜Malwarebytes」において、OpenAIのChatGPTに代表される生成AIにより作成されたテキストを高精度で検出できることを主張する論文が公開されたと伝えた。

  • Using ChatGPT to cheat on assignments? New tool detects AI-generated text with amazing accuracy｜Malwarebytes

    Using ChatGPT to cheat on assignments? New tool detects AI-generated text with amazing accuracy｜Malwarebytes

OpenAIのChatGPTに代表される生成AIは、まるで人間のような自然な文章を書き出せることから注目を集めている。このため、生成AIを使用して課題を提出する学生が現れるなど、新たな社会問題も出てきている。Malwarebytesの調査によると、40%の学生が課題のために生成AIを利用したことがあり、20%の学生が課題のために生成AIを使って不正を行ったことを認めたという。

最近では人間が書いたテキストと生成AIが書き出したテキストを見分けることは困難になってきており、学生の書いた論文が生成AIによるものという濡れ衣を着せられる事態まで発生しているという。このような問題を解決するために、人間が書いたテキストと生成AIが書き出したテキストを見分ける検出器の開発が行われているが、これまでのところ検出率はあまりかんばしくないといわれている。

Malwarebytesによると、生成AIを見分ける検出器は専門的な学術論文に対し、効果的ではないと評価されているとのことだ。論文の記述言語とは異なる言語を母国語とする研究者の論文は、生成AIが書き出した論文と誤って検出する頻度が高いとされる。

しかしながら、今回公開された論文「Accurately detecting AI text when ChatGPT is told to write like a chemist - ScienceDirect」は、科学ジャーナル誌向けの生成AIテキストを高精度に検出できる検出器の開発について報告している。この論文によると、ZeroGPTやOpenAIが提供する生成AIテキスト検出器を上回る99%の検出率を達成している。

  • 生成AIテキスト検出器の検出率 - 提供：ScienceDirect

    生成AIテキスト検出器の検出率　引用：ScienceDirect

このグラフは人間(元データ)、ChatGPT-3.5、ChatGPT-4が生成したテキスト2種類(P1、P2)を、論文の検出器、ZeroGPT、OpenAIの検出器で検出した際の検出率を表している。検出器は数人の開発者が約1カ月かけて作成され、従来の検出器よりも大幅に低コストで開発できるという。また、ChatGPT-4がリリースされる前に開発した検出器がChatGPT-4に対しても高い検出率を誇っていることから、長期的な有効性が期待できるとしている。

この論文の検出器は特定の分野に限定されているものの、その開発コストの低さから他の分野への拡張も短期間で達成できる可能性がある。生成AIには大きなメリットはあるものの、利用が制限されるべき分野も存在し、そのような分野においてこの論文の検出器が有効な対策となることが期待されている。