対話型AIチャットボット「ChatGPT」などを手掛ける米人工知能研究所・Open AIが現地時間1月31日、AIによって書かれた文章かどうかを判定するAIツール「AI Text Classifier」を公開した。この判定ツールがネットで「こんなに早く必要になるとは」などと注目を集めている。
「AI Text Classifier」は、入力された文章を分析し、人間が書いたものとAIが書いたものに分類するツール。同社は以前にも同様の分類ツールを公開しているが、今回は最新のAIシステムを組み込んだことで、文章の判定に対する信頼性が大幅に向上しているという。現状は1,000文字以上の文章のみを判定可能で、入力された文章が長ければ長いほど信頼性が向上するしている。なお、英語以外の言語では精度が著しく低下するそうだ。
気になるのはやはり精度だが、同社が実施した評価試験では、AIが書いた文章の26%を正しく識別した一方で、人間が書いた文章の9%をAIが書いたものと誤って判定したそう。結果から分かる通り、精度は決して高くない。
同社は「完全に信頼できるものではない」とし、まだ不完全で、制限事項も多く「主要な判断材料としてではなく、文章のソースを決定する他の手段を補完するものとして使用すべき」と説明している。また、「AIが書いた文章を確実に検出することは不可能ですが、優れた『AI Text Classifier』はAIが生成した文章が人間によって書かれたという誤った主張に対する緩和策になり得る」とコメントしている。
ネット上では「生成AIを提供すると同時に判定ツールもやるというのは賢いな…!」「やっぱり出てきたか、AIが書いたものかを判定するAIがφ(・・」「AIによる文章か判定するツール、こんなに早く必要になるとは」などの声が寄せられた。