ESETは1月23日(現地時間)、「Break the fake: The race is on to stop voice cloning fraud」において、ディープフェイクによるサイバー攻撃を防御する方法と将来の展望について、ESETの社員であるジェイク氏との対談内容を公開した。ジェイク氏は昨年、ディープフェイクを悪用して自社の最高経営責任者(CEO: Chief Executive Officer)になりすまし、不正送金させる実験に成功している(参考：「ESET社員、生成AIで自社CEOの声を作って不正送金させる実験に成功 | TECH+（テックプラス）」)。

  • Break the fake: The race is on to stop voice cloning fraud

    Break the fake: The race is on to stop voice cloning fraud

ディープフェイクによるサイバー攻撃を防御する方法

近年のディープフェイクの基礎となる生成AI技術は進化を続けている。音声に関しては容易に見抜けない域にまで到達しており、実際にジェイク氏はCEOのなりすましに成功している。このような攻撃を回避するには新しい防御策を講じる必要があり、さまざまな企業や研究者が検出技術の開発に取り組んでいる。また、防御策の画期的なアイデアを収集するために、米国では悪意のある合成音声の防止、監視、評価を実現するコンテストが実施されている(参考：「The FTC Voice Cloning Challenge | Federal Trade Commission」)。

本稿執筆時点ではディープフェイクを見抜く技術は確立されていないが、ESETはディープフェイクの悪用を止めることは可能なのか、将来的にはどうなるのかについて、ジェイク氏に質問する形で将来の展望を紹介している。その概要は次のとおり。

現在の技術で企業は攻撃を回避できるのか？

残念ながら答えはまだ見つかっていない。生成AI技術はまだ初期段階にあり、どの技術においても初期段階においては悪用が先行する。

ロマンス詐欺など個人への攻撃は回避できるか？

生成AIにより詐欺師はより広範囲に攻撃が可能になった。より多くの被害者が生まれ、詐欺師の報酬は増加する。しかし、ディープフェイクの影響により人々は見聞きしたことや詐欺師の言葉を素直に信じなくなるだろう。

企業は詐欺対策として顧客のために何ができるだろうか？

企業は組織のすべての従業員を対象に、年1回ではなく必要なだけサイバー攻撃に関するトレーニングを実施しなければならない。そしてディープフェイクの挙動を冷静に観察し、その危険性を認識させることが望ましい。

このいたちごっこの戦いは誰が勝つのか？

警察による強盗追跡と同じで、強盗が数歩先を行く。それでも、技術の進歩に取り残されないようにし、詐欺師に優位性を渡さない努力が重要。詐欺師が常に勝つわけではない。最新の攻撃手法を継続的に把握することで、個人や企業はディープフェイクから防御する最善の機会を得られるだろう

2024年の予測

ESETは、ディープフェイクによる攻撃が机上の空論ではない現実の脅威になったと指摘している。また、2024年以降、詐欺師は合成音声による攻撃を迅速に展開する新しい自動化手法を発見すると推測されている。すべての人々は詐欺師による生成AI技術を悪用した攻撃が現実の脅威であることを認識し、日頃から注意して行動することが求められている。