Googleがセキュリティ・ブログで、同社が「ここ数年で最大の防御アップグレードの1つ」と呼ぶGmailのスパムフィルターのアップグレードについて紹介している。

このアップグレードでは、RETVec（Resilient & Efficient Text Vectorizer）という新しいテキスト分類システムが用いられ、それによって「敵対的テキスト操作（adversarial text manipulation）」（特殊文字、絵文字、タイプミス偽装など）の特定が向上している。近年、以下のようなスパムメールがGmailのフィルターを突破し、昨年の後半から今年の前半にかけて被害を広げていた。

こうしたメールは、ラテンアルファベットで書かれているように見えて、スパムフィルターにスパム判定される可能性がある語句（CashApp、Accountなど）は、「ホモグリフ」（形が似ている文字や複数の文字の組み合わせで作られた別の字形）やUnicodeグリフでアルファベットを装って作られていたり、故意に誤ってスペルされている。人は単語の中に「C」のような形が混じっていてもCと認識して単語の意味を理解するが、スパムフィルターは意味を持たない単語と見なす。また、正しい文法ではスペースが用いられる部分がアンダースコアやピリオドで置き換えられるだけでもフィルターは混乱し、判読を諦めることが少なくなかった。

RETVecは、ニューラルベースのテキスト処理に特化した多言語テキストベクタライザだ。視覚的な類似性に基づき、文字の組み合わせに捉われることなく、単語の意味を認識する能力を持つ。RETVecモデルは、すべてのUTF-8文字と単語を効率的にエンコードできる文字エンコーダーの上で学習されており、RETVecは挿入、削除、タイプミス、ホモグリフ、LEET置換などを含む文字レベルの操作に対応するように訓練されている。従って、RETVecはルックアップテーブルや固定された語彙サイズを必要とすることなく、100以上の言語ですぐに動作する。

Googleによると、Gmailスパム・クラシファイアを以前のテキストベクタライザからRETVecに置き換えたことで、スパム検出率がベースラインに対して38％改善し、誤検出率が19.4％減少した。さらに、RETVecの導入によって、モデルのTPU使用量を83%削減できた。

この効率性もRETVecの重要な成果になっている。同形異義語に対して固定語彙サイズやルックアップテーブルを使用する従来のアプローチでは、対策に大きなリソースが必要だった。RETVecで学習されたモデルは、TensorFlow Textにネイティブに実装されており、モバイルデバイスやエッジデバイス用のTFLiteにシームレスに変換することが可能だ。Webアプリのモデルデプロイメントについては、TensorflowJSレイヤの実装をGithubで提供している。