画像共有ソーシャルメディアサービスのPinterestは、レコメンダーシステムをCPUからGPUに切り替えることでレイテンシを100倍以上削減し、エンゲージメントを約16%高められたと明らかにした。
-
画像はNVIDIA公式ブログから
Pinterestは、任意の検索ワードに対してたくさんの画像を表示してフィードを構成するWebサービス。サイト上には約3,000億枚もの画像が存在しており、検索のたびに約50枚前後に絞り込み、ユーザーに提供する必要がある。これまでPinterestではこのレコメンダーにCPUを採用してサービスを提供していた一方で、モデルのパラメーターは複雑化し、計算量も増大。より精度の高いコンテンツを高速で展開することが難しくなっていたという。
そこで、Pinterestが社内で用いている機械学習モデルサーバー「Scorpion Model Server（SMS）」にNVIDIA GPUを採用した。NVIDIAが提供する「CUDA Graphs」や「cuCollection」機能を活用し、オーバーヘッドを削減して推論効率を約100倍向上。エンゲージメントはなんと16%も高まったという。
さらに技術的に踏み込んだ内容がPinterestのブログ「GPU-accelerated ML Inference at Pinterest」で明らかにされているほか、NVIDIAの公式ブログ「Pinterest Boosts Home Feed Engagement 16% With Switch to GPU Acceleration of Recommenders」で紹介されている。また、9月19日から始まるNVIDIAの発表会「NVIDIA GTC」でもPinterestのエンジニアが登壇する予定だ。
