AIシステムはクラウドとオンプレミスのどちらに置くべきか

全10回予定の本連載も残り2回となりました。前回までで、目標精度やそのための正解データ作り、AI開発・運用時の業務フローなどについておわかりいただけたのではないでしょうか。残る重要なテーマとして今回は、「データの流れ」を念頭に、AIを組み込んだシステムの構成要素を「どこに配置するべきか」という課題について、コストやセキュリティ、責任分界点に関する注意点などにも触れながら論じたいと思います。

クラウドかオンプレミスか

本連載の第1回で挙げた図「IoTの構成要素」では、AIが白い雲、すなわちクラウド上にあるように描きました。

しかし、これは必ずしも標準のAIの配置とは言えません。AI開発（支援）企業の多くは、オンプレミスで購入した、高性能GPU搭載のミニスーパーコンピュータを使い倒して深層学習のトレーニングを行っています。そして、手元の計算パワーでは不足するときや、そのままでは数週間以上トレーニング期間を要しそうなときなどに、いわゆるGPUクラウドを「時間借り」して、平時より桁違いに高い処理容量で、需要のピークをカバーするという合理的な選択をしているわけです。

そこそこの規模・分量の正解データを使ってトレーニングする場合は、最近急速に廉価になった高性能GPU搭載ノートPCを使うこともできるようになりました。いわゆる「ゲーミング・ノートPC」です。なかには、10万円を切る価格でありながら、CPUの数十倍の速度でトレーニングを行い、認識や分類をこなせる製品もあります。

ハイエンドの50万円近い製品では「GTX1080」という9TFlopsのGPUを2枚搭載し、省スペースで本格的なAI開発にも耐えられるようになっています。5～10年後には、スマホやタブレットで同等の性能が実現する可能性を想定すれば、連載第1回で挙げた役割分担の図は、もっと多彩なバリエーションに進展することでしょう。

トレーニング済みの「モデル」をGPU無しのPCに移植し、認識や分類をさせてみたことがあります。トレーニングに比べれば何十倍も高速に実行できるためです。ところが、本連載の第7回で取り上げた、リンパ節に転移した腫瘍の判定をするタスクで性能を実測した結果では、256ドット四方の「タイル」画像を100枚認識・判定するのに、約2分かかりました(Core i5 2.5GHz～3.2GHz)。

元の病理検体を撮影したギガ・ピクセル画像からは、数万枚のタイル画像が切り出されます。これを必要最小限に絞ったとして、例えば5,000枚のタイルを判定させるだけでも、100分かかってしまうことになります。これでは、「手術中に迅速に判定する」という用途には堪えません。

これに対し、GTX1050Ti搭載ノート（キャンペーン価格で約9万円）では、当社でチューニングの結果、約50倍に高速化し、5,000枚の判定が2分と、手術室に持ち込んで実用できる水準となりました。

複雑なタスクをこなすCPUの消費電力は低減していますが、1コア辺りの性能は、ここ数年足踏みしている感があります（サーバ用との多数コアのXeonのように並列化は別です）。

他方、単純な計算機能を束ねたGPUは、ムーアの法則を守った指数関数的な性能向上を続けています。年々費用対効果が倍々ゲームで向上し、計算量あたりの消費電力も半分、また半分と低減、設置面積（容積）や重量も小さく・軽くなり続けています。

トレーニング試行が無料のサービスの実用性は?

クラウドとオンプレミス、AIを組み込んだシステムの配置場所として適切なのはどちらなのかを判断するには、実運用時のビジネスモデルやセキュリティ、そして運用コストの評価をしっかりやっておかねばなりません。実用精度を確保するためのトレーニング、初期立ち上げに必要なデータ量の見積もりも重要です。

これらの見積もり、PoC(Proof of Concept)や、フィジビリティ・スタディの段階では、どちらかと言うと時間よりも費用を惜しむ声が聞かれます。そこで、当社でも、トレーニング試行が無料でできるWebサービスで良さそうなのをいくつか選んで、実験してみました。

AI、特に深層学習のトレーニングまでクラウド側で実行してくれるサービスは、最終的には、API化した専用AIのかたちで、オンプレやAWS上の情報システムに組み込むことになるでしょう。そこで、APIとマッシュアップ作品の検索・紹介サービス「Programmable Web」で、深層学習のトレーニングまでクラウド側で実行してくれるサービスを検索したなかから、筋の良さそうなものを選んでみました。

試したのは、「Vize」というWebサービスです。AIユーザー企業にとっての大きなメリットは、プログラミング無しで深層学習のトレーニングができること。同サービスでは、トレーニングの結果、出来たモデルをそのまま有償プランに移行して、ブラウザの画面操作だけでAPI化し、配備(deploy)までできるのを売りにしています。国内のAI開発支援企業にAI開発用のデータを渡すのに抵抗があり、そのせいで、精度確保の責任分界点が曖昧になってしまうくらいなら、完全にセルフサービスでAI開発が進めたいという企業があるのは理解できます。ただし、セキュリティ面の責任や、リスク上は大いに問題が残るでしょう。

限られた時間でどの程度の性能評価が行えるのか、簡単なテストを実行してみました。テスト内容は、POSTされた画像を読み取り、その猫が世界の猫約60種類のどれであるかを認識して回答する当社のAPI「この猫なに猫」がトレーニングで使用した2種類の猫「Aegean」「Asian」の全データをアップロードし、分類するというものです。結果は次のようになりました。

最大の問題点は、2種類の猫の小さな画像(256ドット四方)129枚をアップロードしてから、上記の画面に遷移するまでに4時間半もかかったということです。

この猫なに猫を使った場合、手元の古いGPU「GTX970」で、6種類・630枚のトレーニングならば10分程度しかかからず、十分な精度が出ました。その5分の1のデータ量で27倍もの時間がかかっていることになります。現在8万円ほどで買える「GTX1080Ti」なら、2.88倍の性能なので（データ量が増えると差が開きます）、70数倍にまで速度差が拡大するでしょう。

これらのデータから、Viseは、CPUのみ、それも多数のリクエストを受け付けられる仕様のオーバーヘッドから、CPU1個の何分の1の性能のみを使うことで、トレーニングまでは無償というサービスを実現しているのではないかと思われます。そして、トレーニング時に、アップロードした画像を吟味して深層学習のパラメータを最適化するといった高度な技術は全く使われていないと推察されます。同じデータを用いて学習していながら、著しく精度が低かったからです。

無料とは言え、サイトの仕組みの勉強するなどに数日の時間を浪費した挙句、全く実用に堪えないことを証明するという結果になってしまいました。優秀な当社スタッフが対応し、別途開発実績のある検証済データと精度・速度の数字があったため、早々に見切りをつけることができたのが不幸中の幸いです。

しかし、比較対照データが無い、初めての現場では、性能・精度の数値をどう評価してよいかもわかりません。上記のようなサービスでも「使える」という誤った判断をすることになりかねないでしょう。

どうしても無料でトレーニングさせたい上層部が粘って複数のWebサービスやインストールソフトを渡り歩くことにでもなれば、すぐに3カ月、半年と時間は過ぎ、結局巨額の人件費や機会損失コストが失われることにもなりかねません。

優れたAI開発専門企業は、ユーザー企業が適切なデータを準備・提供してくれれば、数十万円程度の料金、1～2週間ほどの期間で、トレーニングを行ってチューニング結果をレポートすることができます。競合より半年早く、AI導入についての重要な意思決定ができることの価値については、経営陣に報告する情報システム部長にとっては釈迦に説法、説明不要でしょう。

*　*　*

最終回となる次回は、AIの導入・運用にあたって必要な検討事項をざっと振り返りつつ、これまでに述べた関連業務を効果的にこなせる人材に求められる資質と、AI時代の情シス部員が心掛けるべきことについて考察したいと思います。