半導体の設計・開発などを手掛けるアクセルは12月23日、Intel(インテル)とアクセルおよびグループ会社axの独自開発AIフレームワーク「ailia SDK」を用いた高速AI推論に関するコラボレーションを発表した。
ailia SDKは高速AI推論のために設計されたクロスプラットフォームフレームワークで、AIをエッジデバイス上で実行することで、低遅延での推論を実現し、APIコストの削減などを実現することが可能だという。今回の両者の協業は、ailia SDKをIntel ArcディスクリートGPUおよびIntel Core Ultraプロセッサ(シリーズ2)のIntel Xe Matrix Extensions(XMX)に対応させることで、高速推論のサポートを実現したというもの。GPUのXeコア内に構築されたXMX AIエンジンは、ailia SDKのVulkanバックエンドに推論ワークロードのための専用アクセラレーションを提供しパフォーマンスの向上を実現するという。
これにより、例えばアクセルが測定したところによると、RAG(Retrieval-Augmented Generation)での文書登録評価においては、XMXが無効の場合、Intel Arc A770 GPUで304.5ミリ秒かかるところ、XMXを有効にした場合は184.25ミリ秒で処理を終え、パフォーマンスとしては40%の向上を図ることができるようになったという。