アリクラウド、新AIソリューションを発表　GPU使用量を82%削減

最近韓国・ソウルで開催されたトップアカデミックカンファレンス「SOSP 2025（The ACM Symposium on Operating Systems Principles ）」において、阿里雲（アリクラウド）はその「Aegaeon」コンピューティングプーリングソリューションを発表した（関連論文は採録済み）。このソリューションは、AIモデルサービスにおいて存在するGPUリソースの浪費問題を解決し、大規模言語モデルに必要なGPU数を82%削減する。また、GPUリソース利用率を大幅に向上させ、AIモデルサービスのコストを著しく低減させる。現在、この中核技術は阿里雲の「百煉」プラットフォームですでに応用されている。

SOSPはACM SIGOPSが主催するコンピュータシステム分野のトップアカデミックカンファレンスで、平均年間採録論文数は数十編のみと、コンピュータオペレーティングシステム界の「アカデミー賞」とも称され、採録論文はオペレーティングシステム及びソフトウェア分野における最も代表的な研究成果を示す。今回のSOSP大会では、システムソフトウェアとAI大規模モデル技術の融合が新たなトレンドとなった。

阿里雲が発表したAegaeonは、推論時間スケジューラーであり、需要が突発的または予測不可能な多数のモデルにおけるGPU利用率を最大化することを目的としている。これは「1モデル1GPUに固定」という非効率なモデルを打破し、代わりにトークンレベルでGPUアクセスを仮想化することで、共有プール内で微小なワークフラグメントをスケジュールすることを可能にする。これにより、1つのGPUが複数の異なるモデルに同時にサービスを提供できる。

簡単に言えば、Aegaeonの多モデル混合サービスシステムは、次のトークンを生成するたびにモデルを切り替える必要性を動的に決定し、きめ細かな管理を実現する。同時に、コンポーネントの再利用、VRAMのきめ細かな管理、KVキャッシュの同期最適化などのフルスタック技術を通じて、Aegaeonはモデル切り替えのオーバーヘッドを97%低減し、トークンレベルスケジューリングのリアルタイム性を確保し、サブセカンドレベルのモデル切り替え応答をサポートする。

紹介によると、Aegaeonシステムは単一GPUでの最大7つの異なるモデルへの同時サービスをサポートし、ベンチマークテストでは、AegaeonはServerlessLLMおよびMuxServeのgoodputに対して1.5倍から9倍の有効スループット優位性を示し、2～2.5倍のリクエスト処理能力を実現した。

データによれば、阿里雲モデル市場で3ヶ月以上のベータテストにおいて、Aegaeonシステムはパラメータ数が720億に達する大規模モデル数十個をサービスする際に、必要なNVIDIA H20 GPUの数が1192個から213個に減少し、削減率は82%に達した。GPU使用量の82%削減は、企業のハードウェア調達コストの著しい削減を意味している。これは千、数万枚のGPUを使用する大規模モデルサービスプロバイダーにとって極めて重要だ。

実際のモデルサービスシナリオでは、アリババのQwenなど一部の人気モデルがユーザーリクエストの大部分を担っている一方、頻繁に呼び出されない多数の「ロングテール」モデルがそれぞれGPUリソースを独占している。データによると、阿里雲モデル市場では、過去にGPU計算力の17.7%がリクエストのわずか1.35%の処理にのみ使用され、リソースの遊休が深刻だ。

アリババは、その「Aegaeon」コンピューティングプーリングソリューションのメリットは、主に2つの技術に由来すると説明している。一つは各GPUへの複数モデルのパッキングと、もう一つはリクエストレベルでリソースを予約するのではなく、生成出力時にトークンレベルのオートスケーラーを使用して動的に計算リソースを割り当てる技術だ。

阿里雲はその論文の中で、どのGPUモデルが節約に最も貢献したかを詳細に説明していない。しかし、『サウスチャイナモーニングポスト』（South China Morning Post、南華早報）紙の報道によれば、これらのテストはNVIDIAのH20を使用して行われたという。H20は、米国の輸出管理規制下においても、中国企業が合法的に使用できる数少ない輸入AIアクセラレータの一つだ。

（原文：https://www.icsmart.cn/97702/）