智能制造網APP
智能制造網手機站
智能制造網小程序
智能制造網官微
智能制造網服務號
智能控制
機器人
儀器儀表
物聯網
3D打印
工業(yè)軟件
回放
回放
品牌
其他品牌
10月21日消息，在近日于韓國首爾舉辦的頂級學術會議SOSP 2025（操作系統原理研討會）上，阿里云發(fā)布了其“Aegaeon”計算池化解決方案。
Aegaeon方案的核心在于解決AI模型服務中普遍存在的GPU資源浪費問題，尤其針對那些需求突發(fā)或不可預測的大型語言模型。
它打破了傳統的“一個模型綁定一個GPU”的低效模式，而是在Token級別虛擬化GPU訪問，這意味著單個GPU可以被多個不同模型共享服務，實現精細化的資源調度。
阿里云Aegaeon系統作為一種推理時間調度器，它能在每次生成下一個token后，動態(tài)決定是否切換模型，從而將微小的工作片段安排到共享池中。
通過組件復用、顯存精細化管理和KV緩存同步優(yōu)化等全棧技術，Aegaeon將模型切換開銷降低了97%，確保了token級調度的實時性，可支持亞秒級的模型切換響應。
在阿里云模型市場為期超三個月的Beta測試中，Aegaeon系統在服務數十個參數量高達720億的大模型時，所需的NVIDIA H20 GPU數量從1192個銳減至213個，削減比例高達82%。
GPU用量的大幅削減，對于硬件采購成本高昂的大型模型服務商而言，意味著成本將顯著降低。
目前，這項核心技術已成功應用在阿里云百煉平臺。
浙公網安備 33010602000006號
智能制造網APP
智能制造網小程序
微信公眾號
