要聞

豆包大模型提出稀疏模型架構，推理成本較MoE最高可降83%

每日經(jīng)濟新聞 2025-02-12 14:45:28

每經(jīng)北京2月11日電（記者楊昕怡）豆包大模型團隊今日宣布，團隊提出了全新的稀疏模型架構UltraMem，該架構有效解決了MoE（混合專家模型）推理時高額的訪存問題，推理速度較MoE架構提升2~6倍，推理成本最高可降低83%。該研究還揭示了新架構的Scaling Law（規(guī)模定律），證明其不僅具備優(yōu)異的Scaling特性，更在性能上超越了MoE。

如需轉(zhuǎn)載請與《每日經(jīng)濟新聞》報社聯(lián)系。
未經(jīng)《每日經(jīng)濟新聞》報社授權，嚴禁轉(zhuǎn)載或鏡像，違者必究。

讀者熱線：4008890008

特別提醒：如果我們使用了您的圖片，請作者與本站聯(lián)系索取稿酬。如您不希望作品出現(xiàn)在本站，可聯(lián)系我們要求撤下您的作品。