螞蟻技術研究院近日正式發(fā)布全新離散擴散大語言模型系列——LLaDA2.0，同步公開的技術報告顯示，該系列包含100B參數(shù)的"flash"版本與16B參數(shù)的"mini"版本，成為全球首個突破百億參數(shù)的擴散語言模型。這一突破性成果標志著擴散模型在參數(shù)規(guī)模擴展領域取得重大進展，成功打破業(yè)界對擴散模型難以規(guī)?；瘧玫墓逃姓J知。

研發(fā)團隊創(chuàng)新采用混合專家（MoE）架構，通過模塊化設計實現(xiàn)模型性能與計算效率的平衡。在訓練策略方面，提出的Warmup-Stable-Decay（WSD）持續(xù)預訓練方法，使新模型能夠直接繼承現(xiàn)有自回歸（AR）模型的知識體系，避免了傳統(tǒng)從頭訓練帶來的高昂成本。配合置信度感知并行訓練（CAP）與擴散模型專用DPO技術，在保證生成質量的同時，將推理速度提升至AR模型的2.1倍。

多維度評估數(shù)據顯示，LLaDA2.0在結構化生成任務中表現(xiàn)尤為突出。在代碼生成、數(shù)學推理及智能體交互等場景下，其性能指標全面超越同級別AR模型，而在自然語言理解等基礎能力方面則與開源AR模型持平。這種"專長強化+基礎穩(wěn)固"的特性，為特定領域的大模型應用開辟了新路徑。

為推動技術生態(tài)發(fā)展，研究院已將16B與100B兩個版本的模型權重及完整訓練代碼開源至Huggingface平臺。開發(fā)者可通過公開資源復現(xiàn)訓練過程，或基于現(xiàn)有模型進行二次開發(fā)。此次開源不僅降低了超大規(guī)模模型的技術門檻，更為學術界提供了研究擴散模型規(guī)?；瘧玫闹匾獦颖?。