蚂蚁开源万亿参数强化学习高性能权重交换框架Awex

11月20日，蚂蚁开源官微发文，蚂蚁集团宣布开源万亿参数强化学习高性能权重交换框架Awex。

据介绍，Awex 是为极致性能打造的训练推理引擎权重同步框架，解决强化学习流程中训练权重参数同步到推理模型的核心难题，可在秒级完成 TB 级大规模参数交换，显著降低 RL 模型训练延迟。

Awex 是蚂蚁 ASystem 强化学习系统的核心组件之一，而 ASystem 是百灵万亿模型训练的坚实基础。蚂蚁表示，将在未来陆续开源 ASystem 的其他核心 RL 组件，进一步完善开源强化学习训练生态。

强化学习已经成为大模型后训练的核心技术。从 ChatGPT 的RLHF，到 DeepSeek/Claude/Llama 的后训练体系，都依赖强化学习让模型更符合人类偏好、具备更强的推理能力，进一步扩大模型智能边界。

今年10月，蚂蚁集团开源了两款业界领先的万亿参数旗舰模型，包括非思考的 Ling-1T和思考模型 Ring-1T。其中Ring-1T基于我们自研的高性能权重交换框架Awex，实现了在数千卡 GPU 集群上5~10秒内完成万亿参数级别的权重同步。