金枪鱼之夜：开元-2B：全流程开源的端侧模型预训练实践
时间: 2025-12-20 19:00-21:00 地点: 三教 1102 tunight llm
资源链接:
清华 PACMAN 实验室近期联合鹏城实验室发布了基于全国产算力训练的端侧模型——鹏城脑海-2.1-开元-2B（PCMind-2.1-Kaiyuan-2B，简称开元-2B），它的一大特点是保证了包括训练数据在内的全流程开源。TUNA 很荣幸邀请到了 PACMAN 实验室的罗开荣同学为我们介绍开元-2B 模型及其训练过程中使用的框架，欢迎大家一起学习！
开元-2B依托鹏城实验室“脑海2”集群进行模型预训练，主要特点包括：
- 全流程开源：不同于一般仅开源模型权重的“开源”模型，开元-2B 完全基于符合开源许可的数据进行训练，并开源了处理后的训练数据、数据处理框架及训练框架；
- 全国产算力训练：数据处理基于鲲鹏 920 集群，模型训练基于昇腾 910A 集群，并通过模型结构调整适配国产硬件的数值精度；
- 高效训练：综合改进数据处理和训练策略，使用 2.2T 数据、20 亿总参数、14 亿非嵌入参数进行训练，最终模型在全开源系列模型中实现了参数-性能的帕累托最优。
具体细节可参见技术报告： https://arxiv.org/pdf/2512.07612
活动信息：
- 主讲人：罗开荣
- 时间：2025/12/20（校历第十四周周六） 19:00 UTC +08:00
- 活动形式：线下 + 线上会议 + 直播
