2021 年 4 月，盘古大模型正式对外发布。其中，盘古 NLP 大模型作为业界首个千亿参数的中文预训练大模型，在 CLUE 打榜中实现了业界领先。
为了训练 NLP 大模型，团队在训练过程中使用了 40TB 的文本数据，包含了大量的通用知识与行业经验。
https://www.huawei.com/cn/huaweitech/publication/90/huawei-cloud-pangu-model-releases-ai-productivity
2022 年 01 月的文章
中国 AI 研究新突破，鹏城实验室发布首个全开源两千亿参数中文预训练语言模型——“盘古α”
时间：2021-04-27 点击：7373
2021 年 4 月 26 日，在深圳召开的 HDC 全球开发者大会上，鹏城实验室鹏城云脑技术总师、北京大学教授田永鸿发布了业界首个全开源 2000 亿参数中文预训练语言模型“盘古α”。这是国产全栈式 AI 基础设施支持 2000 亿级超大规模语言模型训练的第 1 次，探索并验证了国产 E 级智算平台在软硬件协同优化、大规模分布式并行训练等核心关键技术的可行性。
https://www.pcl.ac.cn/html/943/2021-04-27/content-3779.html