这是一个创建于 223 天前的主题，其中的信息可能已经有所发展或是发生改变。
目录：
关于我们做到了哪一步
BERT 简介
有趣的观察
预训练过程的有趣现象
数据非常非常重要
从 Finetune 管窥预训练的威力
错误与教训
即使在极小数据集上也无法过拟合
一次性预处理全量数据，CPU 加班，GPU 休假
试图用临时手搓的玩意儿达到很好的性能
workers 和 prefetch 因子设得过大导致 OOM
没有优雅处理 DataLoader worker 的异常
评估时使用了错误的 tokenizer
最后
 |
1 dryadent 2025 年 11 月 3 日 1
看错误和教训就知道是真正训练了的， [ workers 和 prefetch 因子设得过大导致 OOM] 这个是刚做的人经常会遇到的问题～ |
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。