惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

月光博客
月光博客
WordPress大学
WordPress大学
博客园 - 三生石上(FineUI控件)
H
Help Net Security
小众软件
小众软件
The Cloudflare Blog
人人都是产品经理
人人都是产品经理
Apple Machine Learning Research
Apple Machine Learning Research
S
SegmentFault 最新的问题
Last Week in AI
Last Week in AI
爱范儿
爱范儿
量子位
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
IT之家
IT之家
博客园 - 【当耐特】
V
Visual Studio Blog
大猫的无限游戏
大猫的无限游戏
博客园_首页
Jina AI
Jina AI
D
Docker
博客园 - 司徒正美
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
Microsoft Security Blog
Microsoft Security Blog
阮一峰的网络日志
阮一峰的网络日志

机器学习

llama.cpp 服务开启 embedding 是否稳定? 深度学习的 LLM 就像受伤的大脑 大语言模型会被其他技术取代吗? llm 训练最 dirty work 的就是数据处理! 做机器学习强烈推荐看看 MIT 18.S096 矩阵微积分 求助微信聊天记录训练 ai 请问 AI 训练大佬 : 目前大家不写 blog, stackoverflow 等,如何训练新的优质数据,还是拿 AI 数据训练自己? 想要真正理解目前的深度学习(不仅是打杂的炼丹师),需要怎样的数学基础 怎样加快 onnx 模型在 cpu 上的推理速度啊 AI 公司瞄准的顺序是浏览器、输入法、操作系统 有什么能本地跑的机器学习项目吗? 求助 使用 ddddocr 自训练模型场景下,遇到了 onnxruntime.capi.onnxruntime_pybind11_state.InvalidArgument BERT 论文复现: 经验 & 教训 求推荐一些 LLM/深度学习方面打基础的书籍或者课程 2025 年底,如果想做一个图像分类模型,用什么模型来微调比较好 目前使用 yolov8 训练了一个目标检测模型,但是上线使用效果不是很好,怎么优化? 最近看 1-2 万主机发现 3090 还是能打的 想做有声小说声音克隆, 3060Ti 能扛得住吗? [AI Glimpse 科普系列] KV Cache 的原理推导与代码实现(基于 GPT2) 关于 OCR 以及以图找图识别 这类型的英语学习视频,是用哪个模型生成? 怎么实现提取俩个图片的一些特征,然后进行特征比对 检测画面中存在漏水,给点思路 学习 AI, 跑下模型, 应该用什么 N 卡? 有没有大佬了解机器学习的 mlops 框架或者平台 如何把本地文件作为大模型的知识库 lima 和 colima 居然是有关系的 gpt4o 图像生成的技术讨论(自回归模型又好起来了?) [AI Glimpse 科普系列] 不到 100 行 Python 代码从零实现 LLM 的推测采样算法 什么?唠唠嗑就能生成游戏关卡! Unreal Engine + MCP 来了!
使用大语言模型进行文本分类任务需要微调吗?
marklu · 2025-04-17 · via 机器学习

楼主是做经济学研究的,近期工作涉及到利用 LLM 进行文本分类。在查阅文献(主要是经济学交叉应用类)时,我观察到一个趋势:作者们倾向于获取特定任务的标注数据,然后在 BERT 、ERNIE 等模型上进行微调,以完成分类。
由于我的技术背景有限,对于这种方法的选择及其替代方案有些疑问,想听听大家的专业意见:
1.微调的实际可行性: 用专门的分类数据去微调一个通用预训练模型,会不会损失模型基础性能,导致在遇到与微调数据不太一样的文本时,表现反而变差?
2.是否可以直接使用 GPT 等模型替代: 现在有许多能力非常强大的 LLM ,似乎可以通过给出清晰的指令( Prompt )就能完成很多任务。对于文本分类来说,直接使用这类强模型+好 Prompt ,相比于“训练”一个基础模型,是不是一种更高效(开发时间短、可能效果还好)的选择?在这种情况下,应该如何验证分类的准确性?
我主要想理解这两种技术路径的适用场景、优缺点以及实际操作中的考量。任何经验分享或建议都将对我非常有帮助!谢谢大家!