接了导师需求，大概是做一个多模态任务（原本是一个简单的回归任务，然后想利用大模型对回归结果做解释说明），调研了本领域几篇文献对大模型的利用方式包括：纯推理、做微调、利用大模型输出的 hidden states、logits做回归的。 实验室算力也就双卡4090，如果希望能覆盖上述利用方式，推荐使用什么模型，有什么什么好用的代码框架？ 我此前没接触过大模型，不知有没有佬友曾经跟过大模型部署/微调教程值得推荐的？（站内搜了下，只有分享网盘资源的，不知道是不是好课程呢） 开贴前自己是试过gemma4了，4B的小模型效果不咋好，而部署26B的时候，不量化只能GPU+CPU,而量化又出现适配问题。（没学过只依赖AI还是干不好活~） 1 个帖子 - 1 位参与者 阅读完整话题