惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

GbyAI
GbyAI
N
News and Events Feed by Topic
D
DataBreaches.Net
MongoDB | Blog
MongoDB | Blog
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
Engineering at Meta
Engineering at Meta
T
Tailwind CSS Blog
博客园_首页
Microsoft Azure Blog
Microsoft Azure Blog
Y
Y Combinator Blog
博客园 - Franky
Hugging Face - Blog
Hugging Face - Blog
月光博客
月光博客
A
About on SuperTechFans
I
InfoQ
S
Securelist
Last Week in AI
Last Week in AI
S
Schneier on Security
C
CXSECURITY Database RSS Feed - CXSecurity.com
Hacker News: Ask HN
Hacker News: Ask HN
Schneier on Security
Schneier on Security
Know Your Adversary
Know Your Adversary
腾讯CDC
大猫的无限游戏
大猫的无限游戏
S
Security @ Cisco Blogs
博客园 - 三生石上(FineUI控件)
Simon Willison's Weblog
Simon Willison's Weblog
D
Darknet – Hacking Tools, Hacker News & Cyber Security
T
Tor Project blog
美团技术团队
aimingoo的专栏
aimingoo的专栏
G
Google Developers Blog
罗磊的独立博客
Vercel News
Vercel News
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
The Cloudflare Blog
S
Secure Thoughts
www.infosecurity-magazine.com
www.infosecurity-magazine.com
Latest news
Latest news
Recent Announcements
Recent Announcements
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
L
LINUX DO - 热门话题
Security Latest
Security Latest
TaoSecurity Blog
TaoSecurity Blog
Cyberwarzone
Cyberwarzone
有赞技术团队
有赞技术团队

机器学习

llama.cpp 服务开启 embedding 是否稳定? - V2EX 深度学习的 LLM 就像受伤的大脑 大语言模型会被其他技术取代吗? - V2EX llm 训练最 dirty work 的就是数据处理! - V2EX 做机器学习强烈推荐看看 MIT 18.S096 矩阵微积分 - V2EX 求助微信聊天记录训练 ai - V2EX 请问 AI 训练大佬 : 目前大家不写 blog, stackoverflow 等,如何训练新的优质数据,还是拿 AI 数据训练自己? - V2EX 想要真正理解目前的深度学习(不仅是打杂的炼丹师),需要怎样的数学基础 - V2EX 怎样加快 onnx 模型在 cpu 上的推理速度啊 - V2EX AI 公司瞄准的顺序是浏览器、输入法、操作系统 - V2EX 有什么能本地跑的机器学习项目吗? - V2EX 求助 使用 ddddocr 自训练模型场景下,遇到了 onnxruntime.capi.onnxruntime_pybind11_state.InvalidArgument - V2EX BERT 论文复现: 经验 & 教训 - V2EX 求推荐一些 LLM/深度学习方面打基础的书籍或者课程 - V2EX 2025 年底,如果想做一个图像分类模型,用什么模型来微调比较好 - V2EX 目前使用 yolov8 训练了一个目标检测模型,但是上线使用效果不是很好,怎么优化? - V2EX 最近看 1-2 万主机发现 3090 还是能打的 - V2EX 想做有声小说声音克隆, 3060Ti 能扛得住吗? - V2EX [AI Glimpse 科普系列] KV Cache 的原理推导与代码实现(基于 GPT2) - V2EX 关于 OCR 以及以图找图识别 - V2EX 这类型的英语学习视频,是用哪个模型生成? - V2EX 怎么实现提取俩个图片的一些特征,然后进行特征比对 - V2EX 检测画面中存在漏水,给点思路 - V2EX 学习 AI, 跑下模型, 应该用什么 N 卡? - V2EX 有没有大佬了解机器学习的 mlops 框架或者平台 - V2EX 如何把本地文件作为大模型的知识库 - V2EX 使用大语言模型进行文本分类任务需要微调吗? - V2EX lima 和 colima 居然是有关系的 - V2EX gpt4o 图像生成的技术讨论(自回归模型又好起来了?) - V2EX [AI Glimpse 科普系列] 不到 100 行 Python 代码从零实现 LLM 的推测采样算法 - V2EX 什么?唠唠嗑就能生成游戏关卡! Unreal Engine + MCP 来了! - V2EX 大模型是如何执行像数学运算、编程等精确性要求比较高的任务的? - V2EX 有没有 LLM 入门的系统学习教程 - V2EX mtranserver 的翻译效果还是差一点 - V2EX 求助,有没有视觉大模型可以识别一个 UI 设计图中各个模块的划分 - V2EX 多模态大模型的大小远低于单文本模型啊。 - V2EX 利用 deepseek 分析医学影像找出结节这是什么技术原理? - V2EX 大语言模型与深度学习书籍推荐 - V2EX 为什么 LLM 不擅长数饺子? - V2EX 突然冒出一个点子,利用现在热门的 AI 来做 web 外挂工具 - V2EX 请问训练或者调试 yolo 用什么配置性价比较高。 - V2EX 如何从头构建一个自己的大模型呢?从底层最基础的神经网络开始实现 - V2EX LLM 静态批处理和 Continuous Batch 相关疑问的求解 - V2EX 有没有久坐提醒类服务,最好是基于啥啥啥模型的那种活体检测。 - V2EX LLMs 文本标签(分类)任务怎么做比较好? - V2EX 能推荐个偏实战的 tranformer/LLM 的课程么? 模型部署的姿势 深度学习在自己电脑上跑, Linux 环境,选择 WSL 还是物理机 Ubuntu? - V2EX CUDA 搞深度学习, 1TB 的一块硬盘, C 盘留多大合适? - V2EX 怎么理解 RNN 循环神经网络工作原理? ReLU 函数在 x> 0 的时候也是线性的,套 ReLU 函数是怎么实现激活作用的?
大模型能记住所有它训练过的数据吗? - V2EX
lurui45 · 2025-01-22 · via 机器学习
TimePPT

3

TimePPT  

PRO

   2025 年 1 月 22 日

你可以简单理解为,模型的训练阶段,通过学习极大量语料,获得了词元( token )间的前后脚出现的概率。

等推理阶段,通过获取上文所有词元组成的 context ,输出最有可能的下一个词。

所以,理论上,如果红楼梦作为了语料进入训练。在 context 足够明确的情况下,让补全红楼梦,是可以做到的。但因为预测的是下一个 token ,那么下一句是否正确,也取决于其他训练语料。甚至还有其他影响,就不多展开了。

如果感兴趣,还是建议找点机器学习、深度学习的科普资料读一下。