惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

J
Java Code Geeks
Stack Overflow Blog
Stack Overflow Blog
B
Blog RSS Feed
C
Check Point Blog
D
Docker
Y
Y Combinator Blog
Recent Announcements
Recent Announcements
Google DeepMind News
Google DeepMind News
MongoDB | Blog
MongoDB | Blog
博客园_首页
Apple Machine Learning Research
Apple Machine Learning Research
量子位
有赞技术团队
有赞技术团队
IT之家
IT之家
大猫的无限游戏
大猫的无限游戏
D
DataBreaches.Net
M
MIT News - Artificial intelligence
B
Blog
阮一峰的网络日志
阮一峰的网络日志
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
腾讯CDC
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
V
V2EX
月光博客
月光博客

人人都是产品经理

为什么你的产品找不到差异化?90%的失败都卡在第一步上(下) – 人人都是产品经理, 3年从30万到1300万用户、获2200万美元融资,这个AI教育产品用“抽卡”破解了获客难题 – 人人都是产品经理, 园区招商系统怎么做才能真正帮到去化?我加了这一个功能,推广链接转发400次阅读过万 – 人人都是产品经理, AI大事件:OpenAI发完网络安全模型又搞药物研发,小鹏汽车要抓”DeepSeek时刻” – 人人都是产品经理, 电商不是卖货,是一场更残酷的产品经理实战 – 人人都是产品经理, 没想到,活动营销又回来了! – 人人都是产品经理, 为何All-in海外KOC:一场关于AI时代窗口期的豪赌 – 人人都是产品经理, 重新理解企业的内部协作 – 人人都是产品经理, 苹果的 AI 战略到底是什么? – 人人都是产品经理, 医疗智能体·第2讲——合规护城河:等保、PIPL与HIPAA的架构实战 – 人人都是产品经理, 向量知识库五步法:从“答非所问”到“精准回复” – 人人都是产品经理, 鸿蒙PC三方库构建总指挥HPKBUILD(sha)库为例 – 人人都是产品经理, 何时该用LLM?AI产品经理的LLM设计指南 – 人人都是产品经理, 医疗信息领域的需求方、决策方、准入方以及关注点(二) – 人人都是产品经理, 即梦涨价:一场被误读的「傲慢」 – 人人都是产品经理, 面试AI PM必答题:Hermes和OpenClaw的区别,如何讲清楚业务价值 – 人人都是产品经理, AI的下一张船票:世界模型——AI产品经理必须理解的技术拐点 – 人人都是产品经理, 小红书做GEO,怎么让AI信你?记住这 3 个重要信息 – 人人都是产品经理, 5 家印度 AI 初创公司,看看印度 AI 再做什么 – 人人都是产品经理, AI项目跨团队协作:产品技术业务如何不打架 – 人人都是产品经理, Agentic Workflow(智能体工作流):让AI从”答案生成器”变成”数字员工” – 人人都是产品经理, lycium_plusplus 项目全景解读:OpenHarmony 三方库构建的“大管家” – 人人都是产品经理, 从爆单救火到前置履约:两套预采策略,把生鲜大促履约效率拉满 – 人人都是产品经理, 什么时候该补货?我用一轮数据做了一个决定 – 人人都是产品经理, 从“机械兜底”到“动态分流”:AI客服重复进线治理的4大底层逻辑 – 人人都是产品经理, 抖音拼效率,红书拼洞察 – 人人都是产品经理, 全民狂欢与退潮——为什么龙虾这波热潮冷却得如此之快? – 人人都是产品经理, Stripe押注!MPP重塑全球支付 – 人人都是产品经理, 小红书GEO:AI引用你的内容,不是因为你对,而是因为你看起来可信 – 人人都是产品经理, 前百度副总裁押注办公Agent,日韩付费爆发,Manus迎来强劲对手 – 人人都是产品经理,
AI 为啥能听懂 “画只小狗”?揭秘文生图的 “初代密码”,小白也...
吴叉叉 · 2025-09-15 · via 人人都是产品经理

你说“画只小狗”,AI就真能画出一只?这背后不是魔法,而是“文生图”技术的语言理解与图像生成机制在默默运作。本文用通俗语言拆解文生图的底层逻辑,让你第一次真正看懂 AI 是如何“听懂人话”的。

现在打开AI画图工具,你随口说一句“画一只趴在沙发上打盹的橘猫,旁边放一杯热牛奶”,几秒后一张像样的图就出来了。你有没有过好奇:AI又没长眼睛,也没学过画画,它咋就知道“橘猫”“热牛奶”该画成什么样?

其实这背后,藏着一个10年前(2021年)OpenAI埋下的“小种子”——一个叫CLIP的模型。正是它教会了AI“看懂图、听懂话”,才有了今天我们用得顺手的文生图工具。

今天就用大白话唠唠:CLIP到底是个啥?它是怎么把“文字”和“图片”捏到一起的?全程不整专业词,小白也能听明白。

先从“小baby学说话”说起:CLIP是这么教AI“认东西”的 你还记得小baby是怎么学“苹果”这个词的吗?

妈妈拿着一个红苹果,指着它说“这是苹果,圆圆的、红红的、能吃的水果”,多教几次后,宝宝再看到苹果,就知道“哦,这东西叫苹果”;听到“苹果”,脑子里也会浮现出苹果的样子。

CLIP教AI的逻辑,跟教小baby几乎一模一样——

它有两个“学习小组”,一个专门学“看图”(图像模型),一个专门学“读文字”(文本模型),然后让这两个小组“一起上课”:

– 给“看图小组”看一张图:比如一只摇着尾巴的小黄狗,毛发是浅棕色,爪子是白色的;

– 同时给“读文字小组”读一句话:“一只浅棕色毛发、白色爪子、摇着尾巴的小黄狗”;

– 然后告诉两个小组:“你们现在学的是同一个东西!

记住这种对应关系——看到这样的图,就想到这句话;读到这句话,就想到这样的图。” 就像老师给两个学生布置“配对作业”:一个学生看照片,一个学生读描述,老师告诉他们“这俩是一对”,多练几次,两个学生不用老师说,也能自己把“照片”和“描述”对应上。

以前的AI,“看图小组”只会认“这是狗”,“读文字小组”只会认“这是‘狗’这个词”,但两者没关系——你说“画狗”,“读文字小组”懂了,但“看图小组”不知道该画啥。而CLIP训练后,两个小组“通了气”:你说“画一只戴蓝色小帽子的狗”,“读文字小组”懂了意思,“看图小组”也知道该画“狗+蓝色小帽子”,不会画成“猫戴帽子”。

把“图片和文字”变成“箭头”:AI是这么比“像不像”的 光让两个小组“对应”还不够,AI还得知道“哪两个东西更像”——比如“小黄狗”和“小白狗”比“小黄狗”和“小猫咪”更像,这样画出来才不会跑偏。

CLIP用了个特别简单的办法:把每张图、每句话,都变成“一根箭头”(专业里叫“向量”,但咱们就叫“箭头”),放在一个超大的“广场”(向量空间)里。

箭头的“方向”代表“是什么东西”:比如所有“狗”的图和“狗”的文字,箭头方向都差不多;所有“猫”的图和“猫”的文字,箭头方向另成一派;

箭头之间的“距离”代表“像不像”:比如“小黄狗”的箭头和“小白狗”的箭头离得很近(因为都是狗),但和“小猫咪”的箭头离得很远(不是一类);

就连图里的小细节,也能靠箭头体现:比如“小黄狗戴帽子”的箭头,和“小黄狗不戴帽子”的箭头,距离很近(主体都是小黄狗),但又有点差别(多了个帽子)——这差别,就是我们肉眼看到的“戴没戴帽子”。

举个例子:你让AI“画一只没戴帽子的小黄狗”,它先找到“没戴帽子的小黄狗”的箭头方向;如果你再让它“改成戴红色帽子的小黄狗”,它不用重新画,只要把箭头稍微调整一点(拉近到“戴红帽子的小黄狗”的箭头位置),就能画出修改后的图——这就是为啥现在AI改图能“不跑偏”,背后就是靠箭头的“方向和距离”算出来的。

关键一步:谁来当“翻译官”?让文字和图片“好好配合” 现在问题来了:“看图小组”懂图,“读文字小组”懂字,但它们俩还是“各说各的”——怎么让“读文字小组”把“画一只在草地上追蝴蝶的狗”的需求,准确告诉“看图小组”该画啥、怎么摆位置呢? CLIP找了个“中间翻译官”,叫“交叉注意力机制”(不用记名字,记住它是“翻译官”就行)。

这个“翻译官”的工作很简单:它会把“读文字小组”理解的关键词拆出来——比如“狗”“草地”“蝴蝶”“追”,然后告诉“看图小组”:“重点是画‘狗’,位置在‘草地’上,动作是‘追蝴蝶’,蝴蝶要在狗的前方一点点,草地要铺在下面。” 没有这个“翻译官”的时候,AI可能会犯傻:你说“画狗追蝴蝶”,它可能把蝴蝶画在狗的后面,或者把草地画在天上——因为“看图小组”没get到文字里的“位置和动作”。

有了“翻译官”后,文字里的“细节要求”能准确传到画图端,画出来的图才跟你想的一样。 比如你说“画一只坐在书桌前,爪子搭在键盘上的小狗,桌上放一杯咖啡”,“翻译官”会拆出“小狗-书桌前-爪子搭键盘-桌上有咖啡”,然后“看图小组”就知道:小狗是主体,书桌在下面,键盘在小狗爪子下,咖啡在书桌角落——不会把咖啡画到小狗头上。

为啥说CLIP是“文生图的地基”?没有它,就没有今天的AI画图 可能你会觉得:CLIP好像也没那么“厉害”,不就是教AI认东西、做翻译吗? 但你不知道的是,在CLIP出现之前,AI画图是“瞎蒙”的——你说“画狗”,它可能画成四不像;你说“画戴帽子的狗”,它要么只画狗,要么只画帽子。正是CLIP第一次给AI搭了个“桥梁”:让文字和图片能“互相理解”,还能“比出像不像”。 就像盖房子,CLIP是“地基”——后来的MidJourney、Stable Diffusion、还有之前聊过的Nano Banana,都是在这个地基上添砖加瓦,比如让图更细腻、让修改更灵活,但核心的“听懂话、画对东西”,还是靠CLIP打下的基础。 现在你再用AI画图,就知道它不是“天生会画”,而是10年前被CLIP“教了最基础的一课”——就像我们小时候先学认东西、学说话,长大了才能写文章、画画一样。

最后聊两句:AI学“懂图说话”,对我们普通人有啥用? 对我们来说,CLIP的意义很实在:它让AI画图从“专业人士的玩具”变成了“普通人的工具”。 以前想画张图,要么自己学画画,要么找设计师;现在你不用懂任何技巧,只要能把想法说出来(比如“画一张星空下的露营帐篷,旁边有篝火和小串”),AI就能帮你实现。甚至你想改图,说一句“把篝火换成小灯串,帐篷换成蓝色”,AI也能准确改好——这背后,都是CLIP当初“教AI认东西、做翻译”的功劳。

说不定以后,AI还能更懂我们的想法:比如你说“画一张我小时候在老家院子里追蜻蜓的图,要夏天的感觉”,AI能根据“小时候”“老家院子”“夏天”这些关键词,画出你记忆里的样子——而这一切,都要从CLIP那个“教AI学认东西”的小想法说起。

最后问你一句:你第一次用AI画图时,说的是什么指令?画出来的图,跟你心里想的一样吗?

本文由 @吴叉叉 原创发布于人人都是产品经理。未经作者许可,禁止转载

题图来自Unsplash,基于CC0协议