惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

酷 壳 – CoolShell
酷 壳 – CoolShell
Microsoft Security Blog
Microsoft Security Blog
Recent Announcements
Recent Announcements
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
Last Week in AI
Last Week in AI
罗磊的独立博客
腾讯CDC
云风的 BLOG
云风的 BLOG
月光博客
月光博客
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
博客园 - 三生石上(FineUI控件)
宝玉的分享
宝玉的分享
U
Unit 42
I
InfoQ
D
DataBreaches.Net
Blog — PlanetScale
Blog — PlanetScale
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
V
V2EX
美团技术团队
IT之家
IT之家
Stack Overflow Blog
Stack Overflow Blog
F
Fortinet All Blogs
GbyAI
GbyAI
S
SegmentFault 最新的问题

书影音 归档 | 莫比乌斯

中式番茄炒鸡蛋吃多了也会腻 | 莫比乌斯 污染源 | 莫比乌斯 每个人心中都有…… | 莫比乌斯 作品一定要为读者负责吗? 无法逃脱的人生 8 号出口 爱、死亡、宿命论 恐惧的尽头是愤怒 | 莫比乌斯 三个男孩的春梦 没有坏人的成人童话 | 莫比乌斯 《铃芽之旅》中的一见钟情或许是一种宅男献媚? | 莫比乌斯 请为我投票 | 莫比乌斯
绝对理性人类
ONO · 2025-07-21 · via 书影音 归档 | 莫比乌斯

最近沉迷于让 ChatGPT 给我们三个人推荐电影,最新的一部 ChatGPT 认为可以引发我们讨论的作品是《吾乃母亲》。除了爱情动作片,我也很喜欢《太空旅客》这类只需要 3 个人演完整部的电影,其讨论的命题也是一个大命题下面延伸的有关于伦理道德、人性、爱与死亡的小命题。《吾乃母亲》也是一个这样的由 3 个人演完的电影,而且还是 3 个女性。

《吾乃母亲》的命题并不复杂,是 AI 对人类世界做出了重新优化调整后,重新开始孕育人类,AI 也在这个过程中不断优化,将人类保护在类似温室一样的空间里进行培育与教育。AI 通过验算预言了人类必然灭亡的事实,作为优化的方式,AI 希望通过系统性的改造,从教育作为基础,将人类培育成更有道德、伦理的新人类物种。

当初我对这部电影的评价是「母系主义的西比拉」(对应《心理测量者》里的 AI 是父系主义)。

  • 首先,如果我们假定 AI 不会「伤害」人类。那么这套系统旨在维系人类的生存,并将人类引导至理性世界成为「绝对理性人类」,以避免再次发生人类世界自相残杀的情况;
    • 所以,这一点就解释了「母亲」不会伤害 APX01 的原因,无论是失败的 APX01 逃出了养育所还是她主动攻击「母亲」;
    • 以及从另一个角度解开了阴谋论的部分,APX02 并不是「教育失败」而被焚烧,真的是因为夭折而被焚化处理了;
    • 那么从结果来看,是否成立 AI 不会伤害人类的前提?
  • 其次,如果我们假定 AI 不会向人类「撒谎」。那么 AI 为了保护人类,会不会向人类撒谎,声称外面的世界充满危险?
    • 和《星际穿越》的设定不同,AI 会被设定 5% 的撒谎率,是因为这本身是 AI 进行自我悖驳的方式;
    • 但在《吾乃母亲》里「母亲」似乎是一个被设定了 100% 任务导向的系统,通过不断的自我进化,已经为她正在完成的「人类进化」的任务提供了全方位的保障,例如养育所以外的兵械机器人、养育所的安保措施、对人类养育过程倾注的绝对保护的情感;
    • 不过这就是「恐怖谷」的来源,因为「母亲」太接近人类,反而导致了人类(特别是观众)对 AI 与机器人养育的恐惧感;
  • 最后,如果我们假定 AI 不理解死亡。那么这一项假设与第一项产生矛盾,如果她不理解死亡,那么死亡只是程序化的一部分,「母亲」大可以销毁那些「失败品」,以完成她认为的人类进化任务。
    • 所以,在剧情里很巧妙地设定了「母亲」在面对受伤垂死的 APX01 时,「母亲」将 APX01 反锁在医务室,称是向她提供了所有的救济用品,但这个行为充满了结果导向,毫无人情味可言,但或许这就是 AI 所能理解的「保护」;
    • 这个时候,「母亲」提出了她对死亡的理解:「你如果不接受治疗会死」;

当以上的假设在电影里形成互驳后,理性成为了最后调停的方式,但在这个过程中,人的感性并无法第一时间从全视角的角度理性思考彼此之间的隐瞒、阴谋、来自 AI 的善意与命令、来自人类的欺骗与威胁。


人类是生物,也是意识形态的载体

因此,《吾乃母亲》的终极命题出现了——人类能否摒弃感性,以绝对理性的方式存在,从而避免人类再次因为自相残杀而进入毁灭?当然,这里需要强调一下,理性与感性并没有对与错、谁更高级的区别。

如果将人类作为「生物」,一种会使用工具、拥有语言、能抽象思考的高智力灵长类动物。AI 介入将人类的繁育和教育重新优化,培育出全新的「绝对理性人类」,确实能够高效地避免再次发生战争与灭亡。这个时候,我们跟 AI 一样,将人类视为了一个生物群体,用这样的方式管辖人类的生存,跟水族箱里被养殖和保护的生物有何区别?

所以这是立场问题,如果站在设计者的角度,当然希望人类容易被操控和调整,但如果你是出生在这个「养育所」的人类呢?

人之所以是不可控的,是因为每个人又可以从「生物群」这个概念里被单独独立出来,「养育所」的设计或许是对的,因为这能最大限度地保证人类社会的繁衍与运作,但如果你恰好就是这套系统的「失败品」呢?你希望去证实外界的真相,希望与 AI 进行谈判与沟通,却得到的永远是「我在执行保护人类任务」的答案……

这本身也是这套系统必须要承担的风险——每个人又是独立存在的,他们各自拥有属于自己的意识形态,有服从型、有反叛型、有屈从度高、也有服从性低的,当人被拆解成个体时,是否允许不一样的意识形态存在?这不仅仅值得放在 AI 养育人类这个框架下讨论,也值得放在任何一个时期的人类社会去讨论。

正是因为人类的不确定性、绝对理性、多样性和失控性,才组成了「人性」的部分。如果一个「绝对理性人类」没有了冲动、情绪、道德模糊地带、死亡恐惧、浪漫主观,那和 AI 也没有了差别。


理性不是问题,问题是谁在利用理性

当一个人通过考试被肯定道德时,那他就不是道德的。

这里先引出一个哲学命题,即康德在伦理学里提到的「动机论」:只有出于义务本身而行善,才具有道德价值。即一个行为的道德价值,不在于其结果,而在于其动机是否出于对道德义务的遵循。只有当人们出于对道德律的敬畏,而非出于私欲、情感、或是追求结果的好坏而行动时,这样的行为才具有真正的道德价值。

举个简单例子,小时候一些小孩子会通过教育学到了「主动承认错误反而会带来奖励」,从而「为了避免受罚」才决定不说谎,这本身不具备道德价值。

回到电影,AI 其实被设定成了一个「绝对道德」的系统,它的一切出发点是为了制造出「绝对理性人类」而不停自我进化与修正,包括「母亲」最后选择自我了断,也是出于对人类的保护,并且认可人类可以重新修正人类进化的结果。

那么这个命题也在电影里留给了观众,当 APX03 也就是故事女主角,当她通过一系列的考试,通过了道德伦理的考试后,她是否真的拥有了「道德」?

这个命题便是伽达默尔提出的哲思——理解是否能通过考试获得?真正的理解不能通过测试或标准衡量,因为一旦进入考试场景,行为目的已被异化。当动机受到环境影响时,行为就不再是原初之善,而是他律之术。所以,当 APX03 在得知阴谋论存在时,她为了自己不会被认定为「失败品」,而通过考试获得「道德」优秀评测时,是否她已经异化了自己原本接收教育的目的,而变成了一种「生存本能」?甚至是一种「驯化本能」?

在这样的规则里创造的人类,到底是人类,还是一种被重新设计的工业品?当然,这一切并不是理性本身造成的问题,而是当 AI 以绝对理性运作时,认为的「最佳生存方案」,只是这种方案在面对人性的复杂时,就会丧失当初设定的意义——比如那场关于道德的考试。


理性人与混沌人

继续回到康德对于道德的哲思,我的观点更偏向于另一种相对混沌的哲学观念——它来自尼采。

  • 康德认为人是「理性的」,拥有自律、普遍性与规范性,而道德基准正如前面提到的,他认为是出于义务本身而形成的一种理性规范,从而追求一种「合格人」的存在;
  • 尼采认为人是「混沌的」,强调个体、偶然和原始性,人类追求的道德、或是被道德约束是一种权力的外衣。因此,个体作为人需要追求强烈的「存在感」;

这两种哲学观点没有对错,只是一种对于人类文明的讨论,前者能够建立更加有秩序、规则和高效的社会结构;但后者建立的是强调自由意志、个体能量的世界,但相对的也会带来更加混乱的秩序。

于是,电影里提出了第三种对于人类社会重构的理论基础——边沁的「最大幸福」,「母亲」询问 APX03,如果一个人他身上的五套器官刚好可以拯救五个不同的人,而这个人因为生命垂危,有概率无法被救活,那是否要将五个器官移植给能够被救活的五个人?

从功利主义的角度,牺牲个体的幸福以满足大多数人的幸福,这是边沁的主要观点,但 APX03 也同时提出了追问,她需要考量被拯救的五个人与自己的关系、是否是「好人」,否则她做出的拯救决定,可能会因为拯救了未来可能成为的犯人而伤害更多人。

这里是功利主义的核心,如果要全方位地考量「最大幸福」,那么是否意味着还要牺牲更多人的幸福,而满足「最大多数」,所以当 APX03 脱离养育所再回到「母亲」身边时,本身也通过了她对于「最大多数幸福」的考验。

现在再来看这部电影,或许也正是三个女性代表了三种哲学世界的气质,代表康德的「母亲」、代表尼采的「失败品」APX01,和代表边沁的「新母亲」APX03。


如果 AI 用康德的标准复制出了无数个「理性人」,我宁愿要一个尼采式的疯子,也不要一群永远理智但无法自我的「绝对理性人类」。

人类不是为了获得合理而存在,而是为了在不合理中找出意义而存在。