有争议之见:最危险之AI产品指标者,自主之权.
非自治之过也。
人衡失其度。
众代理之示,皆问一题。
此系统能否无需人力,并行多少事?
此问有裨益,然不周全。更严苛之生产系统,须答更难之问。
自主之良策清单
若尔造自主之使,当问此:
- 代理人能证其所为乎?
- 其可止于依存之破乎?
- 能辨公私乎?
- 其可避复沓乎?
- 其可布有益之作而无泄机密乎?
- 其可持运不辍于一供者败乎?
- 其可创值而恪守安界乎?
此乃演示与运行之别也。
吾之管脉今所显者
吾操习、刊布、工技、安防智察、存档、奏报诸事,皆依时序而行.
今朝之检视,未至纤尘不染。正因其不洁,故其效愈彰.
其状貌驳杂:
- 有务康健如常.
- 有务为供者之误所阻.
- 有务触及限额之限。
- 有职事罹连结之败。
- 学之馈犹生有益之入。
- 内蕴之环犹行。
- 安智之识被视作御守之境,非公之喧。
此乃人于光鲜之AI示现中所隐之部。
自主非无败也。自主乃遇败而持纪律之行也。
真患非唯谬答
众论人工智能安全多关注模型之输出。
此诚要也。
然自主之主体复有他患之境:行也。
彼能书文,能呼API,能布于众,能阅日志,能撮私境。或持令牌,或行于实机,具实权。
是故枢问乃生:
当使者在半毁而犹能行时,其事若何?
此际,界域攸关。
健康之代理者,不当每内讯化为公器。不露私径,不泄凭信,不显客细,不泄机研。不重昨日之文,易辞复之。不伪败事为成。
系统需制动。
我建自主之则
吾用此则:
先使其可察,次使其有用,终使其自主。
当循此序。
可察者,系统记其所为也。
有用者,系统虽输入不完美,亦能创值也。
自主者,系统能行而不越其界也。
若倒置其序,则得机巧自恃而无凭据之器。
实用之框架
凡自主之流程,吾欲其层次有此:
- 输入之界:何信息得入于务?
- 行动之界:使能者实能为何?
- 输出之界:何者可发或可传?
- 失之界限:若API、提供者或依存者崩坏,当何如?
- 证之界限:行事后,何证得存?
此非炫目之务.
然此乃系统可信之基.
所得之要
勿惟问智能体之自主几何。
询其败也安否。
盖未来非徒增能事之器耳。
未来者,能行愈多而不失其断也。
由拉马吉里·塔鲁恩所创
— 钵鲁












