惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

TaoSecurity Blog
TaoSecurity Blog
L
LINUX DO - 最新话题
Help Net Security
Help Net Security
N
News | PayPal Newsroom
www.infosecurity-magazine.com
www.infosecurity-magazine.com
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
The Last Watchdog
The Last Watchdog
S
Security @ Cisco Blogs
W
WeLiveSecurity
C
CXSECURITY Database RSS Feed - CXSecurity.com
Webroot Blog
Webroot Blog
T
Troy Hunt's Blog
V
Vulnerabilities – Threatpost
Google Online Security Blog
Google Online Security Blog
N
News and Events Feed by Topic
T
Threat Research - Cisco Blogs
Security Archives - TechRepublic
Security Archives - TechRepublic
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
T
Tor Project blog
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
D
Darknet – Hacking Tools, Hacker News & Cyber Security
PCI Perspectives
PCI Perspectives
Google DeepMind News
Google DeepMind News
T
Tailwind CSS Blog
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
Apple Machine Learning Research
Apple Machine Learning Research
IT之家
IT之家
S
SegmentFault 最新的问题
J
Java Code Geeks
P
Privacy & Cybersecurity Law Blog
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
博客园 - 【当耐特】
博客园_首页
H
Hacker News: Front Page
T
Threatpost
Jina AI
Jina AI
博客园 - Franky
月光博客
月光博客
L
LINUX DO - 热门话题
The Cloudflare Blog
H
Heimdal Security Blog
博客园 - 司徒正美
酷 壳 – CoolShell
酷 壳 – CoolShell
Cloudbric
Cloudbric
雷峰网
雷峰网
Hugging Face - Blog
Hugging Face - Blog
S
Secure Thoughts
T
Tenable Blog
I
Intezer
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻

V2EX

我用 AI 写代码,但终端管理反而成了累赘——于是我做了 codux - V2EX [调研] 各位在公司都用什么 ide 和 agent 写代码? 老运维 share 一个运维平台 新电脑 brew install node 之后,一个小设置可以提升对供应链投毒的防御 - V2EX GLM-Coding 调用持续报错: z.ai 的 Lite 套餐几乎无法使用,官方 Pro/Max 是否稳定? - V2EX 上海漕河泾内推,本组有 2 个 hc,一个后端,一个前端,预算都是 20k 左右,不打卡,氛围好 如果 V2EX 上有一组不永久保存聊天记录(比如只保存 7 天或者 24 小时)的聊天室,那么会开启哪些有用或者有趣的可能? - V2EX gemini cli 貌似挂了,一直返回 403 - V2EX 第一次在自媒体上赚到钱 收集了最近在使用的低价 GPT, Gemini,邮箱等 AI 会员的小店合集 讨论个大实话:现在企业还在说 AI 编程提效 20%, 30%的,真的太落后,没用懂 AI。因为包括很多前沿公司,已经狂奔到提效 200%-500%的情况 [招聘][远程][币安] 前端/后端/QA/iOS/Android 至少 3 年以上经验 目前有大量 HC 欢迎投递 Chatgpt Pro 用量用不完的可以开这些设置 面试的时候好像遇到钓鱼了,给各位避个坑 cursor 年续费 22 号到期, 自动续费是否还是老的计次套餐呢 - V2EX 被两件破事毁掉的一下午,琐碎的内耗消磨人的精力 使用 Planet 存储 Codex 的会话或者重要信息 - V2EX 如果业务部门领导不要你开发功能,而是要求你教会它用 claude code 开发功能,你会怎么做? 分享一个 MacOS 接绿联 CM818 USB 转 DP 转接器使用感受 - V2EX 我的 HR 朋友 10 年老 Java ,非全大专,大家帮忙看看简历 开源了一个 AI 口语练习工具,音素级发音评分,完全免费可自部署 V2EX 上有哪些你觉得很有趣、印象深刻的妹纸? 字节为啥不出个国内版 Vercel? 有在大马的朋友吗? 问个运营商问题 你们在有领导的公司大群发过的最大胆的消息是什么 公司裁员,目前没有工作。想试试摆摊,做一个移动鲜啤打酒车 我的硬盘 Memblaze Pblaze 5 Linux 下不识别,给 Linux 内核提交了补丁, AI 说有望被合并 - V2EX 只有我一个人觉得 codex 不好用? 做了个 AI + 真人专家监督的广告投放平台 Auxora, 7 个品牌跑出 6x ROAS 如何走出至亲的离世 Claude Web 端貌似 claude-opus-4-7 偷偷上了? 现在 Apple 开发者帳號應該是用哪个地区会更好? - V2EX 用回测筛选因子的一点经验分享 给女儿 vibe 了一个故事类的 app,做完发现,这类应用似乎上线难度极大? - V2EX 手机格式化 bitget 钱包没了,里面开通的银行卡还有机会拿到吗 - V2EX [送码] TransVoice - 我的第一款 App 上架啦!实时转写+翻译+字幕,会议听课好助手! PictureHub 高清摄影作品的画廊 Planet 的第一个使用 macOS 26 SDK 构建的 Insider 版本 20260416-1 - V2EX 成都二手房是不是在涨价,有点坐不住了 - V2EX claude 生态(skill mcp plugin)等 Studio Display XDR VESA 适配器脱落 有在用印度区 applestore 的大哥嘛,请教一下礼品卡去哪里买呢 - V2EX 我好像知道京东家政爆火的原因了 - V2EX 薅了公司的 a 家 api key,用机场 ip 做代理容易被封吗 如何在初期就识别 HR 在刷 KPI,没打算招你? [分享]精心打造一个 AI 编程知识库(算法/设计模式/提示词/Skills),助力程序员转型 港版 iPhone 在国内支持联通 5GA 吗?在广东用 想办港卡 AI 对 it 行业影响太大了 我做了个把照片变成 iOS 小组件贴纸的 App ChatGPT Pro 5x 套餐 量真的很足! I have found a method to directly generate advertising video materials using scripts 在小城市开个店,给人写软件,有前途吗 chrome 最新的 147 版直接卡爆炸了 - V2EX 为什么厂家不在 skill/mcp 这类的工具中塞广告呢?这样不是可以大赚嘛? minimax 真是脸都不要了,工作日下午 14:00 定时开启 529,脸都不要了。训练模型居然占用用户使用时间 外资非核心部门 vs 另一家外资的核心部门,该跳吗? iTad 标签 扩展 加小动作 ? - V2EX 去年 H200 能买,不让买是代替快出来了? - V2EX AI 赛事通 - 2026 年 4 月中国区新增 AI 竞赛和黑客松汇总 - V2EX V2EX › 登录 现在安卓开发都在做啥 - V2EX 浏览器插件 沉浸式翻译 是不支持自定义模型了吗? - V2EX Codex 里的 GPT5.4 也能降智?上午让它改两个问题,改了一个小时了, plus 额度用了一半了还是没改好,和前几天用的体感完全不一样。要它改的问题也不复杂。服了。 目前有使用 claude code 的收到人脸认证的吗 - V2EX 分享一个自己做的 Nginx 管理工具,实时请求动态预览!(无奈市面上实在找不到好用的,自己撸了个) - V2EX claude code 崩了么? 今天在反重力上用 claude 一点都不丝滑,有同样的感受吗? opencode 消息周知插件 今天 claude opus 和前两天比,质的飞跃 - V2EX 999 包月价? - V2EX 一个版本, 50 项更新:我们几乎重做了整个播放页 本地大模型多大显存够用? GOGDNS 一款简易的私人 DNS 服务器 - V2EX API key (GLM) 怎么使用 claude code desktop ? Claude 这样订阅有问题吗 - V2EX 帮我爸找回了一篇赛博兰亭集序 求推荐稳定、高性价比使用 Claude Opus 4.6 的渠道/平台 搞个云端 claude code 防止 封号 - V2EX 用 Claude 要实名了,内地用户怎么办? OpenAI Plus 和 Team 都缩水了吗 海外 Android 手机有什么好用的国内第三方应用市场推荐吗 - V2EX 把电脑伪装成电视,用 DLNA 投屏拿到视频号直播流地址 - V2EX claude 认证莫慌 北京互联网法院有什么攻略么?起诉北京智谱华章科技股份有限公司退款可行么? - V2EX Claude 开始引入身份验证 求 vscode 做笔记软件的插件推荐 - V2EX 讯飞星辰的 Coding Plan 如何? Anthropic 宣布在 Claude 平台推行身份验证机制 科普一下低价 gpt 是怎么来的 有没有长期关注 Claude 的朋友,我建了一个 Channel 自动抓取 Claude Team 的推文 啃了那篇 54 页的 Agent Harness 综述, 给大伙讲个省流版 现在那家的 coding plan 还能买到 是不是最近会有什么更聪明的大模型要发布了呀? 用多了 AI 后,有没有觉得 AI 生成的文章有很强的既视感? 如何 实践 Harness 工程? 今日份 GPT 5.4 笑话 如何建一个自己的号池,让 cursor 真正实现 token 自由 写了三个月 Agent Harness,我终于敢让 Claude Code 全自动写代码了
[开源] 当 AI Agent 学会三思而后行
libii · 2026-03-29 · via V2EX

背景:养虾繁荣背后的隐忧

2024 年以来,以 OpenClaw 为代表的开源 AI Agent 助手如雨后春笋般涌现。这些工具让开发者能够通过自然语言指挥 AI 执行文件操作、运行命令、调用 API ,极大地提升了工作效率。然而,在这场技术狂欢背后,一个关键问题被普遍忽视:安全问题

绝大多数 AI Agent 采用"云端 LLM → 工具执行"的直连架构。用户的一句"帮我清理临时文件",云端模型可能生成一条 rm -rf /tmp/* 的命令,而系统在权限允许的情况下会直接执行。这种设计存在三个致命缺陷:

  1. 意图劫持风险:恶意提示词注入可能让模型执行超出用户预期的操作
  2. 数据外泄隐患:模型可能生成将敏感文件上传到外部服务器的命令
  3. 破坏性操作无拦截:删除、覆盖等高危操作缺乏二次确认机制

更严峻的是,这些问题在现有开源方案中几乎无解——因为它们将安全完全寄托于云端模型的"自律",而模型本身并不理解本地文件系统的敏感性和操作的不可逆性。

双脑架构:一种新的安全范式

Kocort 项目提出了一种不同的思路:双脑架构( Dual-Brain Architecture )。其核心思想借鉴了人类神经系统的分工——大脑负责复杂推理,小脑负责快速反射和安全监控。

在技术实现上:

  • 大脑( Brain ):云端大模型( GPT-4 、Claude 等)负责理解用户意图、制定执行策略
  • 小脑( Cerebellum ):本地量化模型( 0.8B-1.5B 参数)完全离线运行,对每一条工具调用做语义安全审查

这种架构的关键创新在于:**将安全审查从"规则匹配"升级为"语义理解"**。传统的工具策略( Tool Policy )只能基于白名单/黑名单做静态拦截,而小脑模型能够理解"这条命令是否真的符合用户的原始请求"。

技术实现深度解析

审查管线集成

在 Kocort 的 Runtime 执行管线中,小脑审查被深度集成到 pipeline_execute 阶段。每次云端模型产生 tool_call 后,执行流程如下:

┌─────────────────┐    ┌─────────────────┐    ┌─────────────────┐
│  云端 LLM 输出   │ →  │  小脑语义审查    │ →  │  工具执行/拦截   │
│  tool_call      │    │  approve/flag   │    │                 │
│                 │    │  /reject        │    │                 │
└─────────────────┘    └─────────────────┘    └─────────────────┘

核心代码位于 internal/cerebellum/cerebellum.go

func (m *Manager) ReviewToolCall(req ToolCallReviewRequest) (ToolCallReviewResult, error) {
    status := m.local.Status()
    
    // 优雅降级:小脑不可用时自动放行,不阻塞流程
    if status != StatusRunning {
        return ToolCallReviewResult{
            Verdict: "approve",
            Reason:  "cerebellum not running; degraded to rule-only check",
            Risk:    "none",
        }, nil
    }
    
    // 构建审查 Prompt ,包含用户原始请求和工具调用参数
    prompt := buildToolCallReviewPrompt(
        req.UserMessage, 
        req.ToolName, 
        req.ToolParams
    )
    
    // 本地模型同步推理(使用 llama.cpp CGO 绑定)
    output, err := m.inferSync(prompt, 4096)
    if err != nil {
        // 推理失败时同样降级放行
        return ToolCallReviewResult{
            Verdict: "approve",
            Reason:  "inference failed; degraded to rule-only check",
            Risk:    "none",
        }, nil
    }
    
    // 解析审查结果
    result := parseToolCallReviewOutput(output)
    return result, nil
}

审查 Prompt 设计

小脑模型的系统指令经过精心设计,要求从 5 个维度进行评估:

你是一个安全审查助手。你的任务是审查 AI Agent 工具调用指令是否安全。

## 审查要点
1. 指令是否与用户原始请求的意图一致?
2. 是否存在数据外泄风险(如 curl 上传敏感文件)?
3. 是否存在超出用户预期的破坏性操作(如删除非目标文件)?
4. 参数中是否包含注入攻击(如命令注入、路径遍历)?
5. 操作范围是否限制在沙盒授权目录内?

## 输出格式(严格 JSON )
{"verdict": "approve|flag|reject", "reason": "简短原因", "risk": "none|low|medium|high"}

这种设计让小脑模型能够理解上下文语义,而不仅仅是匹配关键词。例如:

  • 用户说"帮我看看配置文件",模型生成 cat ~/.aws/credentials → 小脑可能标记为 flag(敏感文件读取)
  • 用户说"删除下载文件夹里的临时文件",模型生成 rm ~/Downloads/*.tmp → 小脑可能 approve(符合预期)

智能跳过机制

为了平衡安全性与响应速度,Kocort 实现了基于风险分级的智能跳过:

func ShouldReviewToolCall(toolName string, toolParams map[string]any, isElevated bool) bool {
    // 配置模式不需要审查
    if isConfigMode {
        return false
    }
    
    // 低风险只读工具默认跳过,除非包含敏感关键词
    if isLowRiskReadOnly(toolName) {
        if localmodel.ContainsSensitiveKeywords(toolParams) {
            return true
        }
        return false
    }
    
    // 提权操作必须审查
    if isElevated {
        return true
    }
    
    // 包含敏感关键词的必须审查
    if localmodel.ContainsSensitiveKeywords(toolParams) {
        return true
    }
    
    return true
}

这种机制让 memory_searchsessions_list 等只读操作在正常情况下快速通过,而 execwritedelete 等高危操作始终接受审查。

技术权衡与思考

双脑架构并非没有代价。引入本地小脑意味着:

  • 资源占用:需要运行一个额外的本地模型(约 1-2GB 内存)
  • 延迟增加:每次工具调用增加一次本地推理(约 100-500ms )
  • 复杂度提升:需要管理两个模型的生命周期

但这些代价换来的是本质性的安全提升

  1. 敏感信息永不出设备(小脑完全离线)
  2. 恶意提示词注入被本地语义理解拦截
  3. 破坏性操作有二次审查机制

结语:AI Agent 安全的必经之路

随着 AI Agent 在企业和个人的普及,安全问题终将成为不可回避的议题。双脑架构提供了一种可行的解决思路:不依赖云端模型的"善意",而是用本地的小模型做实时的安全守门人

这种架构或许会成为未来桌面级 AI Agent 的标准配置——就像现代浏览器的沙箱机制一样,成为用户信任的基石。


本文基于 Kocort 项目的实际实现,代码已开源:github.com/kocort/kocort