工具1 ace 站内应该是鼎鼎大名的了:
目前使用的是 ace-tool-rs , 不过我让codex 对其做了 cli + skills 化改造
工具2 MinishLab/semble , 站内讨论较少
测试仓库是 4.1 泄露的claude 源码

测试结果摘要:

完整测试报告:

代码检索 skill 对比测试报告

测试对象：当前项目源码。

测试对象 skill：

• ace-codebase-search：通过 ace-tool-rs search-context 执行。
• semble-search：通过 semble search 执行，参数为 --top-k 5。

评分方法：每轮设定一个检索目标与一条提示词；以预期源码文件是否出现在结果中衡量命中，记录首次命中排名、耗时与前 5 个候选结果。

汇总

质量胜出：

• ACE 更靠前：2 轮
• Semble 更靠前：8 轮
• 命中排名相同：10 轮
• 均未命中：0 轮

速度胜出：

• ACE 更快：20 轮
• Semble 更快：0 轮
• 耗时相同：0 轮

结论：如果优先考虑定位准确性，semble-search 更合适；如果优先考虑响应速度，ace-codebase-search 更合适。

每轮测试明细

第 1 轮

检索目标：定位 MCP add 子命令入口、transport 参数解析与服务器配置保存逻辑。

提示词：

MCP add CLI subcommand that parses transport options and saves server configuration

期望命中文件：

• src/commands/mcp/addCommand.ts
• src/commands/mcp/mcp.tsx

结果摘要：

• ACE：首次命中排名 1，耗时 4.71 秒。
• Semble：首次命中排名 1，耗时 8.37 秒。
• 质量判断：命中排名相同。

ACE 前 5 个候选结果：

1. src/commands/mcp/addCommand.ts
2. src/services/mcp/utils.ts
3. src/commands/mcp/xaaIdpCommand.ts
4. src/utils/plugins/mcpPluginIntegration.ts
5. src/cli/transports/transportUtils.ts

Semble 前 5 个候选结果：

1. src/commands/mcp/addCommand.ts
2. src/main.tsx
3. src/services/mcp/config.ts
4. src/cli/handlers/mcp.tsx
5. src/services/mcp/SdkControlTransport.ts

第 2 轮

检索目标：定位 MCP 服务器配置中 allowedMcpServers 与 deniedMcpServers 托管策略过滤逻辑。

提示词：

filter MCP server configs by allowedMcpServers deniedMcpServers managed policy

期望命中文件：

• src/services/mcp/config.ts

结果摘要：

• ACE：首次命中排名 未命中，耗时 4.31 秒。
• Semble：首次命中排名 1，耗时 8.47 秒。
• 质量判断：Semble 更靠前。

ACE 前 5 个候选结果：

1. src/tools.ts
2. src/services/mcp/channelPermissions.ts
3. src/services/mcp/utils.ts
4. src/utils/plugins/marketplaceHelpers.ts
5. src/services/mcp/channelNotification.ts

Semble 前 5 个候选结果：

1. src/services/mcp/config.ts
2. src/main.tsx
3. src/utils/settings/types.ts
4. src/cli/print.ts
5. src/migrations/migrateEnableAllProjectMcpServersToSettings.ts

第 3 轮

检索目标：定位 MCP 工具完整名称构造、服务名规范化与反向解析相关逻辑。

提示词：

build fully qualified MCP tool name mcp__server__tool and normalize server name

期望命中文件：

• src/services/mcp/mcpStringUtils.ts
• src/services/mcp/normalization.ts

结果摘要：

• ACE：首次命中排名 1，耗时 4.12 秒。
• Semble：首次命中排名 1，耗时 8.62 秒。
• 质量判断：命中排名相同。

ACE 前 5 个候选结果：

1. src/services/mcp/mcpStringUtils.ts
2. src/services/mcp/normalization.ts
3. src/services/mcp/utils.ts
4. src/tools/McpAuthTool/McpAuthTool.ts
5. src/components/mcp/MCPStdioServerMenu.tsx

Semble 前 5 个候选结果：

1. src/services/mcp/mcpStringUtils.ts
2. src/services/mcp/client.ts
3. src/services/mcp/utils.ts
4. src/services/tools/toolExecution.ts
5. src/utils/settings/permissionValidation.ts

第 4 轮

检索目标：定位 Bash 工具只读命令校验、危险命令提示与权限控制逻辑。

提示词：

Bash tool validates read-only commands and blocks destructive shell commands

期望命中文件：

• src/tools/BashTool/readOnlyValidation.ts
• src/tools/BashTool/destructiveCommandWarning.ts
• src/tools/BashTool/bashSecurity.ts
• src/tools/BashTool/bashPermissions.ts
• src/tools/BashTool/BashTool.tsx

结果摘要：

• ACE：首次命中排名 2，耗时 4.59 秒。
• Semble：首次命中排名 2，耗时 8.58 秒。
• 质量判断：命中排名相同。

ACE 前 5 个候选结果：

1. src/tools/BashTool/modeValidation.ts
2. src/tools/BashTool/destructiveCommandWarning.ts
3. src/tools/BashTool/shouldUseSandbox.ts
4. src/tools/PowerShellTool/modeValidation.ts
5. src/tools/BashTool/utils.ts

Semble 前 5 个候选结果：

1. src/utils/shell/readOnlyCommandValidation.ts
2. src/tools/BashTool/readOnlyValidation.ts
3. src/tools/BashTool/prompt.ts
4. src/utils/promptShellExecution.ts
5. src/tools/PowerShellTool/readOnlyValidation.ts

第 5 轮

检索目标：定位 sed 编辑命令解析与替换校验逻辑。

提示词：

parse sed edit commands and validate sed replacements for the shell tool

期望命中文件：

• src/tools/BashTool/sedEditParser.ts
• src/tools/BashTool/sedValidation.ts

结果摘要：

• ACE：首次命中排名 1，耗时 4.24 秒。
• Semble：首次命中排名 1，耗时 10.97 秒。
• 质量判断：命中排名相同。

ACE 前 5 个候选结果：

1. src/tools/BashTool/sedEditParser.ts
2. src/tools/BashTool/modeValidation.ts
3. src/tools/BashTool/shouldUseSandbox.ts
4. src/utils/settings/permissionValidation.ts
5. src/utils/bash/ShellSnapshot.ts

Semble 前 5 个候选结果：

1. src/tools/BashTool/sedEditParser.ts
2. src/tools/BashTool/sedValidation.ts
3. src/tools/BashTool/BashTool.tsx
4. src/tools/BashTool/pathValidation.ts
5. src/tools/BashTool/prompt.ts

第 6 轮

检索目标：定位 FileEdit 精确字符串替换、编辑校验与 diff 展示逻辑。

提示词：

File edit tool replaces exact strings and shows diff before applying edits

期望命中文件：

• src/tools/FileEditTool/FileEditTool.ts
• src/tools/FileEditTool/utils.ts
• src/tools/FileEditTool/UI.tsx

结果摘要：

• ACE：首次命中排名 1，耗时 4.27 秒。
• Semble：首次命中排名 1，耗时 10.17 秒。
• 质量判断：命中排名相同。

ACE 前 5 个候选结果：

1. src/tools/FileEditTool/utils.ts
2. src/components/permissions/FileEditPermissionRequest/FileEditPermissionRequest.tsx
3. src/components/permissions/FileWritePermissionRequest/FileWritePermissionRequest.tsx
4. src/tools/FileEditTool/prompt.ts
5. src/tools/NotebookEditTool/NotebookEditTool.ts

Semble 前 5 个候选结果：

1. src/tools/FileEditTool/utils.ts
2. src/components/FileEditToolDiff.tsx
3. src/tools/FileEditTool/UI.tsx
4. src/components/permissions/FileEditPermissionRequest/FileEditPermissionRequest.tsx
5. src/components/permissions/FilePermissionDialog/ideDiffConfig.ts

第 7 轮

检索目标：定位 FileRead 图片处理、大文件读取与行数限制逻辑。

提示词：

Read file tool processes images and enforces large file line limits

期望命中文件：

• src/tools/FileReadTool/FileReadTool.ts
• src/tools/FileReadTool/imageProcessor.ts
• src/tools/FileReadTool/limits.ts

结果摘要：

• ACE：首次命中排名 1，耗时 4.19 秒。
• Semble：首次命中排名 1，耗时 10.04 秒。
• 质量判断：命中排名相同。

ACE 前 5 个候选结果：

1. src/tools/FileReadTool/limits.ts
2. src/utils/readEditContext.ts
3. src/tools/FileReadTool/prompt.ts
4. src/utils/json.ts
5. src/utils/file.ts

Semble 前 5 个候选结果：

1. src/tools/FileReadTool/FileReadTool.ts
2. src/tools/FileReadTool/prompt.ts
3. src/utils/readFileInRange.ts
4. src/utils/attachments.ts
5. src/tools/FileWriteTool/prompt.ts

第 8 轮

检索目标：定位 Glob 文件模式搜索、结果截断与按修改时间排序逻辑。

提示词：

Glob tool searches files by pattern and sorts results by modification time

期望命中文件：

• src/tools/GlobTool/GlobTool.ts
• src/tools/GlobTool/prompt.ts
• src/tools/GlobTool/UI.tsx

结果摘要：

• ACE：首次命中排名 未命中，耗时 4.37 秒。
• Semble：首次命中排名 1，耗时 10.07 秒。
• 质量判断：Semble 更靠前。

ACE 前 5 个候选结果：

1. src/components/GlobalSearchDialog.tsx
2. src/utils/markdownConfigLoader.ts
3. src/memdir/memdir.ts
4. src/utils/ripgrep.ts
5. src/tools.ts

Semble 前 5 个候选结果：

1. src/tools/GlobTool/GlobTool.ts
2. src/tools/GlobTool/prompt.ts
3. src/tools/GrepTool/GrepTool.ts
4. src/tools/GrepTool/prompt.ts
5. src/utils/glob.ts

第 9 轮

检索目标：定位 Grep 对 ripgrep 的封装、glob 过滤与输出模式处理逻辑。

提示词：

Grep tool wraps ripgrep and supports glob filtering and output modes

期望命中文件：

• src/tools/GrepTool/GrepTool.ts
• src/tools/GrepTool/prompt.ts
• src/tools/GrepTool/UI.tsx

结果摘要：

• ACE：首次命中排名 3，耗时 3.66 秒。
• Semble：首次命中排名 1，耗时 10.01 秒。
• 质量判断：Semble 更靠前。

ACE 前 5 个候选结果：

1. src/utils/ripgrep.ts
2. src/components/GlobalSearchDialog.tsx
3. src/tools/GrepTool/UI.tsx
4. src/tools/AgentTool/built-in/claudeCodeGuideAgent.ts
5. src/tools/PowerShellTool/prompt.ts

Semble 前 5 个候选结果：

1. src/tools/GrepTool/GrepTool.ts
2. src/tools/GrepTool/prompt.ts
3. src/utils/bash/ShellSnapshot.ts
4. src/tools/GlobTool/GlobTool.ts
5. src/tools/BashTool/prompt.ts

第 10 轮

检索目标：定位 TodoWrite 任务列表输入 schema、状态与优先级校验逻辑。

提示词：

Todo write tool validates task status priority list schema

期望命中文件：

• src/tools/TodoWriteTool/TodoWriteTool.ts
• src/tools/TodoWriteTool/constants.ts
• src/tools/TodoWriteTool/prompt.ts

结果摘要：

• ACE：首次命中排名 10，耗时 3.93 秒。
• Semble：首次命中排名 2，耗时 10.03 秒。
• 质量判断：Semble 更靠前。

ACE 前 5 个候选结果：

1. src/utils/todo/types.ts
2. src/tools/TaskListTool/TaskListTool.ts
3. src/tools/ScheduleCronTool/CronCreateTool.ts
4. src/tools/LSPTool/schemas.ts
5. src/tools/SyntheticOutputTool/SyntheticOutputTool.ts

Semble 前 5 个候选结果：

1. src/tools/TaskListTool/TaskListTool.ts
2. src/tools/TodoWriteTool/TodoWriteTool.ts
3. src/tools/TaskGetTool/TaskGetTool.ts
4. src/tools/TodoWriteTool/prompt.ts
5. src/tools/TaskUpdateTool/TaskUpdateTool.ts

第 11 轮

检索目标：定位 token、价格与总费用统计逻辑。

提示词：

cost tracking tracks tokens pricing and total API cost

期望命中文件：

• src/cost-tracker.ts
• src/costHook.ts
• src/commands/cost/cost.ts

结果摘要：

• ACE：首次命中排名 1，耗时 4.40 秒。
• Semble：首次命中排名 1，耗时 10.18 秒。
• 质量判断：命中排名相同。

ACE 前 5 个候选结果：

1. src/cost-tracker.ts
2. src/utils/modelCost.ts
3. src/commands/cost/cost.ts
4. src/costHook.ts

Semble 前 5 个候选结果：

1. src/cost-tracker.ts
2. src/utils/modelCost.ts
3. src/services/api/claude.ts
4. src/services/api/logging.ts
5. src/components/StatusLine.tsx

第 12 轮

检索目标：定位 login 命令的 OAuth 与 key 认证流程。

提示词：

login command UI OAuth API key authentication flow

期望命中文件：

• src/commands/login/login.tsx
• src/commands/login/index.ts
• src/cli/handlers/auth.ts

结果摘要：

• ACE：首次命中排名 1，耗时 4.68 秒。
• Semble：首次命中排名 4，耗时 10.84 秒。
• 质量判断：ACE 更靠前。

ACE 前 5 个候选结果：

1. src/commands/login/index.ts
2. src/commands/install-github-app/OAuthFlowStep.tsx
3. src/commands/mcp/xaaIdpCommand.ts
4. src/services/oauth/index.ts
5. src/commands/extra-usage/extra-usage.tsx

Semble 前 5 个候选结果：

1. src/commands/install-github-app/OAuthFlowStep.tsx
2. src/components/ConsoleOAuthFlow.tsx
3. src/commands/init-verifiers.ts
4. src/cli/handlers/auth.ts
5. src/services/policyLimits/index.ts

第 13 轮

检索目标：定位 logout 命令清理凭据与账户信息的逻辑。

提示词：

logout command removes credentials and organization accounts

期望命中文件：

• src/commands/logout/logout.tsx
• src/commands/logout/index.ts

结果摘要：

• ACE：首次命中排名 1，耗时 4.20 秒。
• Semble：首次命中排名 1，耗时 10.20 秒。
• 质量判断：命中排名相同。

ACE 前 5 个候选结果：

1. src/commands/logout/logout.tsx
2. src/commands/exit/exit.tsx
3. src/commands/mcp/xaaIdpCommand.ts
4. src/commands/login/index.ts
5. src/commands/extra-usage/extra-usage.tsx

Semble 前 5 个候选结果：

1. src/commands/logout/index.ts
2. src/cli/handlers/auth.ts
3. src/utils/auth.ts
4. src/commands/init-verifiers.ts
5. src/main.tsx

第 14 轮

检索目标：定位 model 命令的模型选择与配置写入逻辑。

提示词：

model command selects model and writes model configuration

期望命中文件：

• src/commands/model/model.tsx
• src/commands/model/index.ts

结果摘要：

• ACE：首次命中排名 1，耗时 4.72 秒。
• Semble：首次命中排名 1，耗时 10.40 秒。
• 质量判断：命中排名相同。

ACE 前 5 个候选结果：

1. src/commands/model/index.ts
2. src/utils/model/configs.ts
3. src/commands/vim/vim.ts
4. src/tools/ConfigTool/ConfigTool.ts
5. src/tools/ConfigTool/prompt.ts

Semble 前 5 个候选结果：

1. src/commands/model/index.ts
2. src/utils/model/model.ts
3. src/tools/ConfigTool/prompt.ts
4. src/commands/model/model.tsx
5. src/utils/settings/types.ts

第 15 轮

检索目标：定位 hooks 命令配置事件回调与 shell hook 的逻辑。

提示词：

hooks command configures shell hooks for events

期望命中文件：

• src/commands/hooks/hooks.tsx
• src/commands/hooks/index.ts

结果摘要：

• ACE：首次命中排名 5，耗时 4.15 秒。
• Semble：首次命中排名 1，耗时 10.30 秒。
• 质量判断：Semble 更靠前。

ACE 前 5 个候选结果：

1. src/commands/init.ts
2. src/schemas/hooks.ts
3. src/utils/hooks/hooksConfigManager.ts
4. src/utils/hooks/hooksSettings.ts
5. src/commands/hooks/hooks.tsx

Semble 前 5 个候选结果：

1. src/commands/hooks/index.ts
2. src/utils/hooks.ts
3. src/utils/hooks/AsyncHookRegistry.ts
4. src/schemas/hooks.ts
5. src/skills/bundled/updateConfig.ts

第 16 轮

检索目标：定位 statusline 命令设置流程与终端状态栏渲染逻辑。

提示词：

statusline command setup and render terminal status line

期望命中文件：

• src/commands/statusline.tsx
• src/commands/status/status.tsx
• src/commands/status/index.ts

结果摘要：

• ACE：首次命中排名 5，耗时 4.12 秒。
• Semble：首次命中排名 2，耗时 10.39 秒。
• 质量判断：Semble 更靠前。

ACE 前 5 个候选结果：

1. src/tools/AgentTool/built-in/statuslineSetup.ts
2. src/ink/hooks/use-tab-status.ts
3. src/utils/terminalPanel.ts
4. src/bridge/bridgeUI.ts
5. src/commands/status/status.tsx

Semble 前 5 个候选结果：

1. src/components/StatusLine.tsx
2. src/commands/statusline.tsx
3. src/tools/AgentTool/built-in/statuslineSetup.ts
4. src/commands/terminalSetup/terminalSetup.tsx
5. src/commands.ts

第 17 轮

检索目标：定位 plugin 市场浏览、安装、启用、禁用与管理逻辑。

提示词：

plugin marketplace browsing installing enabling disabling plugins

期望命中文件：

• src/commands/plugin/plugin.tsx
• src/commands/plugin/BrowseMarketplace.tsx
• src/commands/plugin/ManagePlugins.tsx
• src/commands/plugin/PluginOptionsFlow.tsx

结果摘要：

• ACE：首次命中排名 未命中，耗时 4.33 秒。
• Semble：首次命中排名 4，耗时 11.56 秒。
• 质量判断：Semble 更靠前。

ACE 前 5 个候选结果：

1. src/services/plugins/pluginCliCommands.ts
2. src/plugins/builtinPlugins.ts
3. src/utils/plugins/pluginBlocklist.ts
4. src/commands/plugin/AddMarketplace.tsx
5. src/utils/plugins/headlessPluginInstall.ts

Semble 前 5 个候选结果：

1. src/services/plugins/pluginOperations.ts
2. src/utils/plugins/pluginInstallationHelpers.ts
3. src/commands/thinkback/thinkback.tsx
4. src/commands/plugin/BrowseMarketplace.tsx
5. src/commands/plugin/ManagePlugins.tsx

第 18 轮

检索目标：定位 LSP 客户端、诊断注册表与被动反馈逻辑。

提示词：

LSP client diagnostic registry and passive feedback

期望命中文件：

• src/services/lsp/LSPClient.ts
• src/services/lsp/LSPDiagnosticRegistry.ts
• src/services/lsp/passiveFeedback.ts
• src/tools/LSPTool/LSPTool.ts

结果摘要：

• ACE：首次命中排名 1，耗时 4.78 秒。
• Semble：首次命中排名 1，耗时 12.41 秒。
• 质量判断：命中排名相同。

ACE 前 5 个候选结果：

1. src/services/lsp/LSPDiagnosticRegistry.ts
2. src/services/lsp/passiveFeedback.ts

Semble 前 5 个候选结果：

1. src/services/lsp/passiveFeedback.ts
2. src/services/lsp/LSPDiagnosticRegistry.ts
3. src/utils/attachments.ts

第 19 轮

检索目标：定位 remote bridge 的轮询配置、会话创建、受信设备、JWT 与 work secret 逻辑。

提示词：

remote bridge polling configuration create session trusted device JWT work secret

期望命中文件：

• src/bridge/createSession.ts
• src/bridge/pollConfig.ts
• src/bridge/jwtUtils.ts
• src/bridge/trustedDevice.ts
• src/bridge/workSecret.ts

结果摘要：

• ACE：首次命中排名 3，耗时 4.28 秒。
• Semble：首次命中排名 1，耗时 10.91 秒。
• 质量判断：Semble 更靠前。

ACE 前 5 个候选结果：

1. src/bridge/pollConfigDefaults.ts
2. src/bridge/envLessBridgeConfig.ts
3. src/bridge/pollConfig.ts
4. src/bridge/codeSessionApi.ts
5. src/bridge/types.ts

Semble 前 5 个候选结果：

1. src/bridge/trustedDevice.ts
2. src/bridge/remoteBridgeCore.ts
3. src/bridge/codeSessionApi.ts
4. src/bridge/bridgeMain.ts
5. src/bridge/bridgeApi.ts

第 20 轮

检索目标：定位 AgentTool 创建子任务、运行内置 agent 与恢复 agent 会话逻辑。

提示词：

agent tool forks subagents runs built-in agents and resumes agent sessions

期望命中文件：

• src/tools/AgentTool/AgentTool.tsx
• src/tools/AgentTool/forkSubagent.ts
• src/tools/AgentTool/runAgent.ts
• src/tools/AgentTool/resumeAgent.ts
• src/tools/AgentTool/builtInAgents.ts

结果摘要：

• ACE：首次命中排名 1，耗时 4.15 秒。
• Semble：首次命中排名 3，耗时 11.03 秒。
• 质量判断：ACE 更靠前。

ACE 前 5 个候选结果：

1. src/tools/AgentTool/forkSubagent.ts
2. src/tools/AgentTool/resumeAgent.ts
3. src/tools/AgentTool/loadAgentsDir.ts
4. src/tools/AgentTool/prompt.ts
5. src/tools/AgentTool/built-in/planAgent.ts

Semble 前 5 个候选结果：

1. src/tools/AgentTool/loadAgentsDir.ts
2. src/utils/agentContext.ts
3. src/tools/AgentTool/runAgent.ts
4. src/tools/AgentTool/built-in/claudeCodeGuideAgent.ts
5. src/tools/AgentTool/AgentTool.tsx