最近自己创业需要做大量市场调研，每次都要：搜一堆网页、挨个打开、提炼要点、整理成文档。重复劳动太多，于是花了两周做了这个工具，现在开源出来。

GitHub： https://github.com/finvfamily/farsight

它能做什么

输入一个问题，自动跑完整个调研流水线：

搜索（ Tavily ）→ 抓取正文（自研 HTTP 爬虫）→ 提取洞察（ LLM ）→ 生成报告

实测「 AI 编程工具市场现状」这个 query ，大概 60 秒出报告，包含：

• 结构化正文（自动分节，每节有数据支撑）
• 内联引用，[n] 可点击跳转到来源
• 竞品对比矩阵（识别到是竞品分析意图时自动生成）
• 一键导出 Markdown / 分享链接

技术实现

核心架构是一个 Skill 调度引擎：

collect → parse → analyze → output

同阶段并行，跨阶段串行。每个 Skill 是独立模块，加新数据源只需新建一个文件。

爬虫没有用 Playwright，自己用 fetch + Readability 实现了一个纯 HTTP 爬虫：

• 4 个 UA 轮换降低被拦截概率
• AbortController 超时保护（ 12s/页）
• Readability 提取正文，失败降级为 DOM 文本清洗
• 批量并发 3 个，Promise.allSettled 处理部分失败
• 对 JS 渲染的 SPA 自动降级用搜索 snippet 兜底

LLM 支持 Claude 和 MiniMax 双路由，可以用 LLM_PROVIDER 环境变量切换，或者按任务类型自动选择（规划/合成用 Claude ，提取用 MiniMax 省成本）。

本地跑起来

git clone https://github.com/finvfamily/farsight
cd farsight
pnpm install
cp .env.local.example .env.local   # 填入 ANTHROPIC_API_KEY 和 TAVILY_API_KEY
pnpm dev

Tavily 免费额度 1000 次/月，够用来测试。

欢迎贡献新 Skill

加新数据源非常简单，比如企查查、App Store 评论、36 氪 RSS ，只需要：

1. 在 lib/skills/ 新建一个文件
2. 在 SKILL_MAP 里注册
3. 在 Planner 的 system prompt 里加一行描述

就能被 LLM 自动调度。

项目刚开源，代码还比较粗糙，欢迎 issue 和 PR 。如果觉得有用，star 一下也很感谢 🙏

有问题可以在这里回复，或者直接开 issue 。

发帖建议

• 节点：分享创造 或 程序员
• 配图：附上两张截图（首页场景入口 + 报告页面）
• 时间：工作日早上 9-10 点或晚上 9-10 点发，曝光最高
• 互动：前 30 分钟多回复评论，能显著提升热度排名