惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

大猫的无限游戏
大猫的无限游戏
Webroot Blog
Webroot Blog
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
T
Threat Research - Cisco Blogs
V2EX - 技术
V2EX - 技术
L
LINUX DO - 热门话题
Google DeepMind News
Google DeepMind News
Recorded Future
Recorded Future
S
Schneier on Security
I
InfoQ
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
The GitHub Blog
The GitHub Blog
S
Security @ Cisco Blogs
O
OpenAI News
W
WeLiveSecurity
Vercel News
Vercel News
阮一峰的网络日志
阮一峰的网络日志
Simon Willison's Weblog
Simon Willison's Weblog
人人都是产品经理
人人都是产品经理
Cloudbric
Cloudbric
The Last Watchdog
The Last Watchdog
The Hacker News
The Hacker News
Google Online Security Blog
Google Online Security Blog
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
GbyAI
GbyAI
NISL@THU
NISL@THU
T
Tailwind CSS Blog
V
Visual Studio Blog
PCI Perspectives
PCI Perspectives
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
Jina AI
Jina AI
D
DataBreaches.Net
B
Blog RSS Feed
N
News and Events Feed by Topic
N
News and Events Feed by Topic
H
Heimdal Security Blog
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
腾讯CDC
Latest news
Latest news
V
Vulnerabilities – Threatpost
Hacker News: Ask HN
Hacker News: Ask HN
WordPress大学
WordPress大学
V
V2EX
aimingoo的专栏
aimingoo的专栏
博客园 - 司徒正美
Apple Machine Learning Research
Apple Machine Learning Research
D
Darknet – Hacking Tools, Hacker News & Cyber Security
The Register - Security
The Register - Security
Help Net Security
Help Net Security

smallyu的博客

为什么买的加密货币一定要去中心化 RISC-V 虚拟机无法代替 EVM 虚拟机 Polkadot 的 Existential Deposit 机制错在哪里 利息,套利,交易策略,金融市场 LayerZero 从来不挑战比特币的地位 默认参数引起的以太坊节点运行错误 硬件钱包与资产安全 预测市场比币圈更赌场 为什么去中心化的跨链桥不可能实现 我对于 AI 时代的答案 不要投资任何隐私币 区块链技术世界的三大真理 以太坊 AA 钱包的致命问题是什么 基于 AI 语义执行的 MCP 区块链的设计 一个集成 Geth 和 CometBFT 的兼容层 我的加密货币定投策略(二) DeFi 基础: 理解 AMM 定价机制 Go 语言 GMP 调度器的原理是什么 Web3 项目分析计划 continuation 教程: 理解 CPS 如何开发一个比特币符文(Runes)协议 比特币脚本开发教程 我从王垠的计算机科学视频班学到了什么 区块链技术面试题(2025年版) Rust 语言容易让新手困惑的一个“过度优化” Solana 智能合约开发教程 (1) 尝试开发一个最小 EVM 虚拟机 基于 ZK 的链上身份系统设计 一个 Web3 打赏系统的设计 鼓吹 Cursor 的人技术能力都差 关于 Code Review 的礼节 假如启动一个新的以太坊 PoS 网络 发行加密货币的最好方式 所有 BFT 共识的区块链都是中心化的 对 2025 年区块链行业的预测 Restaking 项目的经济难题 如何看懂任意区块链项目的技术架构 为什么不要做以太坊的二次开发 为什么不要做智能合约开发和 DeFi 开发 我的加密货币定投策略(一) PoS 类型的区块链如何处理分叉 Ethereum Casper 为什么需要 EIP-7251 区块链中的 PBFT 不需要第二次投票 开发者的思维方式 发币的核心要点 炒币投资的小 tips 为什么说 PoW 比 PoS 更加去中心化 牛市对普通人来说意味着什么 如何健康地远程工作 为什么比特币不用概率加密函数 程序员的 “服从权威” 心理 区块链技术面试题 如何区分公有链和联盟链 对 Layer 2 项目创业想法的回复 对区块链共识机制的理解 Pebbling Game 鹅卵石游戏 PDP 文件证明的局限性 不要小瞧 ChatGPT 为什么炒币不是一个好主意 一种在区块链上生成随机数的机制 为什么以太坊的私钥计算不可逆 关于以太坊的私钥碰撞 “猜均值的2/3” dApp 游戏设计 Proof of Storage/Space/Replication 的区别 Proofs of Retrievability 文件证明的含义 对 S-PDP 文件证明的示例和解释 我的加密货币交易机器人 对区块链行业的见闻 随机确认块的共识机制 VRF + BFT 共识引起交易失败的问题 为什么要重视编程思想 对 Web 3.0 的理解 GitBook 好用吗? 一种区块链节点存储扩容的方式 一种基于“自我中心主义”的共识机制 链表常见算法题及解析 基于 Multi-Linked List 的区块链设想 理解哈希函数与序列化 联盟链比公有链差在哪儿 在 Dijkstra 算法中保存路径 为什么数字货币使用区块链是政治问题 区块链:下一代数字身份认证体系的基石 网页技术能实现 3D 建模吗? 给区块链一个定义 从 Erlang 开始了解 Actor 模型 一种侧边导航栏的交互方式 Rust 的 ownership 是什么? Haskell 中的 Monad 是什么? 浅析 Libra 背后的区块链技术 对区块链的理性认识 Rust 基础语法概述 基于 Java 的爬虫框架 WebCollector Kotlin:简化版的 Scala JavaScript 有关联数组吗? 主流编程语言的异常处理机制 Go 语言基本语法 Scala 语法基础 用 Scala 改写 Java 浅度实践 Python 获取海贼王更新信息 HTML5 音乐可视化
对 Psyche Network 项目的分析
2025-08-01 · via smallyu的博客

2025-08-01

项目背景

Psyche Network 是 AI + Web3 赛道的一个项目,由 Nous Research 团队研发,两个月前获得了 Paradigm 机构 5 千万美元的 A 轮融资

Psyche Network 的项目背景在 官方说明文章 里有详细介绍。Nous Research 团队研发出了一种去中心化的算法 DeMo,这种算法能够把大语言模型(LLM)的训练,放到分布式网络里进行,不需要集群服务那种高耦合。就类似比特币挖矿的矿池一样,会把大的计算任务,拆解为小的计算任务,分发给不同的 Client 节点进行计算,计算之后再把结果汇总起来。

当然 LLM 的训练和矿池的挖矿,从算法原理上完全是两码事,这里只是想类比说明便于理解。具体 DeMo 是怎么从算法角度把任务拆解和合并的,可以看 官方的解释,反正我没看懂,就是一堆向量、权重、loss function 什么的术语。关于怎么防止节点提交虚假数据之类,我认为也都在算法的设计范畴,后续就不多讨论算法本身的有效性了。

DeMo 的 论文 里用了 100 billion 的 tokens 做训练测试,得到了比较好的结果。100 B tokens 是什么概念呢,比如 DeekSeek-V3 的 tokens 数量是 15 TB,可见 DeMo 在实验阶段的 tokens 数量级,距离商用产品还差很多。可以对比一些其他模型的 tokens 数量:

模型 参数量 预训练 tokens 数量 公开来源或泄露信息
GPT-3 175 B ≈ 499 B 论文及后续综述
GPT-3.5 175 B 推测 ~1 T 左右
GPT-4 1.7 T ≈ 13 T tokens SemiAnalysis / The Decoder 报告
Llama 3 70 B > 15 T tokens Meta 官方模型卡
DeMo OLMo 1 B 0.1 T tokens(100 B) DeMo 论文

Psyche Network 基于 DeMo 的算法原理,结合区块链来构建分布式网络,第一阶段的目标是训练出 40 B parameters, 20 T tokens 的模型。关于 parameterstokens 这两个指标,我的理解是,parameters 是训练一开始就定义好的固定指标,tokens 则是需要不断进行计算和训练的,而 DeMo 解决的是 tokens 的分布式计算。Psyche Network 官网上有实时显示当前的训练进度,目前已经达到了 1 TB 的 tokens 数量:

这个模型训练完,也许可以接近 GPT-3 的水平。对比来看虽然 tokens 数量比 GPT-3 多,但是 parameters 比 GPT-3 少,所以最终效果应该不如 GPT-3。

项目结构

Psyche Network 的 文档 里有介绍整体的项目结构,比较好理解,有一个中心化的 Coordinator 负责创建训练任务,其余的 Client 负责接收任务、提交任务结果。在没有区块链的场景下,Coordinator 与 Client 之间的通信是通过直接的 TCP 连接完成的。而有了区块链之后,Coordinator 和 Client 之间就是通过区块链来传递消息了。

Psyche Network 的 代码仓库 里同时保留了 centralizeddecentralized 两个版本的代码架构,这其实不太是好事,因为说明这个项目原本可以中心化运行,只是现在在做一些去中心化改造。这样的项目去中心化程度肯定是有限的。

而所谓去中心化版本的部分,Psyche Network 选择了 Solana 来作为运行智能合约的区块链平台,这也许和 Psyche Network 原本的项目就是用 Rust 语言有关。

代码仓库的 decentralized 目录下,有一些 Solana 的合约代码,这些 Solana 合约承担起了创建训练任务、计算每个 Client 节点的奖励、分发奖励的功能。

Psyche Network 目前只是测试网阶段,链上交易也都是在 Solana 的 Devnet 上进行,可以直接看合约文件里的 declare_id!() 语句,里面写的就是合约地址,比如 coordinator 的合约地址是 HR8RN2TP9E9zsi2kjhvPbirJWA1R6L6ruf4xNNGpjU5Y,能在 区块链浏览器 上看到频繁的交易记录。

至于奖励的计算,因为有 Coordinator 这个中心化角色的存在,所以事情比较简单,Coordinator 在收到 Client 地任务结果后进行验证,如果没问题,则发起一笔链上交易,给 Client 记分。具体代码是 这两行

每个 Client 的分数都记录在合约里,Client 想领取奖励,就自己到 treasurer 合约上 claim,treasurer 会根据分数和汇率计算并转账代币。

那么 treasurer 分发的奖励是哪个代币呢?具体代币是 Coordinator 在创建任务的时候 指定的,只要是标准的 SPL 代币都可以。

所以整体来看,Psyche Network 是利用 Solana 区块链来记录任务 Meta 信息、计算任务奖励、分发奖励等。只要 Client 的加入是 permissonless 的,Psyche Network 就确实达到了和宣传一样的效果,让 LLM 模型训练的算力去中心化。

而代币的分发和奖励虽然是区块链项目的常规操作,但是至少附加了公开透明等特性,而且不出意外的话,Psyche Network 最终会走到发币的一步,到时候任务奖励可能全用 Psyche Network 自己的代币进行,或者演变为 LLM 训练的任务平台,任何第三方都可以创建任务和分发奖励之类,像 Eigne Layer 那样。