惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Jina AI
Jina AI
T
The Blog of Author Tim Ferriss
B
Blog
L
LangChain Blog
Y
Y Combinator Blog
美团技术团队
博客园 - 三生石上(FineUI控件)
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
G
Google Developers Blog
量子位
博客园_首页
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
C
Check Point Blog
D
Docker
小众软件
小众软件
The Cloudflare Blog
大猫的无限游戏
大猫的无限游戏
T
Tailwind CSS Blog
Apple Machine Learning Research
Apple Machine Learning Research
博客园 - 聂微东
Blog — PlanetScale
Blog — PlanetScale
GbyAI
GbyAI
Google DeepMind News
Google DeepMind News
IT之家
IT之家

博客园 - T.t.T!Ck.¢#

博文阅读密码验证 - 博客园 博文阅读密码验证 - 博客园 人工神经网络(Artificial Neural Netwroks)笔记-模拟退火算法(Simulated Annealing) 人工神经网络(Artificial Neural Netwroks)笔记-径向基函数(Radial Basis Function- RBF) 识别地图上的地名-- 笔记一 人工神经网络(Artificial Neural Netwroks)笔记-基本的非确定性统计训练算法 - T.t.T!Ck.¢# 人工神经网络(Artificial Neural Netwroks)笔记 人工神经网络(Artificial Neural Netwroks)笔记-消除样本顺序的BP算法 博文阅读密码验证 - 博客园 人工神经网络(Artificial Neural Netwroks)笔记-连续多输出感知器算法 人工神经网络(Artificial Neural Netwroks)笔记--离散多输出感知器训练算法 博文阅读密码验证 - 博客园 人工神经网络(Artificial Neural Netwroks)笔记-离散单输出感知器算法 Mutual Information 互信息的应用 BeIT Memcached web页面列表的内容抽取 文本相似度计算--余弦定理和广义Jaccard系数 倒排序索引实验 坏事做尽--通过修改IL获取某资源文件 - T.t.T!Ck.¢# - 博客园
人工神经网络(Artificial Neural Netwroks)笔记-粒子群优化(P...
T.t.T!Ck.¢# · 2008-08-28 · via 博客园 - T.t.T!Ck.¢#

关于粒子群优化的内容可以通过搜索得到。
下面主要是个人对于粒子群优化的一点理解,以及应用于BP神经网络中做权重的调整
原文在:http://baike.baidu.com/view/1531379.htm
引用下面一些内容
===============我是引用的分界线=================
粒子根据如下的公式来更新自己的速度和新的位置
v[] = w * v[] + c1 * rand() * (pbest[] - present[]) + c2 * rand() * (gbest[] - present[])
present[] = persent[] + v[]
v[] 是粒子的速度, w是惯性权重,persent[] 是当前粒子的位置. pbest[] and gbest[] 如前定义 rand () 是介于(0, 1)之间的随机数. c1, c2 是学习因子. 通常 c1 = c2 = 2.
===============我是引用的分界线=================

一般用X表示粒子的位置,V表示粒子的速度
X和V都是向量,因此很容易地就会和BP神经网络的权重联想到一起。
在看PSO和BP神经网络如何结合起来使用的过程中,我一直比较疑惑的就是到底是让X代替权重,还是用V代替权重。或者是用X和V的乘积的。经过多方面的探讨,基本达成共识的就是 用X代替权重。

因为一个粒子就代表了一组权重,如果只是利用一个粒子的话。。。那么gbest[]和pbest[]就没有多大的意义了,起码是只要一个就可以了。因此很多人就把粒子的数目做成10-30个之间。也就是这个结合PSO的BP神经网络有10-30组权重了。一般意义上的BP神经网络就只有一组权重而已。那么这种思想对于神经网络来说就是不只是依赖一组权重来进行最优解的搜索,而是利用多组权重来进行搜索。这样能跳出局部最小的机会已经大了很多了。非常不错的思想。不过计算量已经比一般的BP大很多了,起码变量已经比原来的多了。不过庆幸的是这些变量都是可控制的向量。需要调整的只是几个参数而已。

研究粒子群优化(Partical Swarm Optimization - PSO) 主要是因为之前做的BP神经网络在维度达到100多的时候很容易陷入局部最小,所以不得不考虑如何优化了。
本来想用模拟退火算法来做权重的调整的。但是看了粒子群优化(Partical Swarm Optimization - PSO) 之后觉得这种思想更优。到底是哪里更好了?呵呵。说不出。只是一种感性的理解罢了。

PS:
     我毕竟不是学数学的,我毕竟不是读计算机的,神经网络里面包含的思想与理论很多时候都超出了我的理解。神经网络这么多年的发展,这么多前辈的努力成果,不是我等小辈能马上明白的。顿时感觉压力很大。但是当我对他产生了强烈的兴趣的时候,一种无形的力量驱动着我去不断地去求知。不为什么,只为我喜欢的,我就是想知道。^_^

2008.08.30 更新
        居然现在才搜索到一个系列的文章出来,看完之后更加肯定了我之前的理解了。
        有兴趣的朋友也去看看吧。
         粒子群算法研究