






















拆解词语,就是条件、随机、场。
这里不能按顺序说,先说场。电场,空间中每个位置都有。这里的场,则是随机变量的场。比如说,一句话里面每个词语的词性都是随机的。一张图上每个像素点所属的类别也都是随机的。
意思是条件变量。条件随机场是给定随机变量X的条件下,随机变量Y的马尔可夫随机场。
1、概率无向图模型是满足成对、局部、全局马尔可夫性的联合概率分布P(Y),这里Y是一组随机变量. (这些马尔可夫性全都等价)
2、概率图里面,结点表示一个随机变量 Y_v.
3、要满足马尔可夫性挺容易,就是如果两个节点之间没有边(或者两团节点之间没有边)那他们必须条件独立.
马尔可夫场的最大特点是易于因子分解。我目前还不知道这玩意有什么用,但是我已经看懂了。
1、最大团是什么
2、势函数
3、Hammersley-Clifford定理 (也就是因子分解定理)
接下来我会写什么。
1、条件随机场的参数化形式、简化形式和矩阵形式。
2、条件随机场的概率计算问题
3、条件随机场的学习算法
4、条件随机场的预测算法
6/1日更新,条件随机场的参数化形式、简化形式和矩阵形式。
P(y\mid x)= \frac{1}{Z(x)} \exp\left( \sum_{i,k}\lambda_k t_k(y_{i-1},y_i,x,i) + \sum_{i,l}\mu_l s_l(y_i,x,i) \right)
Z(x)是规范化因子;t_k和s_l是特征函数;\lambda_k和\mu_l是对应的权值。
具体而言,t_k是定义在边上的特征函数,叫转移特征,s_l是定义在结点上的特征函数,叫状态特征。(两种函数类型的区别可以从自变量看出)特征函数,满足条件取值为0否则为1。这里两种特征函数都依赖位置,所以是局部特征函数。
为什么有\Sigma也很好理解,因为这里是放在指数上了。因子分解带来的连乘变成了连加。
随机条件场完全由特征函数和对应的权值确定。
注意这里是线性链,因为定义在edge上的特征函数的输入是相邻的。
为了完整,把规范化因子的表达式也写在这里,但是不是很重要。
Z(x)= \sum_y \exp\left( \sum_{i,k}\lambda_k t_k(y_{i-1},y_i,x,i) + \sum_{i,l}\mu_l s_l(y_i,x,i) \right)
核心:将局部特征函数转化为全局特征函数。
感觉没啥用,不写公式了。
简单来说就是:把所有特征都装进一个大向量 F(y,x),把所有权重都装进一个大向量 w,然后把内积 w⋅F(y,x) 装进指数函数。上面的参数化形式是很明确的内积形式了,这一步简化比较好理解。
这个内积其实是
E(y,x)=-w\cdot F(y,x)
可以理解成对数势函数或者负能量,这里可以联系马尔科夫随机场的因子分解那里理解。
P_w(y\mid x) = \frac{1}{Z_w(x)} \prod_{i=1}^{n+1} M_i(y_{i-1},y_i\mid x)
其中,
M_i(y_{i-1},y_i\mid x) = \exp\left( W_i(y_{i-1},y_i\mid x) \right)
其中,
W_i(y_{i-1},y_i\mid x) = \sum_{k=1}^{K} w_k f_k(y_{i-1},y_i,x,i)
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。