本文主要研究监督学习，所谓的监督学习就是在给定的，有限的，用于学习的训练数据集合（training data）出发，假设数据是独立同分布产生的；并且假设要学习的模型属于某个集合，即假设空间；我们根据一定的评价准则，从假设空间中选取一个最优的模型，使它对已知的训练数据以及未知的测试数据在给定评价准则下有最优的预测，最优模型的选取由算法实现。 所以统计学习方法有三个要素：模型、策略、算法。
监督学习里要学习的模型就是决策函数或者条件概率分布。
此时不得不提到生成方法以及判别方法。
指定策略的目的就是为了挑选出假设空间中到底哪个模型才是我们真正需要的。此时会用到损失函数以及风险函数的概念。
损失函数越小的话代表模型越好。是随机变量符合联合分布概率，所以损失函数的期望被定义为：
以上是模型关于联合分布的平均意义下的损失，称为风险函数或者期望损失（expected loss）。 但是呢，期望损失不易求解，我们一般用模型关于训练数据集的平均损失来逼近期望损失，即：
经验风险最小化的策略认为，经验风险最小的模型就是最优的模型，于是按照这种定义，我们有：
其中的是假设空间。 最大似然估计就是经验风险最小化的一个例子：当模型为条件概率，损失函数是对数损失时，经验风险最小化就等价于极大似然估计。 根据大数定理可知，当样本容量N趋近于无限时，经验风险趋近于期望风险。但是如果样本数量是有限时，此时会出现过拟合现象，那么这时候需要结构风险的帮助。 结构风险是为了防止过拟合而提出的策略，结构风险最小化等价于正则化（regularization）。其定义是：
其中的是衡量模型复杂度的项，也叫罚项。当模型越复杂时，越大；模型越简单时，越小。 最大后验概率估计（MAP）就是结构风险最小化的一个例子：当模型时条件概率，损失函数是对数损失函数，模型复杂度由先验概率表示时，结构风险最小化就等价于MAP。
监督学习的模型可以分为概率模型与非概率模型，由条件概率分布或者决策函数表示。
算法是指学习模型的具体计算方法： find global optimization solution efficiently.
模型选择的主要方式有：正则化与交叉验证。
在经验风险最小化时已经了解到正则化的由来，正则化就是针对过拟合现象提出的解决策略。
过拟合是指学习模型时选择的模型包含的参数过多，以致于这一模型对已知数据的预测很好，而对未知数据的预测能力变得很差。 以下介绍两种正则化的范数： and
对以及求导如下：
由梯度下降法可知：
注意到过拟合的时候，我们的假设函数要顾及到每一个数据点，模型就会尝试对所有数据点进行拟合，包括一些异常点；此时形成的拟合函数的波动性会非常大，可以看到此时的拟合参数会异常大。通过L2正则化处理可以使这些参数变小，解释如下：
更小的权重，表示网络的复杂组更低，对数据拟合的刚刚好（奥卡姆剃须刀原理）
系数是小于1的，相比于原来的系数等于一，此时的效果相当于就是权值衰减（weight decay）。
L1正则假设参数的先验分布是Laplace分布，可以保证模型的稀疏性，也就是某些参数等于0； L2正则假设参数的先验分布是Gaussian分布，可以保证模型的稳定性，也就是参数的值不会太大或太小
两种正则化的对比：
lasso and ridge regularization
就是将整个数据集切分成三个部分，分别是训练集、验证集和测试集。训练集用来训练模型，验证集用于模型的选择，而测试集用于对学习方法的评估。
但是一般情况下，训练数据是不足的，那么此时可以重复的利用数据，进行反复训练以得到最优模型。
常见的方法有：
最大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”
举个别人博客中的例子，假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。我们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后把拿出来的球再放回罐中。这个过程可以重复，我们可以用记录的球的颜色来估计罐中黑白球的比例。假如在前面的一百次重复记录中，有七十次是白球，请问罐中白球所占的比例最有可能是多少？很多人马上就有答案了：70%。而其后的理论支撑是什么呢？
我们假设罐中白球的比例是，那么黑球的比例就是。因为每抽一个球出来，在记录颜色之后，我们把抽出的球放回了罐中并摇匀，所以每次抽出来的球的颜色服从同一独立分布。这里我们把一次抽出来球的颜色称为一次抽样。题目中在一百次抽样中，七十次是白球的概率，这里Data是所有的数据，M是所给出的模型，表示每次抽出来的球是白色的概率为。如果第一抽样的结果记为，第二抽样的结果记为… 那么。这样，
那么p在取什么值的时候，的值最大呢？将对求导，并其等于零。
解方程可以得到。
最大熵原理使概率学习中的一个准则。学习概率模型时，在所有的可能概率模型（分布）中，熵最大的模型是最好的模型。最大熵原理也可以理解成在满足约束条件的模型中选择熵最大的模型！
其中服从的概率分布为，服从均匀分布时，熵最大。当没有其他已知的约束时，，此时按照最大熵原理，当时，熵最大；此时等概论，等概论意味着对事实的无知，因为没有更多可能的信息，所以此时的判断也是合情合理的。
线性分类器有三大类：感知器准则函数、SVM、Fisher准则，而贝叶斯分类器不是线性分类器。
朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法。NB的核心在于它假设向量的所有分量之间是独立的。在贝叶斯理论系统中，都有一个重要的条件独立性假设：假设所有特征之间相互独立，这样才能将联合概率拆分。 对于由独立产生的训练集而言通过朴素贝叶斯的方法学习这个联合概率分布。大致分两步：
其中的，表示这个样本的维度。
但是在计算条件概率时因为朴素贝叶斯做了条件独立性假设，那么该条件概率分布可以写成：
在实际分类时，对于给定的输入x，通过学习到的模型估计后验概率将后验概率最大的类作为x的类的输出。
因为分母就是的概率，这是不变的。因此我们仅需要知道分子哪个大就可以，也就是：
上式的意思是求解到底是哪些类别能够让最大后验概率最大化。
其中
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。