复习了一下PNN,仍旧是只涉猎了一点浅显的内容,不过还是有新的收获。

概率神经网络围绕的中心是贝叶斯决策理论(使错误率最小)。它是前向传播算法,没有反馈

它分为四层。输入层模式层求和层输出(竞争)层。其中模式层,激活函数是非线性,且神经元多于种类数的是为了把输入映射到高维空间(类似于径向基神经网络),以解决线性不可分的问题,和提高精度。求和层的神经元数等于类别数,激活函数是线性的。

分类器理论,基于贝叶斯决策。即$P(w_i|\vec{x})>P(w_j|\vec{x}) \forall j\neq i \Rightarrow vec{x} \in w_i$,$P(w_i|\vec{x})$是后验概率,即在x向量属于wi类的可能性,把x归为可能性最大的一类。

又$P(w_i|x)=\frac{P(x|w_i)P(w_i)}{\sum_{j=1}^{c}{P(x|w_j)P(w_j)}}$。也可以写成$P(w_i|x)=\frac{P(x|w_i)P(w_i)}{P(x)}$。即后验概率=似然*先验/证据因子

最好所有的_前面都价一个\,有时候会出错。sum的内容也要跟一个{}

计算$P(x|w_i)$。概率密度是难以得到其准确函数的,但是我们可以用估计方法来获得其近似函数。分为参数法非参数法。参数法是预测一个确定的函数形式(如多项式函数),然后通过算法来确定其参数,这种方法实际应用中效果不如非参数法好。在PNN中,应用的即是非参数法中的核方法中的Parzen窗法,另外还有直方图法。选取的核为高斯核(其符合正态分布)。要求是概率密度函数积分为1,积分就不做了,不会。得到$P(\vec{x}|w_i)=\frac{1}{N_i} \sum_{k=1}^{N_i}{\frac{1}{(2 \pi)^{\frac{l}{2} } \sigma^l}e^{-\frac{ {\left|\vec{x}-\vec{x_{ik} }\right|}^2}{2 \sigma^2} } }$。这种方法是基于训练样本的。

LATEX不要把两个{连着了,编译不过,中间插个空格

P(x)和P(w_i)在样本足够大,随机的情况下,是可以得到的。然后就可以计算出后验概率。

求决策函数,因为决策函数只用来比较,不需要知道确切的值,因此可以省略掉后验概率密度函数中的共有项。进而对样本进行归一话后,可以对函数进一步化简。$g_i(\vec{x})=\frac{p(w_i)}{N_i}\sum_{k=1}^{N_i}{e^{-\frac{ {\left|\vec{x}-\vec{x_{ik} }\right|}^2}{2 \sigma^2} }=\frac{p(w_i)}{N_i}\sum_{k=1}^{N_i}e^{\frac{\vec{x}^T\vec{x_{ik} }-1}{\sigma^2} }}$

我仍然不理解的是,PNN比RBF和BP优的原因,不能理解是矩阵运算的低效,不过由于矩阵运算的高度并行化,如果实现算法并行化,肯定能体现出其优势。效率上没有具体数字的呈现,不太能够承认。然而实验能力的不足,没法自己验证。等待以后再来理解吧.

使用图床的目的是为了加速,因为国外网站实在是慢。

首先为上次文章补充:
如果对样式的修改没有刷新,或者标签不能删除等问题,可以删除db.json再重新生成。


使用七牛做图床

申请账号,下载客户端软件,安装,写config.json,填好accesskey和secretkey,注意这个文件不能放到cdn文件夹下去,否则会有安全泄露问题。

qrsync config.json就可以上传了。

七牛的内存管理中可以查到外链地址。

文章中![](http://)即可

  • 话不多说先上两个GIF图。

  • 第一个动画和第二个动画其实都是对时域的周期矩形形波(近似看成矩形波,并不是严格意义的矩形方波)进行傅里叶变换分析。

  • 对于第一个图形来说,它侧重展示变换的本质之一:叠加性,每个圆代表一个谐波分量。

  • 第二个图形则侧重展示离散的频谱图。

  • 但是这两个图形其实都只是展示了周期信号的频谱分析,对应的都是离散谱,而且都只是对一种很特殊的时域波形进行的分析。不过通过这两个动画,想必对傅里叶变化也有了更深刻的印象吧!


原文地址:http://www.guokr.com/post/463448/