卷积神经网络中的卷积核是学习得来，还是预定义好的

Question

如题所述

Answer 1

学习得来的。

一开始卷积核（参数W和b）都被“初始化”成很小的“随机值”。LeCun和Bengio教授的文章中建议在处理图像问题时，可以选择将W和b按照~U（-sqrt(3/k)，sqrt(3/k)）初始化。其中k是W和b的连接总数。假如滤波器的大小是4*4，那么k为16，U表示均匀分布，sqrt(*)为平方根运算。当然这个都是从经验出发的建议，并没有很明确的理论依据，如果有兴趣可以往这方面研究。

在使用训练数据对网络进行BP训练时，W和b的值都会往局部最优的方向更新，直至算法收敛。

所以卷积神经网络中的卷积核是从训练数据中学习得来的，当然为使得算法正常运行，你需要给定一个初始值。

深入细节可参考：http://deeplearning.net/tutorial/lenet.html