深度学习网络和普通神经网络的区别
全连接神经网络的缺点
卷积神经网络的错误率
卷积神经网络的发展历程
卷积神经网络的结构
结构特点：
神经网络(neural networks)的基本组成包括输入层、隐藏层、输出层。而卷积神经网络的特点在于隐藏层分为卷积层和池化层(pooling layer，又叫下采样层)。
卷积过程
纠正：卷积层的过滤器，就是一个矩阵，里面的元素是对应扫描时每个像素点的权重
即：每个过滤器会产生一张feature map
0填充的两种方式
卷积核在提取特征映射时的动作称之为padding（零填充），由于移动步长不一定能整出整张图的像素宽度。其中有两种方式，SAME和VALID
彩色图片的卷积过程
由于彩色图片有3个通道，即3张表，所以filter需要分3次去分别观察，每次观察的结果直接相加作为最后的结果
过滤器的个数
有几个过滤器，就会生成几张表。eg：
对于[28, 28, 1]的图片，如果有32个过滤器，就会卷积的结果就为[28, 28, 32]，相当于图片被“拉长”了
观察结果大小的计算
面试可能考
注意：如果计算结果出现小数，需要结合情况具体考虑，而不是说直接四舍五入
卷积的api
在卷积神经网络中，主要使用Relu函数作为激活函数
即在这里使用relu函数去掉了像素中小于0的值
神经网络中为什么要使用激活函数
为什么使用relu而不再使用sigmoid函数？
api
卷积就是进行特征的提取，观察更加仔细，然而，观察仔细就意味着数据多，运算量增加，这就需要使用池化层以减少计算量
Pooling层主要的作用是特征提取，通过去掉Feature Map中不重要的样本，进一步减少参数数量。Pooling的方法很多，最常用的是Max Pooling。
池化层也有一个窗口大小（过滤器）
即：池化过程让图片变得更“窄”
即：卷积层使得图片变长，池化层使得图片变窄，所以经过卷积，图片越来越“细长”
api
池化中SAME的计算方式与卷积过程中SAME的计算方式一样。eg：
[None, 28, 28, 32]的数据，经过2x2，步长为2，padding为SAME的池化，变成了[None, 14, 14, 32]
分析：前面的卷积和池化相当于做特征工程，后面的全连接相当于做特征加权。最后的全连接层在整个卷积神经网络中起到“分类器”的作用。
所以神经网络也相当于是一个特征选择的方式