Scalers点评: 机器学习小组是成长会的内部小组,这是成长会机器学习小组第23周学习笔记,也是深度学习第12次的复盘笔记

往期日志: ScalersTalk机器学习小组第22周学习笔记(深度学习-11) ScalersTalk机器学习小组第21周学习笔记(深度学习-10) ScalersTalk机器学习小组第20周学习笔记(深度学习-09) 本周学习情况: 本周(20160808—20160814)的学习内容主要为优达学城deep learning第三周的课程CNN

重点介绍了CNN的两个主要特征:稀疏连接和权值共享,卷积的相关概念,改善卷积网络的几种优化方法:pooling,1×1 convolutions,inception

本周复盘主持是[S67]荣荣

一、稀疏连接和权值共享: 提出背景: 人眼在识别图像时,往往从局部到全局 我们不需要神经网络中的每个结点都掌握全局的知识,因此可以从这里减少需要学习的参数数量 图像一部分的统计特性与其他部分是一样的,所以对于这个图像上的所有位置,都能使用同样的学习特征 基于上述背景,卷积神经网络提出了两个重要观点来改善深度学习系统:稀疏连接和权值共享

下图诠释了cnn中卷积的含义,卷积的过程体现了稀疏连接和权值共享

二、卷积的相关概念: 以图二中的“输入图像-卷积层”的部分为例来解释卷积中的几个概念

patch/kernel patch或kernel也叫卷积核,在图二中体现为输入图像上5×5的矩形切片

卷积核由一组训练好的权重构成,负责在输入图像上滑动,卷积得到相邻卷积层的值

feature map feature map就是卷积层的图像,在图二中,第一个卷积层有64张feature maps,意味着有64个卷积核通过卷积得到了64种新特征,构成了这些feature maps

depth depth体现在以下几处:输入图像可能会有depth,图中的输入图像有三层,可能代表RGB三种颜色;卷积层有depth,这一depth(也叫通道)取决于你想要获得多少种新特征,取决于你有多少个卷积核;卷积核也有depth,这一depth取决于卷积核作用的对象的深度,比如图中5×5的卷积核作用于32x32x3的图像,卷积核的深度即为3,可以表示为5x5x3

stride stride是指移动kernel的步长

由于边缘取样会影响卷积层的面积,移动步长不一定能整除整张图的像素宽度,因此存在两种模式: valid padding:不越过边缘取样

same padding:越过边缘取样

越过边缘的部分自动补零

三、卷积网络: 图四是一个简单的卷积网络

首先是输入一个扁扁宽宽的图像,随着几次卷积过后,特征不断被挖掘,网络越来越具有“深度”,最后连接一个regular neural network即可,这个regular neural network是全连接层和分类器的组合

四、优化方法: Pooling 池化层往往跟在卷积层后面

通过池化的方法将之前卷积层得到的特征图做一个聚合统计,以降低数据规模

池化的目的是为了保持某种不变性(旋转、平移、伸缩等) Max Pooling : 在卷积层上取一个切片,取其中的最大值代表这个切片 优点:不增加需要调整的参数,避免过拟合;通常比其他方法准确 缺点:卷积层设置的stride较小,计算费时;需要更多超参数,如切片的大小,切片步长 Average Pooling:在卷积层上取一个切片,取平均值代表这个切片 Average Pooling更多的保留图像的背景信息,Max Pooling更多的保留纹理信息 1×1 convolutions 采用小卷积核级联大卷积核的方法,来压缩模型的参数量 详情可参见Going Deeper with Convolutions一文 或参考https://www.zhihu.com/question/27393324给出的一个计算样例 inception 通过不同尺度的卷积核并联,增加网络的宽度和深度,但仍保持较低的计算复杂度 与其纠结用哪一种大小的卷积核,3×3?5×5?不如都用上,从而获得各种尺度的卷积核带来的优势,这样会不会参数太多了?不会,因为可以使用1×1 convolutions来压缩参数量,如此一来,就有了inception这种方法

对于某一层图像,可以采用1×1卷积核级联5×5卷积核作为下一层的一些feature maps,再同时采用1×1卷积核级联3×3卷积核的方式,再同时采用只有1×1卷积核的方式,最后用一个Average Pooling对图像做一个池化,为了减少特征图的数量,再级联一个1×1卷积核,将这些不同尺度的卷积核的输出特征做一个累加,即可得到一个拥有众多特征的卷积层

有意入会者请和Scalers直接联系,我和其他会员会和你直接交流关于成长行动等各方面的经验教训

2016年 成长会 持续招募中,参见 做能说会写的持续行动者:ScalersTalk成长会2016年会员计划介绍(2016.3更新)



欢迎投稿 职场/创业方向. 邮箱wangfzcom(AT)163.com:王夫子社区 » [959]ScalersTalk机器学习小组第23周学习笔记(深度学习-12)

点评 0

评论前必须登录!

登陆 注册