来自 互联网 2019-02-13 11:34 的文章
当前位置: 澳门新葡亰亚洲在线 > 互联网 > 正文

好书推荐丨深度学习、优化与识别

  深度学习充满诸多不确定性,除了超参数(隐层个数、每层上隐单元个数和激活函数)和策略技巧外,模块化的贡献愈来愈小,难以区分深度框架的原创性与有效性,而使其逐渐发展为一门“经验调参”学科。亟需从科学(数学分析、物理解释)角度,解剖这一“黑箱”的核心,本书便是从数据、模型、优化目标函数和求解等四方面详述深度学习领域出现的各个经典模型及框架的一个初步探索。

  从单隐层神经网络到深度神经网络模型,迎来了神经网络发展的又一高潮,深度学习及其应用受到了前所未有的重视与关注,世界迎来又一轮人工智能变革的高潮,从谷歌脑到中国脑科学计划,再到互联网+和中国人工智能2.0,人工智能及深度学习也首次写进了2017年全国人民代表大会第十五次会议国务院政府工作报告。深度学习是人工智能及机器学习的一个重要方向,在未来,它将会不断出现激动人心的理论进展和方法实践,深刻影响我们生活的方方面面。

  我们依托智能感知与图像理解教育部重点实验室、智能感知与计算国际联合实验室及智能感知与计算国际联合研究中心于2014年成立了类脑计算与深度学习研究中心,致力于类脑计算与深度学习的基础与应用研究,搭建了多个深度学习应用平台,并在深度学习理论、应用及实现等方面取得了突破性的进展,本书即是我们在该领域研究工作的初步总结。

  生物神经机理 , 网络模型常见的三个问题:一是训练数据量少,待优化参数多,易导致过拟合现象;二是优化目标函数为非凸,可行域上分布着大量的鞍点和局部极值点,故参数初始化策略十分必要;三是优化求解易发生梯度弥散现象。

  解决过拟合现象,深度卷积神经网络约减参数(核心理念:局部链接、权值共享、平移不变—下采样池化操作),结合正则化理论,有效克服过拟合现象; 反卷积神经网络(卷积稀疏编码网络);全卷积神经网络;网络训练技巧:DropOut、批量归一化等。

  理念:逐层学习+精调 ;核心模块:自编码网络(确定性的有稀疏自编码网络、降噪自编码网络、可伸缩性的自编码网络、卷积自编码网络等;概率形式的有变分自编码网络、受限玻尔兹曼机、玻尔兹曼机);详述深度堆栈网络、深度置信网络等。

  深度学习的“深度”理念(注重简洁、其次准确),结合优化算法或机器学习中经典方法(支撑矢量机、主成分分析、独立成分分析、极限学习机、随机森林、稀疏编码、小波分析、多尺度几何分析等等),主要在参数初始化、模型构建多样性等方面充分发挥二者的优势,即“深度”带来的表达能力与经典方法的算法有效性(时效性、凸性)。

  深度生成网络,本书涉及的分为三部分:一是深度贝叶斯网络;二是生成式对抗网络(零和博弈,常见三问题模型稳定性差、生成图片质量低、网络收敛性弱,主要论述深度卷积生成式对抗网络、沃森斯坦距离生成式对抗网络、堆栈生成式对抗网络和对偶生成式对抗网络);三是变分自编码网络。

  从实数域到复数域,将深度卷积神经网络延拓至深度复卷积神经网络;另外为了改善实数域上的数值计算,将其改为二值运算(注意不是二元域上的逻辑操作),使得算法复杂度有效的得到降低。

  自然语言处理(问答系统,图片标注、唇语识别等等),最为经典的技术——深度循环神经网络(Valliena网络和长短时记忆网络LSTM)和深度递归神经网络。

  深度学习具有强大的感知能力,结合强化学习的决策能力,在诸多经典的游戏(围棋)上形成“超人”的算法(如计算机围棋程序AlphaGo及其升级版Master等)。

  当前,深度学习的热潮得益于大规模数据、网络模型设计与优化算法求解、硬件加速等三个核心方面的有效结合。其中硬件加速带来深度学习平台的迅猛发展,常用5大主流深度学习平台有Caffe、TensorFlow、MXNet、Torch和Theano(Keras)。

  从光学图像到卫星影像分类任务的延拓,再从特征工程(包括特征提取与特征筛选,强调带有数据先验下的人工特征设计)到特征学习(较少的依赖数据中的先验特性)的过渡,深度神经网络显示出强大的表征能力与泛化性能。

  变化检测是一个确定和评价各种地表现象随时间发生变化的过程。检测出两幅SAR影像之间发生变化的区域。根据具体的应用,对检测结果进行分析。本章从深度神经网络的模型出发,为解决SAR图像变化检测的相关问题提供一些思路。

  介绍深度神经网络在高光谱图像分类与压缩任务中的应用,如堆栈自编码、深度置信网络、深度卷积神经网络等。

  不论是百度小度的“跨年龄人脸识别任务”,还是亚马逊的无人超市值守任务,都与目标检测与识别任务密不可分。深度神经网络发展了一系列的算法,从最初的R-CNN,到目前的Mask R-CNN,仅仅三年的时间间隔,让我们看到了人类能力的视觉水平实现了跨越式发展。

  大数据的背景下,硬件的加速发展带来计算能力的大幅度提升,表现在“复杂结构”下的深度神经网络其训练变得更为行之有效,另外深层的表达方式也弱化了对数据先验知识的依赖性。本章给出深度学习的发展脉络、网络模型的可塑性;以及结合应用任务分析,学术上进一步可研究的方向。

  讨论模型、深度学习平台使用技巧以及经验交流。关于深度学习的研究,不只是网络调参经验的分享,还有科学剖析(数学分析、物理解释、生物响应特性及反馈),期望从数据、模型、优化目标函数、求解等四个方面来深刻理解这一黑箱操作。返回搜狐,查看更多

https://www.cshfcy.com/hulianwang/122.html