未系安全带智能检测系统与深度进建技术介绍

• 2016/09/22

未系安全带智能检测系统与深度进建介绍

未系安全带智能检测技术近年来高快发展，重要得益于深度进建前沿技术的急剧发展，豪门国际官网未系安全带智能检测系统基于深度进建技术，通过海量车辆数据进行反复迭代进建，才达到很高的正确率。为让各人对于豪门国际官网未系安全带智能检测系统的技术规划及产品将来发展有个更全面的相识，特此网络李汉曦博士对于深度进建技术的解说，供各人进建相识。

作者：

李汉曦，慧眼科技研发总监，澳大利亚国立大学博士；曾任澳大利亚国度信息通讯公司(NICTA)任高级钻研员；人脸鉴别，物体检测，物体跟踪、深度进建方面的专家，在TPAMI，TIP, TNNLS和Pattern Recognition等权威期刊，以及CVPR，ECCV，BMVC, ACCV等领域内沉要会议颁发过有影响力的论文；现为澳大利亚格里菲斯大学客座钻研员，江西师范大学特聘教授。

人为智能是人类一个极度美好的妄想，跟星际周游和永生不老一样。我们想造作出一种机械，使得它跟人一样拥有肯定的对表界事物感知能力，好比看见世界。

在上世纪50年代，数学家图灵提出判断机械是否拥有人为智能的尺度：图灵测试。即把机械放在一个房间，人类测试员在另一个房间，人跟机械谈天，测试员事先不知路另一房间里是人还是机械 。经过谈天，若是测试员不能确定跟他谈天的是人还是机械的话，那么图灵测试就通过了，也就是说这个机械拥有与人一样的感知能力。

但是从图灵测试提出来起头到本世纪初，50多年功夫有无数科学家提出好多机械进建的算法，试图让推算机拥有与人一样的智力水平，但直到2006年深度进建算法的成功，才带来了一丝解决的但愿。

多星捧月的深度进建

深度进建在好多学术领域，比非深度进建算法往往有20-30%成就的提高。好多大公司也逐步起头出手投资这种算法，并成立自己的深度进建团队，其中投入最大的就是谷歌，2008年6月披露了谷歌脑项目。2014年1月谷歌收购DeepMind，而后2016年3月其开发的Alphago算法在围棋挑战赛中，战胜了韩国九段棋手李世石，证明深度进建设计出的算法能够战胜这个世界上最强的选手。

在硬件方面，Nvidia最起头做显示芯片，但从2006及2007年起头主推用GPU芯片进行通用推算，它出格适合深度进建中大量单一沉复的推算量。目前好多人选择Nvidia的CUDA工具包进行深度进建软件的开发。

微软从2012年起头，利用深度进建进行机械翻译和中文语音合成工作，其人为智能幼娜背后就是一套天然说话处置和语音识此外数据算法。

百度在2013年颁发成立百度钻研院，其中最沉要的就是百度深度进建钻研所。

Facebook和Twitter也都各行其是了深度进建钻研，其中前者携手纽约大学教授Yann Lecun，成立了自己的深度进建算法尝试室；2015年10月，Facebook颁发开源其深度进建算法框架，即Torch框架。Twitter在2014年7月收购了Madbits，为用户提供高精度的图像检索服务。

前深度进建时期的推算机视觉

互联网巨头看沉深度进建当然不是为了学术，重要是它能带来巨大的市场。那为什么在深度进建出来之前，传统算法为什么没有达到深度进建的精度？

在深度进建算法出来之前，对于视觉算法来说，大体能够分为以下5个步骤：特点感知，图像预处置，特点提取，特点筛选，推理预测与鉴别。早期的机械进建中，占优势的统计机械进建群体中，对特点是不大关切的。

我以为，推算机视觉能够说是机械进建在视觉领域的利用，所以推算机视觉在选取这些机械进建步骤的时辰，不得不自己设计前面4个部门。

但对任何人来说这都是一个比力难的工作。传统的推算机鉴别步骤把特点提取和分类器设计分隔来做，而后在利用时再合在一路，好比若是输入是一个摩托车图像的话，首先要有一个特点表白或者特点提取的过程，而后把表白出来的特点放到进建算法中进行分类的进建。

从前20年中出现了不少优良的特点算子，好比最驰名的SIFT算子，即所谓的对尺度旋转维持不变的算子。它被宽泛地利用在图像比对，出格是所谓的structure from motion这些利用中，有一些成功的利用例子。另一个是HoG算子，它能够提取物体，比力鲁棒的物体边缘，在物体检测中表演着沉要的角色。

这些算子还蕴含Textons，Spin image，RIFT和GLOH，都是在深度进建诞生之前或者深度进建真正的盛行起来之前，占据视觉算法的主流。

几个（半）成功例子

这些特点和一些特定的分类器组合获得了一些成功或半成功的例子，根基达到了贸易化的要求但还没有齐全贸易化。

• 一是八九十年代的指纹鉴别算法，它已经极度成熟，通常是在指纹的图案上面去寻找一些关键点，寻找拥有特殊几何特点的点，而后把两个指纹的关键点进行比对，判断是否匹配。

• 而后是2001年基于Haar的人脸检测算法，在其时的硬件前提下已经可能达到实时人脸检测，我们此刻所有手机相机里的人脸检测，都是基于它或者它的变种。

• 第三个是基于HoG特点的物体检测，它和所对应的SVM分类器组合起来的就是驰名的DPM算法。DPM算法在物体检测上超过了所有的算法，获得了比力不错的成就。

但这种成功例子太少了，由于手工设计特点必要大量的经验，必要你对这个领域和数据出格相识，而后设计出来特点还必要大量的调试工作。说白了就是必要一点命运。

另一个难点在于，你不只必要手工设计特点，还要在此基础上有一个比力相宜的分类器算法。同时设计特点而后选择一个分类器，这两者归并达到最优的成效，险些是不成能实现的工作。

仿生学角度看深度进建

若是不手动设计特点，不遴选分类器，有没有此外规划呢？能不能同时进建特点和分类器？即输入某一个模型的时辰，输入只是图片，输出就是它自己的标签。好比输入一个明星的头像，出来的标签就是一个50维的向量（若是要在50幼我里识此外话），其中对应明星的向量是1，其他的地位是0。

这种设定切合人类脑科学的钻研成就。

1981年诺贝尔医学生理学奖宣告给了David Hubel，一位神经生物学家。他的重要钻研成就是发现了视觉系统信息处置机造，证明大脑的可视皮层是分级的。他的贡献重要有两个，一是他以为人的视觉职能一个是抽象，一个是迭代。抽象就是把极度具体的形象的元素，即原始的光线像素等信息，抽象出来形成有意思的概想。这些有意思的概想又会往上迭代，造成越发抽象，人能够感知到的抽象概想。

像素是没有抽象意思的，但人脑能够把这些像素衔接成边缘，边缘相对像素来说就造成了比力抽象的概想；边缘进而形成球形，球形而后到气球，又是一个抽象的过程，大脑最终就知路看到的是一个气球。

仿照人脑鉴别人脸，也是抽象迭代的过程，从最起头的像素到第二层的边缘，再到人脸的部门，而后到整张人脸，是一个抽象迭代的过程。

再好比看到图片中的摩托车，我们可能在脑子里就几微秒的功夫，但是经过了大量的神经元抽象迭代。对推算机来说最起头看到的底子也不是摩托车，而是RGB图像三个通路上分歧的数字。

所谓的特点或者视觉特点，就是把这些数值给综合起来用统计或非统计的大局，把摩托车的部件或者整辆摩托车阐发出来。深度进建的盛行之前，大部门的设计图像特点就是基于此，即把一个区域内的像素级此外信息综合阐发出来，利于后面的分类进建。

若是要齐全仿照人脑，我们也要仿照抽象和递归迭代的过程，把信息从最细琐的像素级别，抽象到“种类”的概想，让人可能接受。

卷积的概想

推算机视觉里时时使卷积神经网络，即CNN，是一种对人脑比力精准的仿照。

什么是卷积？卷积就是两个函数之间的互有关系，而后得出一个新的值，他是在陆续空间做积分推算，而后在离散空间内求和的过程。现实上在推算机视觉里面，能够把卷积当做一个抽象的过程，就是把幼区域内的信息统计抽象出来。

好比，对于一张爱因斯坦的照片，我能够进建n个分歧的卷积和函数，而后对这个区域进行统计Ｄ芄挥梅制绲牟街柰臣，好比着沉统计中央，也能够着沉统计周围，这就导致统计的和函数的种类多种多样，为了达到能够同时进建多个统计的累积和。

上图中是，若何从输入图像怎么到最后的卷积，天生的响应map。首吓酌进建好的卷积和对图像进行扫描，而后每一个卷积和会天生一个扫描的响应图，我们叫response map，或者叫feature map。若是有多个卷积和，就有多个feature map。也就说从一个最起头的输入图像（RGB三个通路）能够得到256个通路的feature map，由于有256个卷积和，每个卷积和代表一种统计抽象的方式。

在卷积神经网络中，除了卷积层，还有一种叫池化的操作。池化操作在统计上的概想更明确，就是一个对一个幼区域内求均匀值或者求最大值的统计操作。

带来的了局是，若是之前我输入有两个通路的，或者256通路的卷积的响应feature map，每一个feature map都经过一个求最大的一个池化层，会得到一个比原来feature map更幼的256的feature map。

在上面这个例子里，池化层对每一个2X2的区域求最大值，而后把最大值赋给天生的feature map的对应地位。若是输入图像是100×100的话，那输出图像就会造成50×50，feature map造成了一半。同时保留的信息是原来2X2区域里面最大的信息。

操作的事俘：LeNet网络

Le顾名思义就是指人为智能领域的大牛Yann Lecun。这个网络是深度进建网络的最初原型，由于之前的网络都比力浅，它较深的。LeNet在98年就发现出来了，其时Lecun在AT&T的尝试室，他用这一网络进行字母鉴别，达到了极度好的成效。

怎么组成呢？输入图像是32×32的灰度图，第一层经过了一组卷积和，天生了6个28X28的feature map，而后经过一个池化层，得到得到6个14X14的feature map，而后再经过一个卷积层，天生了16个10X10的卷积层，再经过池化层天生16个5×5的feature map。

从最后16个5X5的feature map起头，经过了3个全衔接层，达到最后的输出，输出就是标签空间的输出。由于设计的是只有对0到9进行鉴别，所以输出空间是10，若是要对10个数字再加上26个大幼字母进行识此外话，输出空间就是62。62维向量里，若是某一个维度上的值最大，它对应的那个字母和数字就是就是预测了局。

压在骆驼身上的最后一根稻草

从98年到本世纪初，深度进建兴盛起来用了15年，但其时成就泛善可陈，一度被边缘化。到2012年，深度进建算法在部门领域获得不错的成就，而压在骆驼身上最后一根稻草就是AlexNet。

AlexNet由多伦多大学几个科学家开发，在ImageNet角逐上做到了极度好的成效。其时AlexNet鉴别成效超过了所有浅层的步骤。尔后，各人意识到深度进建的时期终于来了，并有人用它做其它的利用，同时也有些人起头开发新的网络结构。

其实AlexNet的结构也很单一，只是LeNet的放大版。输入是一个224X224的图片，是经过了若干个卷积层，若干个池化层，最后衔接了两个全衔接层，达到了最后的标签空间。

去年，有些人钻研出来怎么样可视化深度进建出来的特点。那么，AlexNet进建出的特点是什么样子？在第一层，都是一些填充的块状物和天堑等特点；中央的层起头进建一些纹理特点；更高靠近分类器的层级，则能够显著看到的物体状态的特点。

最后的一层，即分类层，齐满是物体的分歧的姿势，凭据分歧的物体展示出分歧姿势的特点了。

能够说，不论是对人脸，车辆，大象或椅子进行鉴别，最起头学到的器材都是边缘，继而就是物体的部门，而后在更高层层级能力抽象到物体的整体。整个卷积神经网络在仿照人的抽象和迭代的过程。

为什么时隔20年卷土沉来？

我们不禁要问：似乎卷积神经网络设计也不是很复杂，98年就已经有一个比力像样的雏形了。自由换算法和理论证明也没有太多进展。那为什么时隔20年，卷积神经网络能力卷土沉来，占据主流？

这一问题与卷积神经网络自身的技术关系不太大，我幼我以为与其他一些客观成分有关。

• 首先，卷积神经网络的深度太浅的话，鉴别能力往往不如通常的浅层模型，好比SVM或者boosting。但若是做得很深，就必要大量数据进行训练，不然机械进建中的过拟合将不成预防。而2006及2007年起头，正好是互联网起头大量产生各类各样的图片数据的时辰。

• 另表一个前提是运算能力。卷积神经网络对推算机的运算要求比力高，必要大量沉复可并行化的推算，在其时CPU只有单核且运算能力比力低的情况下，不成能进行个很深的卷积神经网络的训练。随着GPU推算能力的增长，卷积神经网络结合大数据的训练才成为可能。

• 最后一点就是人和。卷积神经网络有一批一向在对峙的科学家（如Lecun）才没有被寡言，才没有被海量的浅层步骤覆没。而后最后终于看到卷积神经网络占据主流的曙光。

深度进建在视觉上的利用

推算机视觉中比力成功的深度进建的利用，蕴含人脸鉴别，图像问答，物体检测，物体跟踪。

人脸鉴别：

这里说人脸鉴别中的人脸比对，即得到一张人脸，与数据库里的人脸进行比对；或同时给两张人脸，判断是不是统一幼我。

这方面比力超前的是汤晓鸥教授，他们提出的DeepID算法在LWF上做得比力好。他们也是用卷积神经网络，但在做比对时，两张人脸别离提取了分歧地位特点，而后再进行相互比对，得到最后的比对了局。最新的DeepID-3算法，在LWF达到了99.53%正确度，与肉眼鉴别了局相差无几。

图片问答问题：

这是2014年左右鼓起的课题，即给张图片同时问个问题，而后让推算机回覆。好比有一个办公室靠海的图片，而后问“桌子后面有什么”，神经网络输出应该是“椅子和窗户”。

这一利用引入了LSTM网络，这是一个专门设计出来拥有肯定影象能力的神经单元。特点是，会把某一个时刻的输出当作下一个时刻的输入Ｄ芄灰晕攘κ屎纤祷暗，有功夫序列关系的场景。由于我们在读一篇文章和句子的时辰，对句子后面的理解是基于前面对词语的影象。

图像问答问题是基于卷积神经网络和LSTM单元的结合，来实现图像问答。LSTM输出就应该是想要的答案，而输入的就是上一个时刻的输入，以及图像的特点，及问句的每个词语。

物体检测问题：
Region CNN

深度进建在物体检测方面也获得了极度好的成就。2014年的Region CNN算法，根基思想是首吓酌一个非深度的步骤，在图像中提取可能是物体的图形块，而后深度进建算法凭据这些图像块，判断属性和一个具体物体的地位。

为什么要用非深度的步骤先提取可能的图像块？由于在做物体检测的时辰，若是你用扫描窗的步骤进行物体监测，要思考到扫描窗大幼的不一样，长宽比和地位不一样，若是每一个图像块都要过一遍深度网络的话，这种功夫是你无法接受的。

所以用了一个折中的步骤，叫Selective Search。先把齐全不成能是物体的图像块去除，只剩2000左右的图像块放到深度网络里面判断。那么获得的成就是AP是58.5，比以往险些翻了一倍。有一点不尽如人意的是，region CNN的快率极度慢，必要10到45秒处置一张图片。

Faster R-CNN步骤

并且我在去年NIPS上，我们看到的有Faster R-CNN步骤，一个超等加快版R-CNN步骤。它的快率达到了每秒七帧，即一秒钟能够处置七张图片。技巧在于，不是用图像块来判断是物体还是布景，而把整张图像一路抛进深度网络里，让深度网络自行判断哪里有物体，物体的方块在哪里，种类是什么？

经过深度网络运算的次数从原来的2000次降到一次，快率大大提高了。

Faster R-CNN提出了让深度进建自己天生可能的物体块，再用同样深度网络来判断物体块是否是布景？同时进行分类，还要把天堑和给估计出来。

Faster R-CNN能够做到又快又好，在VOC2007上检测AP达到73.2，快率也提高了两三百倍。

YOLO

去年FACEBOOK提出来的YOLO网络，也是进行物体检测，最快达到每秒钟155帧，达到了齐全实时。它让一整张图像进入到神经网络，让神经网络自己判断这物体可能在哪里，可能是什么。但它缩减了可能图像块的个数，从原来Faster R-CNN的2000多个缩减缩减到了98个。

同时取缔了Faster R-CNN里面的RPN结构，包办Selective Search结构。YOLO里面没有RPN这一步，而是直接预测物体的种类和地位。

YOLO的价值就是精度降落，在155帧的快率下精度只有52.7，45帧每秒时的精度是63.4。

SSD

在arXiv上出现的最新算法叫Single Shot MultiBox Detector，即SSD。

它是YOLO的超等改进版，汲取了YOLO的精度降落的教训，同时保留快率快的特点。它能达到58帧每秒，精杜仔72.1。快率超过Faster R-CNN 有8倍，但达到类似的精度。

物体跟踪

所谓跟踪，就是在视坡凤面第一帧时锁定感兴致的物体，让推算机随着走，不论怎么旋转晃悠，甚至躲在树丛后面也要跟踪。

深度进建对跟踪问题有很显著的成效。DeepTrack算法是我在澳大利亚信息科技钻研院时和同事提出的，是第一在线用深度进建进行跟踪的文章，其时超过了其它所有的浅层算法。

今年有越来越多深度进建跟踪算法提出。去年十仲春ICCV 2015上面，马超提出的Hierarchical Convolutional Feature算法，在数据上达到最新的纪录。它不是在线更新一个深度进建网络，而是用一个大网络进行预训练，而后让大网络知路什么是物体什么不是物体。

将大网络放在跟踪视频上面，而后再分析网络在视频上产生的分歧特点，用比力成熟的浅层跟踪算法来进行跟踪，这样利用了深度进建特点进建比力好的益处，同时又利用了浅层步骤快率较快的利益。成效是每秒钟10帧，同时精度破了纪录。

最新的跟踪成就是基于Hierarchical Convolutional Feature，由一个韩国的科研组提出的MDnet。它集中了前面两种深度算法的集大成，首先离线的时辰有进建，进建的不是通常的物体检测，也不是ImageNet，进建的是跟踪视频，而后在进建视频实现后，在真在使用网络的时辰更新网络的一部门。这样既在离线的时辰得到了大量的训练，在线的时辰又可能很矫捷扭转自己的网络。