导语：汽车产业经历剧变，自动驾驶浪潮来袭。是被浪潮吞没，还是屹立于浪潮之巅？如何摘得“人工智能项目之母”桂冠，用智能代替双手掌控车辆？从9月14日起，智东西重磅推出9堂自动驾驶系列课。9位实战派导师将为大家奉献超过810分钟的系统讲解和深度互动，完成对 33个知识点的专业拆解，和你一起建立未来汽车的知识壁垒。

智东西自动驾驶系列课第3课为中科慧眼创始人兼技术总监崔峰带来的《双目摄像头如何改变ADAS系统》。

在车东西公众号对话框回复“自动驾驶”，获取系列课音频、资料下载。

本课干货以及崔峰所述精彩观点，智东西摘录如下，一分钟概览课程。

要点速览

1、ADAS行业目前的技术现状

按传感器类型划分，ADAS有毫米波雷达、激光雷达、摄像头三种主要的传感器方案。

毫米波雷达探测距离、精度、应对恶劣天气的能力较好，成本适中，但分辨率低，对非金属物体敏感度低，目前是ADAS市场主流。

激光雷达精度非常高，探测距离远，但在雨雾天气下工作困难，且眼下价格昂贵。

摄像头成本很低，信息量丰富，有较强的物体识别功能，但需要训练大量样本，也会受到成像环境的降质影响。

为取长补短，达到成本与安全的均衡，未来自动驾驶会采用多传感器融合的方案。

2、如何用双目摄像头打造ADAS系统

双目（多目）摄像头既可以用于感知车外环境，也可以检测车内环境。在车内，摄像头可以进行驾驶员的疲劳检测与乘客分析等；在车外，双目摄像头主要是用于测距与物体识别。

与单目ADAS不同，双目是利用物体在两枚摄像头中的成像视差来进行测距，输出距离点云表示物体远近。同时，它又能融合单目摄像头基于深度学习的物体识别能力。所以双目摄像头的立体视觉既拥有摄像头的成本、识别优势，又具有激光雷达的高精度点云测距优点。

与激光雷达相比，双目立体视觉在满足车规与售价上占据优势，市场售价不到激光雷达1/40；在性能上， 双目视觉系统在角分辨率上更占优势，但测距精度与激光雷达仍有差距。

3、双目摄像头ADAS发展前景

双目视觉系统可以采用不同光学特性的相机（比如广角与长焦、红外与可见光相机）进行组合，获取更多差异化环境信息，增强立体视觉系统应对夜间情景或特殊天气的能力。

 在车内，相机视觉系统对驾驶员、乘客的分析也可用于保障行车安全，进行统筹优化。

4、ADAS目前在国内缺乏专用的标准测试场地，亟需标准场地帮助测试与开发。

主讲实录

崔峰：感谢智东西的邀请，特别感谢今天各位在群里的同行朋友们，感谢大家抽出晚上的宝贵时间。我是来自北京中科慧眼科技有限公司的创始人以及技术总监崔峰，我今天给大家报告的主题是“双目摄像头如何改变ADAS系统”。

这个题目稍微有点大，我们只能从这几年自己的基层工程师创业历程来跟大家一起分享。毕竟我们都是比较基层的工程师，并没有非常深厚的学术背景，所以也仅能在我们的背景下，在ADAS行业目前的技术现状，还有如何打造一个双目ADAS系统，以及双目或者多摄像头系统在目前及未来ADAS领域的发展前景等方面跟大家进行一些有限的探讨。

基本情况

首先给大家介绍一下我们公司，我们公司全名叫“北京中科慧眼科技有限公司”，2014年10月份成立于北京。公司主要是基于双目的视觉算法提供多维的汽车视觉解决方案。在今年的1月份，我们公司在钓鱼台国宾馆获得了由中国电动汽车百人会主办的国际智能汽车大赛全球总冠军。目前在国内，我们公司应该是第一家可以直接量产车载双目ADAS产品的创业公司，并获得了国家高新技术企业以及中关村前沿企业认证，我们的产品也会在国庆节前对外发货。

目前，我们公司植根于智能视觉传感器研发。我们认为传感器的融合是辅助驾驶和自动驾驶的大势所趋，而我们现在也着力于立体视觉。在车企各方面的评测以及发展方向来看，立体视觉的防碰撞等级比较高，同时配备到AEB系统中的工作时速上限也是最高的。中科慧眼独特的双目立体视觉产品兼具了激光雷达的稠密点云以及视觉识别能力，所以在性价比上我们能够做到一些差异化。

而我个人是2005年毕业于中科院自动化研究所模式识别与智能系统的博士，曾经在诺基亚、微软以及韩国三星电子担任海外的高级图像处理专家，有十多年的从业经验，我非常高兴借这个机会跟大家进行一些探讨和分享。

从团队上来讲，我们主要是以中科院、丰田、诺基亚等做研究开发以及产品的工程师为主。我们立足于中国的实际条件，立足于自主的知识产权，为未来的中国或者世界，提供更加安全、更加智能的多维的汽车视觉解决方案。

1、ADAS行业技术现状

现在来说，ADAS的作用是让交通更加安全，更加便捷。按传感器来分，ADAS可以分为毫米波雷达、摄像头以及激光雷达几类不同的方案。毫米波雷达可能比较主流，而激光雷达目前可能还没有形成大量的前装经验，但它在未来会成为一个非常重要的传感器。

各传感器优劣分析

分析一下各类传感器的优缺点。毫米波雷达的优点主要是探测距离比较远，精度非常高，而且不受天气和光线的影响。毫米波雷达对运动的金属物体比较敏感，但对于静止的金属或非金属物体，运动的非金属物体都不太敏感，分辨率也比较低，不太容易得到障碍物的轮廓。毫米波雷达比较适合在高速公路上进行障碍物探测，包括车道线的识别，它可以通过强度成像来获取信息。

摄像头的主要优点是信息量比较丰富。因为摄像头比较轻易就能达到几十万像素，甚至上百万像素。而就现在来讲，800万像素的相机也很快就会被用到车载系统上。摄像头可以通过丰富的成像信息进行各类识别运算，比如行人、形变的物体，还有停车场的横杆以及交通标识等。但是如果单纯基于成像去做识别的话，摄像头容易受到成像条件和学习样本的限制。因为如大家所知道的，机器学习，包括深度学习，基本上都是后向传播过程，需要在应用前进行大量样本学习。

激光雷达的测距精度非常高，基本上可以达到正负一两厘米，甚至到了毫米级，分辨率也非常高。机械激光雷达可以360度旋转，同时角分辨率也比别的雷达高。但是目前的机械旋转激光雷达的成本比较高，而且容易受到阳光雨雾和互干扰的影响。它跟毫米波雷达一样是属于主动传感器。目前的机械激光雷达也会受到工作温度以及工作环境震动的影响，它的工作温度一般是在零下10°到零上60°左右。

从成本和售价上看，毫米波雷达制造比较成型的主流企业，如美国的德尔福，德国的大陆和博世，它们占有率非常高，而且造价比较低。毫米波雷达在前端市场上基本上达到了千元级别，而成本是几百块钱。而摄像头的ADAS成本也比较低，我们所熟知的ADAS霸主、3月份被英特尔收购的以色列公司Mobileye，Mobileye的视觉计算芯片的售价是45美金，而毛利达到了76%以上，也就是说芯片成本基本上是10美金。

激光雷达目前的成本比较高，美国Velodyne的64线激光雷达在10万美金左右，即使是16线雷达的售价也在8000美金左右。现在还有很多新兴的技术在发展，包括国内的许多兄弟公司的技术也非常不错。目前的发展方向可能会向Flash激光雷达以及MEMS激光雷达，即向使用各种镜片或者透镜来形成非旋转式雷达的方向演进和发展，它的成本还有功耗都会有很大的下降。

从目前前装的ADAS方案来看，“毫米波雷达+摄像头”的方案占有率是最高的，激光雷达的前装方案还是比较少，当中最有名的可能是前一阵所发布的奥迪A8，它使用了四个单线的激光雷达作为前装。

传感器融合是必经之路

这张图片分析表明自动驾驶的必经之路一定是传感器融合，在从L1到L5不同阶段的辅助驾驶和自动驾驶的发展过程中，对传感器的种类和数量的需求会越来越多，因为在越复杂的驾驶环境和自动驾驶功能下，对环境的感知需求也会越来越高，所以向高冗余度、高敏感度的传感器融合方向发展。从L3开始，我们在有限道路下的自动驾驶需求会逐渐增多，Stereo Camera（立体摄像头）的需求也会逐渐增多，它会逐渐地取代之前单一的前视Camera状态。

2、如何用双目摄像头打造ADAS系统

如何利用这个双目摄像头打造ADAS系统，这张照片里面可以看到车载的双目立体视觉渐入佳境。从最早应用双目视觉的斯巴鲁Eyesight到去年的奔驰全系、宝马全系，还有捷豹、路虎以及今年的雷克萨斯这些比较高端的豪华车型，从欧美日国家来看，双目逐渐的成为中高端车的一个标配。像大陆、博世、日立、奥托立夫、电装、富士通天等的一线主机厂也在采用或者自主研发双目方案，在北京这边，我看到很多较新型的豪华车辆，已经大量在使用双目立体相机来取代之前的单目摄像头的视觉系统。

前面讲了整个ADAS行业的传感器分类的技术特点以及双目视觉在行业中的越来越被重视的趋势，现在再来谈一谈我们中科慧眼的ADAS系统是怎么样将立体视觉引入到后装市场以及未来的前装和准前装市场的。这页图片里面有我们产品的外观示意图，它其实很简单，就是用一个双目相机加上一个计算单元，配成一个体积较小的本地成像以及计算系统。在本地完成所有的工作任务，通过wifi、网线或者can总线与外界进行信息交换。同时也具备了灯光以及喇叭，可以进行声光的一些报警，具备了LDW以及FCW的功能。如果通过can总线或者网线与车辆控制系统通讯的话，它也是打造一个AEB或者自动驾驶系统的前向视觉以及感知的利器。

在我们中科慧眼产品序列中，我们会向更安全的汽车视觉以及更智能的汽车视觉的方向进行努力。其中在“更安全”的方向上，我们是使用基于面的双目视觉方案，它既融合了激光雷达的特点，也融合了摄像头的特点，既有一个精确的稠密测距点云，也可以进行机器学习、机器识别，而这种方案在视觉方面是比较领先的。

在人机互动上，我们也在进行一些人机交互的开发，包括车外的环视，车内的驾驶员的视觉疲劳检测以及驾驶员的眼部跟踪，还有对大巴上乘客进行分析的功能。目前来看，我们有两代产品。第一代产品的分辨率较低，预警距离也较近，主要倾向于后装产品，目前正在向客户交付。第二代产品很快就会进行试产，它的分辨率、反应速度以及预警距离都比第一代有了质的提升，它本身的研发方向也是面向前装、准前装的市场。

有了这样的双目立体视觉摄像头以及对驾驶员和乘客分析的内向视觉之后，我们怎样打造车辆多维视觉和远程的监控方案呢？这个图片里有一个比较简要的拓扑图。我们在营运车辆或客车及乘用车上装备了前向的双目视觉模块以及内向的驾驶环境视觉模块，它们通过数据采集以及分析不仅可以在本地进行环境的分析以及报警预警，同时可以将这些信息通过wifi或者是4G、5G网络与GPS卫星、通讯卫星进行交互，将这些信息不断地传输到远程监控系统中去。监控系统可以将这些信息收集和存放以及及时将指令发送给本地的管理人员或者驾驶员进行交互与控制。

距离点云与机器视觉

这一页图片的信息比较多一些，主要是讲了中科慧眼的双目立体视觉具有怎样的特点。

首先，观察在图片里面左下角的双目视觉利用视差精准测距的示意图，我们利用左相机以及右相机同步对场景进行成像，跟人眼成像实际上是一样的原理，在左眼右眼成像中，同一个的物体所处的位置是不一样的。如果我们将左右眼成像叠加到一起，会发现近处的物体在左右眼之间的位置变化比较剧烈，而远处的物体在左右眼中的位置差异较小。

这种视觉差异也就是我们所说的视差，在实际世界中的每一点离成像系统的距离都可以通过视差来转化。如果对相机进行精准的内参外参标定之后就可以由视差通过三角测距原理反推出距离。右端的两幅图像中左边的黑白图像代表了左眼成像，还有另一个没有展示的对应的右眼成像，而右边的彩色图象是我们的算法把摄像头视觉范围中每一点在两幅图像中位置的视觉差异用颜色表示出来，差异越大的点越红，差异越小的点越蓝，就形成了一个视差的伪彩色的图片，通过观察可以发现中科慧眼的稠密视差图非常像激光雷达进行多线扫描得到的距离点云的结果，即每一点的距离能被直观地表示出来，这样为我们进行道路检测，障碍物的提取以及路肩、树木等非规则障碍物的提取带来很大的好处。

这样的一个点云经过计算和推理所形成的信息量是非常丰富的，其鲁棒性也非常好，能够规避一些传统的计算机视觉里面的立体匹配，像基于边缘匹配或特征点匹配的稀疏点云测距的缺点。利用这样稠密的距离点云，我们先对图像中的场景进行道路以及障碍物或者各种特殊物体的分割，在分割基础上进行基于机器学习和深度学习的物体识别，再根据物体分割识别的结果，结合单目估距算法就可以将物体测距的距离推得更远，这样我们就能将双目稠密点云类似激光雷达的精准测距及物体分割的优点与单目视觉基于训练模型进行物体分类以及物体估距的优点相结合，打造成更好的3D视觉系统。

所以我们这样的方案既具有激光雷达的高密度距离点云直接提取障碍物并精准测距的特点，又具备了视觉识别与机器学习的能力。

双目视觉：安全等级优势

这页图片主要讲了2014年日经汽车技术对斯巴鲁双目立体视觉以及沃尔沃日产宝马的“单目+毫米波雷达+单向红外线激光传感器”的各类车辆的关于AEB的效果评测结果。评测结果也间接反映了在目前的ADAS系统中双目立体视觉的性价比非常之高的，尤其在对行人、非标准障碍物的检测以及防碰撞的效能非常之高。

前面的测评主要是立体视觉。因为立体视觉既有点云，又有识别能力，所以可以对异形障碍物以及行人的小目标进行很好的保护，它跟激光雷达相比有一定的差异化的地方，在这页图片里面主要讲一下立体视觉跟目前的激光雷达的优缺点对比。

以Velodyne 的16线激光雷达作为参照物来对比我们二代产品的技术参数。首先视觉测距点云非常稠密，我们可以达到每秒钟输出2700万点云，而16线激光雷达的点云只有30万点云，我们点密度比它高90倍。在测量范围误差上，立体视觉跟激光雷达相比的话远距离会落后比较多。双目视觉在近处的误差比较小，可以达到厘米级别，而在远端的误差会比较大，会在几米的级别甚至达到十米的误差，这与成像精度、成像条件以及测量目标的实际纹理相关。而激光雷达从近端到远端都能保持非常好的测距精度。从视场角上来看的话，视觉系统不可避免地受到一些光学成像的限制，视场角不如360°旋转的机械激光雷达，但跟Flash的固态雷达是相近的。

在角分辨率上看视觉无疑是占了优势。比如说16线的激光雷达、机械式的旋转型雷达的角分辨率水平最高是0.1度，我们是0.03125度，我们高3倍到13倍；垂直分辨率，我们还是0.03度左右，而激光雷达在两度左右，对于垂直角分辨率来说，这是比较粗的。

而在大目标的探测上，激光雷达占据优势。就像大客车横过来而导致物体整个面积比较大，激光雷达很远就能够有足够的点云，距离一致性也可以保证我们对障碍物进行提取。如果定义对小目标的探测距离，假如以半米宽的人形目标为例，假如在水平方向上打12个点能够确保对目标比较稳定的提取，通过运算可以看到我们二代产品的立体视觉可以对该目标探测到76.4米，而16线激光雷达基本是要在20多米才能提取出这样的小目标。因为激光雷点扫描线之间的角分辨率比较低，远处小目标可能会被漏掉，有些点打不到上面去。

从温度和振动条件的角度来说，我们的产品满足了车规，但是激光雷达还有一些极端条件需要去克服。从是否受环境影响上来看，视觉系统不可避免受到夜间暗光以及雨雪雾天气的影响，但是激光雷达也会受这些影响。比如阳光的直射，阳光里面含各种光谱的信息，一部分是可以对激光雷达造成干扰的，另外它也受到一些雨雾天气的限制，也就是说它的穿透力也是有限制的。在能否识别交通标识方面，激光雷达通过强度成像应该是能够识别车道线，但并不是所有的激光雷达都有这样的能力，视觉可以非常轻松可以取得这些信息，另外，视觉在识别障碍物类型上的潜力比较大。而市场售价上，我们的售价是小于它的1/40的。

这一页主要是比较了一下我们立体视觉跟velodyne 64线激光雷达，64线雷达最大的优点是水平角分辨率以及垂直角分辨率比16线多了许多。但是即使这样，立体视觉依然在水平分辨率比它高2.56倍或者11.2倍，这跟它的转速相关，而在垂直分辨率依然是高了12.8倍，所以在对小目标探测上，假如以半米宽的目标为准，立体视觉依然是胜出了。价格方面更是没有办法相比了，立体视觉基本上是小于它的1/500的售价。

3、双目摄像头ADAS发展前景

前面讲述了我们如何利用双目视觉的特点以及自己的技术能力去做的一些努力。而该页讲到的是双目视觉包括多目视觉在ADAS领域的发展前景有哪些，我们只能是以管窥豹，谈一下自己的浅薄认知。

多类光学相机组合

比如说我们可以采用不同光学特性的相机获得差异化的环境信息。如果我们要对道路上的交通标识或红绿灯进行识别，仅仅靠一组相机是不太可行的；举个例子，在红绿灯路口的等待的时候，我们其实不太容易看到红绿灯以及转向灯。灯所处的仰角非常之大，而远处的交通标识的视角基本上是跟驾驶员平视。基于交通标识识别要求的大分辨率以及视角远近要求不同，例如近处的信号灯要求大视角与大仰角的中短焦镜头，远处的交通灯则需要基本平视的长焦镜头，我们需要利用多种不同的仰角与焦距设计出来更好的基于视觉的进行交通标识和信号灯判断的视觉系统。还有另一种光学特性，即我们可见光的传感器与非可见光传感器的融合，可见光相机与非可见光相机的融合，可以获得更多差异化的环境信息。比如将可见光相机跟红外相机融合，或者将可见光相机与热成像仪融合，又或者单目视觉与立体相机融合，通过融合可以做出很多不同的多目相机。这样可以解决在夜间或者特殊天气情况下一些可见光相机成像降质导致信号分析困难的障碍。

谈到多目系统，我就必须要谈到常见的360度环视、辅助泊车系统以及360 ADAS系统，目的是对车辆行驶的周边进行更多信息量提取以及分析。

车内环境感知

前面的内容大多是关于车外环境的ADAS，这里的图片讲一下内视相机，通过多个摄像头能做哪些事情。比如说利用可见光或者红外相机获得驾驶员是否疲劳，是否分神以及情绪的信息来帮助提醒或者对远程系统进行通报。同时可以通过车内的内视摄像头对客车或者商用车里的乘客进行行为分析，比如说抓取敏感人群、敏感动作以及乘客量多少等信息来进行统筹规划。

总之，车载视觉的应用领域非常之广，既可以用在车外环境的感知，也可以在车内环境感知。车载视觉肯定会是一个多摄像头的组合系统，也会是一个与激光雷达，毫米波雷达或超声波雷达等各种多传感器的组合系统，它为我们的驾驶安全、驾驶智能、安全出行、安全城市做到更多的信息分析采集。

我想正是因为立体视觉以及多目视觉在ADAS以及自动驾驶中传感器的地位越来越重要，需求越来越被重视，我们有幸也在百度阿波罗1.5发布中被正式宣布成为阿波罗生态系统中国内的第一家以视觉传感器研发为主的成员。在中近期，我们会沿着智能视觉传感器这条道路发展，为阿波罗提供视觉参考硬件及系统，也为业界提供更多的前装、准前装以及改装的立体视觉或者多目视觉的感知系统以及本地决策系统。让我们一起将辅助驾驶、自动驾驶以及让生活更安全的宗旨进行下去。

谢谢大家的聆听，我的分享就到这里，欢迎大家体验我们的双目ADAS产品。

问答实录

提问一

肖建-坎德拉科技-SLAM算法工程师

室外环境对双目摄像头有多少影响？现有的ADAS系统是怎样处理呢？

崔峰：其实跟室外环境对单目摄像头的影响是相似的。首先是对于视觉系统，无论是可见光或非可见光，它都是要接受一定波段的光波信号，而有价值的光波信号就是我们所希望提取的信息，它可能会被一些我们不希望进来的信息所混叠，比如说阴影、逆光或者说是雨点、雾霾、雪花以及炫光等等这样一些噪声影响，它都会对我们的成像系统进行降质。对于这些问题，首先需要从光学的结构设计上，比如说镜头的选型、还有相机的调校，从信号采集端就要一步一步地做好严格的设计与质量的验证，包括对图像分析端，也要对算法进行系统优化，对系统软件、硬件也要进行优化。在这些努力的基础上，对于信号的分析也要加入对这些异常状态，比如说逆光、暗光，还有非匀质光源的一些分析等，把它加到数据分析里面去，这样才能够有效地克服成像系统对成像环境的依赖性，减弱它对成像环境的依赖性，让成像系统或者摄像系统更加鲁棒。

提问二

陈思宇-格陆博科技-经理

1、双目摄像头大概量产价格多少？

2、双目摄像头相对于单目摄像头的优势在哪方面，测距、测速和目标识别等。

崔峰：1、对于双目摄像头大概的量产价格，我们目前采用跟渠道商进行合作的方式，就是我们向渠道商进行供货，在销售商销售完毕之后，我们会进行一些毛利的分成。所以对于双目摄像头的价格，虽然我们有一个总体的控制，但是内部的变动是由销售商他们根据自己的客户需求以及市场预测去做一些调整，我们预估他们的销售价格可能会在2000元到3000元之间。当然，在一代产品的产能或者说是需求量激增的情况下进行大量生产，它的售价也可以走低。在二代产品上来讲，我们的成本会进一步降低，售价的灵活范围就更大，可能会到1500或者2000的区间内。当然，这也是跟原材料的成本以及产能或者说是走货量的大小有关的。

2，第二个小问题是双目摄像头相对于单目摄像头的优势在哪方面。实际上我们一直没有将立体视觉跟单目视觉进行对立起来，我们认为一个双目相机或者立体相机，它既要进行实时的点云测距，同时它还要融合或者说是直接嫁单目相机的深度学习，机器学习，物体识别这些功能，因为大家可以看到我们产品的车道线识别，障碍物识别，它其实都在同时跑这些机器学习和深度学习的算法，它们都是点云和视觉融合分析的结果。

如果说优劣势，我们只能说双目立体视觉，它在成本上会比单目视觉要高一些，毕竟它要多一个镜头，多一个传感器。同时大家看到像Mobileye这样一些大厂，它本身芯片的成本是在十美金左右，而我们双目视觉的主芯片（计算单元），我们无论如何采购价格也很难降到十美元之内，所以成本方面我们还是会偏高。其实对于我们非Mobileye或者非自研视觉芯片的任何一个ADAS公司都会面临这样一个问题。

双目摄像头它的一些优点在哪里呢？首先，它场景的划分以及障碍物的提取，它可以不完全依赖于识别，也不完全依赖于先验知识，我们可以直接通过点云进行障碍物提取以及划分，其实这种方式与激光雷达是完全一样的，因为激光雷达它得到的信号无外乎就是密集的点云，只要你的点云足够密集，就可以对距离较为均匀的整体区域进行提取，这就是我们所谓的障碍物提取，对人、树和汽车的提取都是这样子的。而我们在进行精确的环境划分以及障碍物提取之后，在这样一个基础上，我们通过视觉纹理可以快速做更加精准的障碍物分类。这样的话，我们的识别就可以做到更加的有目的性，而且更加精准。同时，我们的测距也不依赖于别的参照物，不是去估距。而且像车道线的提取类似交通路牌的提取，我们可以直接借鉴三维信息等一些感知优势。这样我们的车道线识别就不会跑道路路沿上，不会跑到草丛里面去，同时我们的路灯以及路牌检测结果也不会是一个虚假的目标。

提问三

李方军 德荣科技 技术总监

1，第一代产品能能识别车道对应的红绿灯状态吗，包括数字倒计时红绿灯？

2，这套双目视觉设备，有没有考虑在无人巡逻车上的应用，能向同巡逻车的控制系统提供哪些接口方式？

崔峰：1，目前一代产品在发的软件版本，还没有加入对红绿灯状态的识别，包括数字倒计时的红绿灯。因为红绿灯状态识别不仅仅要靠视觉来去做，可能大家最基本的想法是说在未来有一个V2X这样的产品会比较好一些，比如说我的车辆跟交通标志以及一些红绿灯进行通讯，直接得到此时的状态。当然离这还有比较长一段路要走。那基于现实来讲，我们为了精准地去识别红绿灯以及交通标识，是要与高精度的GPS来进行融合的，同时我们要知道车辆的行驶状态，比如它在哪里，它的车速以它所处的位置，然后高精度的地图要提供前方红绿灯以及交通标识的精确位置以及高度信息，这样才能方便我们从图像中快速的划分感知区域，能把红绿灯和交通标识迅速地抓取到，同时识别出其状态来，这样就会做到一个比较精准的识别。而单纯的依靠视觉进行红绿灯的识别以及交通标识，对它的运算量以及计算速度都会是一些挑战，虽然这样做可能会具备一些红绿灯或交通识别的能力，但是如果你要让它做到一个完全实用的状态，其实是比较难的。对我们来说，其实越做这些车用产品，就越对行业充满敬畏之心。因为第一，你的产品要有实时能力，每秒钟要跑多少多少帧。第二，产品要有足够性价比，基本上你的售价如果超过一千块钱，你是基本上没有办法去推到车厂的。因为Mobileye的一个芯片，它才10美金，加上一些别的系统，它的成本也就500到300人民币左右，它有很大的议价空间，而你的产品如果成本就好几千，是根本没有办法真正进入前装阵列的，在后装上也会打的比较惨。所以我们的产品会逐渐地把这些我们认为可以使用的功能下放到产品中去。因为我们是一个智能的传感器，我们会通过我们的APP，通过手机跟设备连接，通过wifi给设备不断的更新固件，目前我们基本上每周都会给设备推送新的固件。我们的测试者已经使用我们产品大概半年以上了，这些都为以后产品能力的提升，进行新功能的赋能创造条件。同时我们也会积极地跟主机厂包括一些大的企业进行联合，比如跟他们的GPS以及他们的地图进行通讯，把功能做得更好一些。

2，我们的双目设备可以在无人巡逻车上使用，一代产品可以通过wifi跟别的设备进行通讯，把我们的报文定义好，将车道线信息，障碍物位置以及速度信息等传输给主机。同时，在二代产品中，我们增加了千兆以太网口还有can总线接口，还有USB接和wifi，这样它的接口就比较丰富，可以跟各种平台进行通讯。

提问四

严明-中瑞交通安全研究中心-项目经理

是否有必要建立针对ADAS产品安全性和可靠性的统一封闭场地测试评价标准？以及如何建立？

崔峰：第四个问题比较大，其实对我们中科慧眼这样一个人数比较少的草根团体来讲，我们对这种的问题没有什么话语权。而且就我自己的一些经历来说，说一些我个人的看法，首先有必要建立针对ADAS产品安全性和可靠性的统一封闭场地来进行测试评价。我们在开发产品的时候，我们是选一些停车场还有一些人或车少的路段进行测试，其实还是比较危险的。此外，如果说测试车辆是经常在一个地区来回开，身上还有摄像头，这在国内来讲是比较避讳的，我们也经常会被交警去追赶，或者说被保安驱赶，这是比较尴尬的一些经历。我们如果对一些社会车辆以及行人或骑车的人进行一些试探性的测试，我们也是比较担心的，因为抛开出事故不说，如果说是这些车辆或者行人，他们察觉到了你在他们背后进行一些危险行为的时候，我们也会很怕他们有一些过激反应。但是你如果正常开车，我们这些预警系统它也不会去报警，否则就是误报了，这是一个矛盾。所以说我们也迫切地希望能够有这样一个测试的场地，哪怕付费也好过在公共路段去进行测试以及产品的开发。这可能需要一个比较大的场地，同时能模拟公路、山地、沙土、上坡、下坡以及搓板路，还有各种的障碍物，比如说人靶标、车的靶标以及那些奇形怪状的靶标，红绿灯，车道线，交通标识都需要。这样我们就可以实地的进行一个重复性比较强的测验，当然完全重复性测试是不可能的，因为你如果是一个露天场地，它的光照与环境是不可能复现的，除非是一个封闭的场地。

在这样的场地进行了大量的实验与推理之后，才有可能对系统进行精准的打磨，也就是我们实验才有可靠性，在这种环境里面进行测试和开发之后，最终还是要到社会环境中进行实地的测试，比如说你到农村、城市，城乡结合部等各种环境去开车体验，检测设备的准确性，报警的体验是怎样的。坐在办公室里面，坐在电脑前，是无法去体会一个驾驶者，在不同的车速和环境情况下，它对于系统体验的真实感受。

提问五

王永超 燕山大学 无人驾驶研究生

1、关于深度学习的模型的训练是采用的现有的数据集还是自己收集到的？

2、模型是采用的现有的效果比较好的还是自己搭建的。

崔峰：1，我们做机器学习以及深度学习的训练模型都是自己去收集的。我们可能在深度模型或者学习模型搭建和训练模型搭建时可以采用一些kity的库，或者说是含一些公共的标识或者tag的库去做一些模型的抽检以及降维。但是在实际的产品中，你一定是根据自己的信号特点与成像系统去进行数据训练。因为不同的相机不同镜头所呈现的光影效果是有差异的。目前即使是深度学习系统，它也没有这么大的鲁棒性。对于不同类型的相机，不同的镜头所采取的信号适配性，还是要进行针对性的训练。

2，我觉得是自己搭建模型比较好，至少我们还是自己来搭建的。大家可以想一想，如果我们都用公有的这些算法或者模型去实现一个完美效果，那很多公司的存在的价值就会下降，实际上也是这样子，大家可以去看一篇论文，如果能去很好地复现它里面的一些效果就已经不容易了。如果把这些效果复制到自动驾驶或者行车的各种复杂环境中去，就能让它实用，这几乎是不太可能的。这也是早期的科研以及中后期的工程开发之间的差别。早期科研在意的是一个技术的独创性、新颖性以及解决问题的潜力，而工程开发，它更加注重是实用性、鲁棒性以及稳定性和实时性，它们之间还是有比较大的跨度的。

提问六

李世伦 钧捷科技 副总裁

摄像机的动态范围多少？双目摄像头需要高动态摄像机吗？

崔峰：像ADAS或者是环境感知的相机，从我个人经验来看，动态范围越高越好，比如说人眼的动态范围可能会在120-140db左右，相机一定要向这方面去靠拢，甚至高于它。双目摄像头作为视觉系统，它是一样的，对高动态的相机是一个必备条件。

提问七

郑军 深圳爱普特 CEO

目前双目系统采用ASIC还是FPGA开发？需要多大的存储空间？图像需要做各种ISP处理吗？

崔峰：目前我们双目相机的本地计算的第一代芯片是用了英伟达的GPU，用的TK1（Tegra K1） ，是最便宜的CUDA GPU，即使这样，它的价格也是让我们承受不起的。对于我们的第二代产品，我们是基于FPGA去做的开发，所以它的成本下降了一些，然后速度也提高了，分辨率也提高了，它的性能也就提高了不少。现在我们还没有做到用ASIC开发，原因是做一个芯片，周期会比较长，它在生命周期内能不能卖出去足够的量来支撑你的开发费用以及盈利都存在比较大的风险。对于做芯片来说，从你开始立项到后面流片到你过车规、上车型都需要很长一段周期。尤其是做前装芯片，你要有5到7年的心理准备时间，这对于一个小型的创业公司来说，其实风险是很大的。

对于存储空间，它是一个比较有差异化的问题，因为根据你FPGA开发能力的不同，同样一个算法，你所耗费的逻辑资源有很大的不同。我们二代产品开发了很长时间，也把一代的一些成熟算法投放到逻辑里面去，可以说正是因为我们有了这样的开发能力以及在一个比较有限的资源上实现算法能力，才能够形成一些项目的合作。对于图像，肯定还是需要做ISP的处理，当然在智能分析端也会对图像进行各种处理。至少在双目视觉系统中，它一定是一个系统工程，从光学设计到后面的算法输出，每一个环节都需要进行精心的设计。

提问八

吴海韧-金柏-智能驾驶

请教崔总 产品进入前装市场 一般主机厂与一级供应商是主要从哪些角度评价测试产品的 通常周期多长呢？

崔峰：主机厂和一级供应商他们主要是先看你产品的成本，对成本压得会非常低，比如对于一个视觉系统，如果你卖给主机厂的价格高于一千块钱，那是很困难的，市场还是比较残酷的，然后就是看你产品的可靠性与功能，要跟他们现有的供应商比如像博世、日立、奥托立夫这些外资的主机厂进行比对，如果在功能以及价格上你都具备优势，即使是这样，仍然会面临很多的风险。因为像大公司，它的策略都是很有侵略性的，比如如果你想用别人的摄像头，那就不要用我的毫米波雷达，如果你用别人的毫米雷达，就不要用我的摄像头，如果你用了别人的毫米波雷达或者摄像头，那就不要用我的电传操纵系统，各种限制会比较多。如果大家都过了前面这几关，客车上型号可能也会在半年以上的周期，包括评测以及装车可能需要半年到一年的周期，像乘用车的上型号周期会更长，至少要两年以上。

新的系列课即将开讲

智东西与课程同步启动的「自动驾驶」社群继续火爆开放申请。目前社群已云集来自北汽、上汽、广汽、一汽、现代、福特、比亚迪、吉利、蔚来、车和家等数百家车企和汽车品牌，以及博世、大陆、采埃孚、现代摩比斯、李尔等数百家零部件供应商，还有Waymo、百度无人车、UBER、滴滴、NVIDIA、英特尔等上百家百家自动驾驶和智能驾驶技术研发企业的数千名汽车圈技术、商业和研究人员和创业者。可添加小卡微信（zhidxcdx）进行申请。

在车东西公众号回复“自动驾驶”，获取系列课音频、资料下载。