ADAS的前世今生,以及一个世界难题!

导语:汽车产业经历剧变,自动驾驶浪潮来袭。是被浪潮吞没,还是屹立于浪潮之巅?如何摘得“人工智能项目之母”桂冠,用智能代替双手掌控车辆?从9月14日起,智东西重磅推出9堂自动驾驶系列课。9位实战派导师将为大家奉献超过810分钟的系统讲解和深度互动,完成对 33个知识点的专业拆解,和你一起建立未来汽车的知识壁垒。

第2课由 MINIEYE CEO刘国清主讲,主题为《如何突破ADAS系统的识别精度》。下面划重点!

要点速览

 1、 ADAS与其识别能力

1)高级辅助驾驶系统(ADAS)是一个广义概念,凡是能提升驾驶安全性和舒适性的功能,都可以归入ADAS。本课从技术方向讲解,主要聚焦于基于摄像头的视觉ADAS。

2)ADAS(高级辅助驾驶系统)工作的步骤为感知-决策-控制。其中感知环境是整个系统起作用的基础,提供感知能力的传感器包括激光雷达、毫米波雷达、摄像头。而摄像头获取的图像信息量大、分辨率高、信息多维,使得使用摄像头进行视觉感知的ADAS,拥有很强的识别能力。

3)ADAS的识别能力,包括目标分类、目标检测、目标识别、语义分割。

2、如何提升ADAS系统的识别精度:

1)ADAS提升识别精度的主要方式为深度学习+大数据。即使用深度神经网络,训练尽可能多的图像数据,提高识别正确率。

一方面,深度学习相对于传统学习,无需工程师手动设定识别特征,并且网络可迁移、复,降低了做视觉识别的门槛。另一方面,训练的数据量通常与ADAS系统的识别率成正比。大量的数据还可以覆盖各种奇奇怪怪的特殊场景(比如高速上来了一群羊),以提升特殊场景下的识别能力。

2)ADAS系统提升识别精度还可以采取增强计算力、使用多传感器融合等路径。

3、ADAS未来发展趋势:

1)深度学习不仅为识别能力赋能,还将被更多用于驾驶策略制定;

2)计算硬件将飞速发展,为ADAS提供更强的计算力支持;

3)终端用户的使用跟数据采集以及技术迭代可以形成闭环,用户端上传的数据会被用于更新、增强ADAS系统的能力。

4)ADAS与自动驾驶有大量底层技术的相通点,未来ADAS将向自动驾驶发展。

主讲实录

刘国清:大家晚上好,我是MINIEYE创始人刘国清。首先要感谢智东西提供了这么好的一个平台,我也要向大家请教学习。先介绍一下我们公司——MINIEYE,2013年在新加坡成立,于2013年搬回国内。我们专注于车载环境下的视觉感知技术和产品研发,产品主要是涉及驾驶辅助系统以及车载环境下视觉感知模块。

我们公司的愿景是从技术产品的手段入手以减少事故。我们总部在深圳,在南京和北京有两个研发中心。欢迎各方面的朋友来我们这边交流和切磋。

接下来我正式开始今天的报告。今天的这个主题是《如何突破ADAS的识别精度》。

1、基本概念

ADAS的前世今生,以及一个世界难题!

首先为了能够更好地展开后面的话题,我先简要介绍一些和主题相关的基本概念。

广义的ADAS

ADAS的前世今生,以及一个世界难题!

高级驾驶辅助系统(ADAS),是一个覆盖很广的范畴。它既包含了我们经常听说的前向碰撞预警、车道保持、倒车雷达,也包括ABS和车身稳定系统,甚至夜视、车载导航和雨量传感器,这些在Wikipedia上全部都归入到了ADAS的范畴。所以能够提升驾驶安全性和舒适性的功能都可以认为是包含在驾驶辅助系统里。

基于感知技术的ADAS

ADAS的前世今生,以及一个世界难题!

我们今天的分享专注在其中的一个细分领域——基于感知技术的ADAS。在这页PPT我们可以看到,车上装了不同的传感器,有长距离的毫米波雷达、摄像头、激光雷达、短距离的雷达,还有超声波雷达。基于这些不同的传感器以及后面的ECO,我们可以去开发出前向碰撞预警、主动巡航、标志牌识别及停车辅助等功能。

这些功能都是基于感知技术,也就是说通过传感器来感知汽车周边的交通状况,基于感知的反馈结果来进行一些应用层面上的设计。这一类功能,我们称之为基于感知技术的ADAS,也是我们今天要探讨的主题。

ADAS的工作原理

ADAS的前世今生,以及一个世界难题!

在接下来的报告里如无特殊说明,ADAS默认指基于感知技术类的ADAS。ADAS的产品由三部分构成:1,感知部分,通过传感器去获取汽车周边信息,像道路、车辆、行人和标志牌等信息;2,决策部分,基于感知部分信息,我们可以去做一些传感器层面上的融合,进而做一些决策,来判断现在是否有危险,我们是应该去刹车还是踩油门,还是去打方向盘,打方向盘又是打多少度?这是一个决策的过程;3,控制部分,而有了决策之后,剩下的就是控制了。比如通过摄像头识别到前方车辆正在急刹车,我们跟它的相对速度非常大,基于这些信息我们判断出在1.3秒之后有可能会发生追尾。在这种情况下,我们需要去采取刹车行动,感知系统会把这个刹车信号传递给我们的制动系统,去完成整个ADAS的功能。但是现在也有一些ADAS并没有引入控制模块,这类ADAS可能会通过其他的方式,比如说声音警告、震动或者显示屏上的提醒来警告驾驶员,由驾驶员来采取措施。

车载感知系统

ADAS的前世今生,以及一个世界难题!

从上一页PPT介绍里面可以看出感知模块是整个ADAS结构体系的基石。如果说感知部分准确程度达不到产品化的要求,那么决策和控制部分也就无从谈起。车载感知系统也由三个部分构成,第一部分就是传感器,无论是摄像头,还是雷达,如激光雷达、毫米波雷达(24GG或者77G赫兹的),亦或超声波雷达,都是传感器。当我们通过这些传感器获取到特定数据格式的数字信号以后,接下来需要识别和理解这些数字信号,从里边找到哪些是人,哪些是车,哪些是马路牙子,这样的识别过程就需要我们信号处理相关的软件算法支持,所以感知系统的第二部分就是软件算法这一块。当然有了软件,要在硬件平台里边去运行,所以第三部分就是我们的硬件平台。整体来讲,车载感知系统是由我们传感器、软件算法以及硬件平台这三部分构成的。

传感器

ADAS的前世今生,以及一个世界难题!

感知系统的技术路径是由采用什么样的传感器来决定的。比如我们公司采用的是摄像头作为传感器。因而我们整个算法都是基于计算机视觉或者视觉感知来作为核心算法和技术去开发产品。抛开成本不谈,仅从技术角度来讲,不同的传感器之间仍然是各有所长,互为补充。比如说摄像头,其分辨率远高于其他类型的传感器,可以感知到非常多的细节,非常擅长做定性的事情。越是高级别的自动驾驶,对于细节的要求也越高。对于激光雷达,它的定量非常牛,它可以做到非常高的精度。而对于毫米波雷达,它的强项在于通吃各种各样的路况和恶劣的天气条件,所以对于不同传感器来讲,它们之间实际上是互为补充的。

在这样的一个多种传感器融合的感知系统里,摄像头和背后支撑它的视觉感知技术发挥着不可或缺的作用,高分辨率决定其有着量级优势,摄像头每秒获取的信息量均值在50兆左右,而在精度上,无论是激光雷达还是毫米波雷达,基本上都在零点几兆上。这意味着我们能够通过从更多的信息里边获得更多驾驶环境细节。

另外一点是摄像头信息的多维度性。摄像头不仅能获取轮廓信息、形状信息,还可以获取丰富的纹理信息,有颜色信息、灰度信息等,而这些信息也是其他传感器所不具备。所以从这两点来讲,摄像头在多种传感器融合的感知体系里面有着它的独特的地位。

2、识别任务的分类

ADAS的前世今生,以及一个世界难题!

这一部分我们会回归到识别本身。既然主题是提升ADAS的识别精度,那我们首先要弄清楚两件事情,一个是识别任务本身,一个是识别精度。中文是非常强大的。当我们在中文里边说到图像识别的时候,实际上它概括了我们从技术角度来讲的四个方面的任务。

目标分类

ADAS的前世今生,以及一个世界难题!

首先一张图像,我们去自动识别图像里边是否有车、人以及红绿灯。然后对图像去做一些标记,我们称为打tag,贴一些标签,可以是一个标签,也可以多个标签,这种任务叫做目标分类(classification)。

目标监测

ADAS的前世今生,以及一个世界难题!

我们可以更进一步,不仅要知道这个图像里边有车,还要知道车在图像里边的什么位置。我们会用一个框,把它标记出来。这种任务叫做目标检测(detection)。像我们现在的手机也好,相机也好,拍照的时候,它会把拍照视野里边的人脸自动给标记出来,这样模块实际上就是一个fixed detection的过程。

目标识别

ADAS的前世今生,以及一个世界难题!

当然,我们除了去识别图像里边哪里有车,哪里有人,哪里有人脸以外,我们还可以更进一步。例如我发现这里有一张人脸,那这个人脸是谁,是蒙娜丽莎还是憨豆先生?这个任务叫做这个目标识别(recognition)。人脸识别,在我们生活中已经很常见了。

语义分割

ADAS的前世今生,以及一个世界难题!

我们还可以更进一步,得到更多的细节。比如我们想知道整个这个图像里边每一个像素属于哪一个目标?是属于车、属于人,还是属于人骑的自行车?是属于这个机动车道、非机动车道还是马路牙子?是属于红绿灯,还是属于标志牌?这样的任务叫做语义分割(Pixel Labeling)。

所以当我们每次提到这个图像识别的时候,它可能覆盖了非常大的范围,它可能是目标检测,也可能是目标分类,还可能是语义分割,这是一个比较大的领域。而该领域里边每一个细分任务对于我们去开发ADAS来讲都发挥着非常重要的作用。

识别精度具象化

ADAS的前世今生,以及一个世界难题!

我们今天的主题是要突破ADAS的识别精度,而刚才我们上面提到了识别任务本身它就有很多不同的具体方向,所以识别精度的概念是非常不具象的,属于比较广义的概念。有些时候我参加一些论坛、会议或者面对客户的时候会被问到一个问题,“哎,你们的算法识别精度怎么样?”,这个时候我往往不知道该怎么去回答,这是因为从技术角度来讲这个问题非常模糊。

而实际上,对于每一个不同的细分的识别问题,无论是目标检测,还是目标分类,或者是目标识别和语义分割,它们都有不同的评价体系或标准来去衡量其算法的优劣程度。像这个PPT里边具有像Detect rate、False positive rate,也有像Precision,recall的评价体系,甚至还会用采用一些曲线来衡量,像PR-Curve。那对于detection的这种任务的话,我们还会采取像IoU、AP、mAP等指标来去衡量我们算法的好坏。

这页PPT并不是为了让大家在一个比较短的时间里边对整个评价体系有一个非常清晰的了解,也没有必要,因为它专业性太强了,只是希望让大家了解到当我们去谈目标图像识别,谈识别精度的时候,里边还是有很多具象的东西的。

3、如何提高识别精度

ADAS的前世今生,以及一个世界难题!

前面都是为今天主题做的铺垫,这部分才是今天的重点。接下来我会结合我们过去四年多时间在该领域的一些经验来和大家分享一下,从我们的角度来看,有哪些点对于提升ADAS的识别精度是有帮助的。

提升识别精度的挑战之交通环境不可控

ADAS的前世今生,以及一个世界难题!

要解决这个问题,首先要了解我们需要面对最大的敌人是什么。从我个人角度来看,提升ADAS系统的识别精度面对的最核心的一个挑战——交通环境的不可控。

ADAS的前世今生,以及一个世界难题!

ADAS的前世今生,以及一个世界难题!

现在无人驾驶行业里落地比较早的是在限定环境下的无人驾驶或者自动驾驶。而对于在ADAS这个行业里边,我想我们不得不面对的一个需求——全天候下的驾驶辅助。

ADAS的前世今生,以及一个世界难题!

所以对于ADAS产品,我们不仅要能够在高速公路这种工况良好的情况下有良好的表现(实际上在这些相对简单的工况,现在的识别技术已经能够非常好地满足ADAS对感知的需求)还需要能够在相对复杂的工况下有良好表现,比如说在城市拥堵环境里边。这种情况下,我们不得不面对非常严重的遮挡,同时有很多交通目标,而它们也不是完全按照秩序去运动的,比如说它可能在非机动车道里,在机动车道里边会有逆行的非机动车等。国内交通基础设施建设更新换代很快,所以有些时候标志线、车道线或各种标志牌等存在一些迭代问题,比如说我这个图像里边那有红色的标识线,还有白色的标识线,那我到底要遵从哪个呢,对于人来讲都很难去判断,更不要说让电脑自动去判断。

ADAS的前世今生,以及一个世界难题!

我们还需要额外考虑特殊场景(corner case),特殊场景的可怕之处在于是你不可预期的。在你碰到了之前,你完全想象不到有可能会碰到什么样的场景。这张照片是我们上个月在新疆出差的时候,在一条省道上碰到的情况。我们在省道上突然间碰到了一大群羊,羊群把整个省道完全堵死,非常缓慢地在我的车子两边通过,前前后后花了差不多10分钟时间。完了之后我问了一下牧羊人,他说整个羊群有2600只羊。

所以我认为提升ADAS的识别精度最关键的一点就是如何能够在复杂的工况下保持高质量的达到前后装要求的识别精度。

深度学习和大数据对提升ADAS识别精度的帮助

ADAS的前世今生,以及一个世界难题!

从我们过去的经验来看,深度学习和大数据是帮助我们在复杂工况下提升ADAS识别精度的两个重要作用手段。接下来我将从这两方面跟大家展开来做个报告。

ADAS的前世今生,以及一个世界难题!

相信进到这个群,参与到我们今天这个活动的朋友对深度学习(Deep Learning)的概念不会陌生,因为深度学习在过去几年实在太火了。我觉得在这一波人工智能的浪潮里非常重要的一个推手就是深度学习技术的演进。

ADAS的前世今生,以及一个世界难题!

互联网上有这样一张非常有意思的图片。从不同角度来看,从事深度学习研究的研究生在大家心目中的一个定位形象。我们可以看出来从事人工智能,特别是从事深度学习的相关从业者,在大家眼里都有一个非常高大上的形象。对于深度学习,大家是一种不明觉厉的感觉。实际上,这个领域也确实汇聚了一批非常优秀的人才。这让我想到了上个世纪初在量子理论建立初期也有同样的盛况,在一个相对短的时间段里,有一系列非常漂亮的理论被提出来,当然也存在大量的争论,分成两个派系。正如此刻深度学习在快速发展一样,玩家众多,无论是软硬件的公司,还是创业公司或者研究机构。

ADAS的前世今生,以及一个世界难题!

这张图片是上个世纪一个非常著名的会议,叫第五届索尔维会议。这张照片也特别有名,这里边汇聚了一票大咖,像爱因斯坦、波尔、波恩、薛定谔、居里夫人、狄拉克、德弗洛伊、普朗克等这些大咖。所以有一种说法,这个照片里汇聚了当时世界上2/3的智慧,而回到我们现在深度学习的时代,同样的,在深度学习这个领域里边也聚集了一大帮非常聪明的脑袋,优秀的科学家、工程师都在从事着深度学习,无论是从事相关的理论,实验或者相关的研发工作。

ADAS的前世今生,以及一个世界难题!

在学术界有一个很出名的网站叫arxiv.org(收录科学文献预印本的在线数据库),在我读博士的时候它还没有那么的火。但现在我们可以看一下,9月14号这一天,计算机视觉领域就有18篇新的工作被抛出来,而这18篇里边有接近70%的工作都是和深度学习相关的,为什么大家现在迫不及待地要把工作在发表之前就挂到arxiv上呢?因为在每一个方向都有大量的人才在从事类似的研究,有可能你花了六个月时间做出来的模型,在投稿的前几天,你发现这个工作已经被别人提前挂到了aixiv上。在工业界也是类似的,有可能你花了三个月或者六个月做出来一个东西,在产品化的过程中,你发现同样一个技术已经被你的友商提前推出了产品,这都是比较正常的事情。所以对于人工智能特别是深度学习这个领域的从业者来讲,现在的这个时代是最好的时代,也是最坏的时代。

深度学习历史回顾

ADAS的前世今生,以及一个世界难题!

接下来,我简要地和大家一起回顾一下深度学习的发展简史。深度学习最早可以追溯到上个世纪40年代,它是由一位心理学家和一位数理逻辑学家提出来的,他们最早把神经网络作为一个计算机模型的理论给提出来,这已经是很早的事情了。

到了1957年,康奈尔大学教授Frank Rosenblatt,提出了感知机(perception),他是受到了树突向轴突传导的启发,并且采用这种方式来进行数学建模。从现在的观点来看,感知机实际上是一个二分类的学习算法,作为一个线性分类器,这样一个单层感知机,确实可以看作一个最简单的神经网络。但感知器的学习算法,对于非线性的问题是没法解决的,它是没法收敛的,这里边比较有名的就是布尔代夫里的异或问题。

ADAS的前世今生,以及一个世界难题!

正因为这点它被人工智能开山祖师爷Marvin Minsky教授,Marvin Minsky是MIT著名的AI实验室奠基人,同时也是图灵奖得主。他在上个世纪60年代对神经网络宣判一个死刑,最主要的理论依据就是这个技术连最简单的异或问题都没法解决,因此它是没有价值的。也正是因为Marvin Minsky的这个表态,于是神经网络进入了第一次的寒冬。

到了1980年,日本人Fukushima提出一个新的感知机,紧接着我们深度学习领域的一个大神Hinton,他在Nature上发表了非常著名的反向传播算法。而Hinton的工作里,提供了一种适用于多层感知器的反向传播算法,并且采用了Sigma函数来进行非线性映射,他的贡献是有效解决了非线性分类的问题。

ADAS的前世今生,以及一个世界难题!

而紧跟着我们深度学习的另外一个大神Yann LeCun,他也出场了,他在1989年的时候提出了卷积神经网络的开山之作,其中用到了一个5×5的卷积盒,这样一个CNN的原型被用来做手写数字识别,并成功的被美国邮局应用于邮政编码的自动识别。

尽管早期的深度神经网络工作在一些具体应用上得到了不错的效果,但是它仍然存在一些硬伤。其中有两个是比较大的。第一个是非凸问题,既然是非凸,带来的一个问题是它会收敛在局部最优,但可能在全局里面是一个比较差的结果;第二点是DP算法的梯度消失问题,因为在梯度向后传递的过程中,由于Sigma函数的饱和特性,所以后传梯度本身就比较小,而往前传递的过程中误差就会几乎为零。因此它没法保障对全程的一些参数进行有效的学习,所以正是基于这两点,深度学习在2000年左右又是进入了第二次寒冬,一直到2006年。

ADAS的前世今生,以及一个世界难题!

很多人认为2006年是深度学习的元年,因为在这一年Hinton提出了一种方式能够比较有效地去解决梯度消失问题,采用无监督的训练加微调的方式来进行。到了2010年时,又有一种新的突破性技术被提出来,基于整流线性单元,它能够非常有效地抑制梯度消失问题。

ADAS的前世今生,以及一个世界难题!

2012年,深度学习进入了一个爆发期,它的拐点是Hinton在2012年为了证明深度学习的muscle,参加了ImageNet这个图像识别比赛,这个比赛数据集中的数据量是超过百万张图像的,那么Hinton他们基于卷积神经网络构建了Alexnet。不仅得到了第一名,而且在指标Error rate(错误率)上,是碾压性的优势。我们从表中可以看到2012年深度学习的Error rate指标值是0.15,而第二名是0.26,所以它领先了第二名10个点。所以从2012年之后,一直到2017年我们可以看到整个的ImageNet全部进入了深度学习的天下,Error rate指标也从0.15降到了0.02。我们可以看到右下角的图片,整个深度神经网络架构深度也越做越深,从最开始的8层、19层、22层到150多层。

深度学习与传统方法的比较

ADAS的前世今生,以及一个世界难题!

从架构上来看,深度学习和传统机器学习的方法相比还是有比较明显的区别的。对于传统的方式,在整个模型架构的过程中,对于前沿知识要求得更高,假如我有了一百万个这样的数据,那之后我需要根据经验去对数据做一些预处理,然后我需要基于这个问题,通过对实际应用场景的理解以及结合实际的需求去设计一些特征。但一直到现在仍然没有一种万金油的Feature,对于各种不同的任务,对于目标监测也好,目标识别也好,或者对于人,对于车都能够通吃,没有这样一种Feature。那对于人脸、人体,我们需要使用不同的特征。而这些特征的设计需要工程师或者科学家根据经验和对问题的了解来进行的。以及接下来采用什么样的分类器,也需要去做一些人工的设计。

从这个角度可以看出来,传统的方法对于整个开发人员的要求会更高,它的门槛也更高一些。而深度学习把整个过程做了简化。这个时候开发人员可能更多的是去做网络结构的设计,有了数据和网络结构,对于特征的选择、抽取以及分类器的选择,整个过程都是有网络结构根据数据自动去完成的。所以从这个角度来讲,深度学习在一定程度上降低了做视觉感知和图像处理的门槛。

通过神经网络,我们可以从图像最底层的像素级别通过高频低频的特征进一步地往上抽象,抽象到一些feature,然后进一步再往上抽象,比如说对于车、对于人或对于标志牌这些目标的描述,同时它是一个自下而上逐步抽象的过程,而整个过程是不需要人工去参与的,当你设计好这样一个网络结构之后,整个的过程是自动化进行。所以学术界也有些声音是把Deep Learning(深度学习)认为是一种Feature Learning(特征学习)。

深度学习相对于传统方法还有一方面的优势是迁移学习和特征复用,当我们基于深度学习去实现一些具体应用的时候,我们可以基于主干网络,主干网络通常是基于ImageNet,因为它的数据量非常大,百万量级的数据量,得到一个主干网络后,我们可以基于这样一个主干网络以及应用本身的一些数据对网络做一些微调,一般我们的微调会增加5-10兆,而我们的主干网络则通常会有几百兆,甚至有一些是上千兆,所以可以看出来,很多东西是可以基于深度学习架构去复用的。

ADAS的前世今生,以及一个世界难题!

总结一下,传统的方法它的特征相对浅层,有很好的物理含义,因为它是基于直觉去设计的。不同任务之间有很强的独立性,比如说我针对汽车去设计的一套模型、算法,是没法直接搬过来做人脸或者人体识别的,那对于性能上来讲,它在有些实际任务中可以做得很好,但是对于一些难度较高比较复杂的任务,它可能比较饱和;但它的好处是整个算法的复杂度较低,在现有一些ARM架构平台上都可以跑得很快。

而深度学习,它整个的特征是深层次的,也是比较抽象的。因为它并不是人工设计,而是直接学出来的,它效果可能很好,但是你不知道它为什么好。而整个网络结构是我们工程师直接设计的,刚才也提到了它可以去做多任务的训练以及迁移学习,对于一些像ImageNet这种非常有挑战性的任务,可能传统的感知Error Rate指标只能做到0.15,而深度学习可以降到0.02。

ADAS的前世今生,以及一个世界难题!

这边也列出了一些相关的材料,大家如果对深度学习感兴趣,可以进一步去了解。

基于深度学习的应用实例

ADAS的前世今生,以及一个世界难题!

ADAS的前世今生,以及一个世界难题!

ADAS的前世今生,以及一个世界难题!

ADAS的前世今生,以及一个世界难题!

基于深度学习,在图像识别领域有很多的应用,大家可以简单地看一下上面的图片,像上图目标分类中的Alex-net,GoogleNet都可以。当然也可以去做目标检测,Fast-RCNN、Faster-RCNN、SSD等这些都是效果比较好的算法。当然在人脸的检测、识别和验证领域也都有很多的应用,语义分割里边可以有两种,一种叫一般的语义分割,另外一种是Instance-aware,包括图像处理,比如图像去噪、边缘提取、图像增强上都有很多应用。

复杂工况下如何提高ADAS识别精度

ADAS的前世今生,以及一个世界难题!

除了深度学习以外,另外一块对于我们提升识别精度有非常大价值的就是数据。以前在学术界其实有一种说法叫做“Data is King”。

ADAS的前世今生,以及一个世界难题!

之所以我们需要更大的数据,一方面是刚才提到整个ADAS的工况是非常复杂的,里边的目标可能有不同的姿态,一般有蹲着的,侧面的,弯腰捡东西的,坐着的,它可能需要面对不同的遮挡,不能说前面一个人打了一把伞,你就不把他当人看,直接开过去。还有各种光照条件,天气条件对于成像的影响都是非常明显的,那对于这些相对恶劣的条件下呈现出来的数据,对应的感知系统也要能够保持一个可以接受的精度。

ADAS的前世今生,以及一个世界难题!

ADAS的前世今生,以及一个世界难题!

ADAS的前世今生,以及一个世界难题!

ADAS的前世今生,以及一个世界难题!

ADAS的前世今生,以及一个世界难题!

中国在一些相对落后的地区,监管没有那么的严格,所以在高速上也好,在一些省道上或者农村也好,可能会出现一些非常少见的情况,我们称之为异形的情况,这些都是需要去处理的。可以通过大规模的数据采集和标注,对提升ADAS识别技术的适应性和精度,会起到非常重要的作用。因此我们每天都会有大批量的车在外面进行数据采集,采集回来后还要对数据进行筛选、清洗以及标注,现阶段我们对于深度学习,传统感知算法,主要还是采用监督学习的机制,按照你的需要去对这些图像给出标准答案,基于数据和标准答案去让算法进行迭代,变得越来越聪明。

ADAS的前世今生,以及一个世界难题!

在数据采集方面以我们为例,我们现在最北到哈尔滨,最南到深圳,西到乌鲁木齐。每天有接近1.8万公里里程的数据,之所以要进行如此大范围的数据采集,就是为了让我们的数据库能够覆盖尽可能多的工况。以保证不同条件下的数据都有足够的体量去支持我们算法的学习。

ADAS的前世今生,以及一个世界难题!

如此大体量的数据,需要进行数据标注,当然传统的方式是人工标注,也是非常重要的一种手段,另外还有一些能够提升标注效率的手段,我们称之为自动标注。我们采用了DDT方法,可以自动地去帮助我们把图像里我们关心的一些目标在像素级别上进行标注,这种方式可以帮助我们降低标注的人工成本,同时也提升了效率。

ADAS的前世今生,以及一个世界难题!

提高ADAS识别精度的其他方法

刚才我从深度学习和大数据两个角度并结合我们自己过去的一些经验做了分享,实际上除了这两方面以外,还有其他的方式对提升精度同样也有好处。

比如说增强算力,无论是深度学习还是传统的感知算法都对我们运算平台的计算资源和计算能力有比较高的要求,当我们能够有一个更强的算力支持的时候,我可以用更深度的网络结构以及更复杂的深度学习方法来提升我们的识别精度。

同样地我们也可以通过多种传感器融合的方式,把视觉跟毫米波雷达、激光雷达,甚至跟高精度地图来做融合,通过信息冗余的方式来提升可靠性,提升我们ADAS在复杂工况下的识别精度,这也是一种非常有效的方式。

最后总结一下,提升ADAS识别精度其实有很多种方法可以去尝试,这里每一种方式都需要去做非常多的努力,而且也有非常多细节性的工作要做,这可能也是做产品跟做服务工作的一些区别,要更系统性的去考虑问题。

4、ADAS未来发展趋势

最后我从我个人角度来简单地分享一下我对ADAS未来发展趋势的一些看法。

ADAS的前世今生,以及一个世界难题!

首先,我相信深度学习这门技术不仅是在ADAS,包括在自动驾驶里都会发挥更大的作用,可能不只是在识别层面上,在一些策略层面上可能也会有它比较大的用武之地。

第二点是算力的飞速发展。其实无论我们去做ADAS,做自动驾驶还是做一些其他的人工智能产业化落地来讲都是特别有帮助的一件事情。而过去这五年时间里,人工智能之所以能够发展如此迅猛,很大程度上是因为像英伟达英特尔这些大公司都在投入非常大的资源,在增加我们计算平台的运算能力。在算力上,今年相对于去年可能翻了有十倍不止,这在以前是很难想象的。算力的飞速发展不仅是一个趋势,同时也是我们ADAS和智能驾驶的一个机会。

第三点是终端用户的使用跟数据采集以及技术迭代可以形成闭环。现在我们自动驾驶的相关技术并没有大规模普及,而少部分已经装了ADAS或者自动驾驶终端设备的用户其实是一个离线装置,并不能把收集下来的数据传递过来,而实际上我们做技术迭代对于数据的要求,驾驶行为的数据也好,交通环境的数据也好,都是有非常大的需求的,而这些数据对于提升我们的技术,增强ADAS识别精度都是非常有意义的。相信未来在这一块也将会打通,我做出来一个东西,给用户装上后,用户在使用的过程中积累的数据都可以传递回来。基于用户的这些数据可以帮助我们更好地迭代算法以提供更好的功能,然后把这个功能在OTA给回我的数据,这样就形成一个闭环,相信在未来是可以打通的。

ADAS的前世今生,以及一个世界难题!

这里边有些问题是绕不开的,比如说这个数据的归属权问题,以及OTA过程中的信息安全问题。从产业化的角度来讲,我比较喜欢这样一个图:FROM ADAS TOWARDS AD,从ADAS到自动驾驶,我非常相信未来自动驾驶是一个必然的趋势。原因也很简单,自动驾驶是同时解决交通效率和交通安全最理想的一种方式。所以我相信未来ADAS很重要的一个方向就是逐步地往高阶发展,去做高阶的自动驾驶,当然ADAS和自动驾驶使用的技术之间存在一定的差异,但我们必须得承认这里边很多的核心技术,比如说视觉感知、多种传感器融合以及底层的控制技术还是非常相通的。

好的,今天我的分享就到这里,谢谢大家。

Q&A实录

提问

宋海龙-北汽新能源-测试工程师

1,环形车道测试,选取的车道曲率半径范围,最高车速等,与ADAS系统实车精度的关系;

2,关于误报率,三个方面,一是直行车道行驶,相邻车道有车在左右前方,可能会误报,是否需要测试;二是环形车道行驶,相邻车道车辆可能引起误报;三是,误报率不超过多少可以量产车辆

3,是否按照国标测试AEB及FCW通过,就可以上公告,代表功能合格,国标约束与欧标约束有什么区别?国标和欧标对ADAS系统是否有要求?

刘国清:

1,不同曲率半径的测试在iso、JTT883里都有涉及到,这块的实车测试难点在于对设备的要求比较高,这方面的定量测试目前基本都在固定场地里进行,条件相对可控,所以难度不算大,我们也会在各种工况下路测,但比较难做定量,后面会考虑上一些更精密(但非常贵)的测试设备辅助,

2,”直行车道行驶,相邻车道有车在左右前方,可能会误报“的情况是需要测试的,“环形车道行驶,相邻车道车辆可能引起误报”也是要测试的,这类都是会影响体验的。不过这种场景对于车道识别和自运动估计的准确性要求比较高,关于“误报率不超过多少可以量产车辆”,不同车厂标准是不一样的。

3, 国标、欧标、ISO没有太大区别,测试用例上有些不同,这几个都可以在上网下载到,建议仔细研究下,找不到可以找我要,我打包发给你。

ADAS的前世今生,以及一个世界难题!