车东西(公众号:chedongxi)
导语:汽车产业经历剧变,自动驾驶浪潮来袭。是被浪潮吞没,还是屹立于浪潮之巅?如何摘得“人工智能项目之母”桂冠,用智能代替双手掌控车辆?从9月14日起,智东西重磅推出9堂自动驾驶系列课。9位实战派导师将为大家奉献超过810分钟的系统讲解和深度互动,完成对 33个知识点的专业拆解,和你一起建立未来汽车的知识壁垒。
第九课由高德高精地图团队负责人谷小丰主讲,主题为《高精地图在自动驾驶中的应用》。下面划重点!
在车东西公众号(ID:chedongxi)对话框回复“自动驾驶”,获取系列课音频、资料下载。
本课干货以及谷小丰老师所述精彩观点,智东西摘录如下,一分钟概览课程。
要点速览
1、高精地图释疑
高精地图是用于自动驾驶的专题地图,由含有语义信息的车道模型、道路部件(Object)、道路属性三类矢量信息,以及用于多传感器定位的特征(feature)图层构成。
例如谷歌、Mobileye、NDS成员(主要为车企和高德等传统图商)都在打造自己的高精地图,形态略有差异,但基本构成相同。
2、高精地图功能
在高精地图帮助下,自动驾驶车更容易判断自身位置、可行驶区域、目标类型、行驶方向、前车相对位置、感知红绿灯状态、应行驶车道,同时能够获得超视距的感知能力,探知前方坡度、曲率、横坡。高精地图能够为自动驾驶系统提供感知、定位、决策、路径规划、控制的全链路辅助,提高系统鲁棒性。
3、高精度地图应用
除了在应用中为自动驾驶车提供全方位的辅助,高精地图还可以快速搭建与真实场景高度一致的仿真场景,协助自动驾驶测试开发工作。
高精地图目前也有非自动驾驶的道路安全应用——通过地图信息实时变化反馈道路情况变更,提前发出预警。
主讲实录
谷小丰:大家好,我是谷小丰,我是高德高精地图团队的。很抱歉,内容有一些调整,这次咱们分享主要包括三个部分。
第一部分是“不依赖高精地图,自动驾驶车不太容易解决的问题是哪些”。
第二部分是高精地图的内容回顾以及应用的讨论,在这部分我会就高精地图如何去使用,在高精技术中有什么样的内容以及是如何设置的,它跟应用的关系是什么。我会交叉一部分一部分地帮大家整体过一下。
最后一部分会给大家提出一个问题,高精地图是不是最终会消失。
1、高精地图帮助自动驾驶解决哪些问题
在讲自动驾驶车之前,咱们需要回顾一下,我们人类驾驶员每一天在开车的时候都需要处理一些比较复杂的情况,比如我每天上车的时候都会先打开导航,然后导航会帮我自动选一条不拥堵的路径,当然也会参与我自己的意见,我不一定百分之百跟着它开,在这之后我需要判断的东西也非常多,比如我要判断我应该开多快,我要考虑限速,要考虑前方弯道的情况以及我自己视野的情况,比如前方可能是大雾或者有急弯,那我就不敢开得特别快。还有一些情况是其他的交通参与者,比如我开在十字路口的时候可能有行人、有自行车或者有其他的车辆在路上移动,那我就要考虑他们的情况,然后决定我自己到底应该怎么办。另外一个就是要判断走哪条车道,这里一般要判断的信息就是方向,车道上可能会有一些车道种类的限制,比如有些城市有潮汐车道,还有一些城市有公交的快速公交车道,在一定时间内你都是不能占用的。还有非常常见的情况,比如前方撞车了,那么在撞车的位置你肯定也是不能开的。另外还有一些比较复杂的判断,比如判断红绿灯的状态,这对于人的眼睛来说是非常的好,在所有的动物中,人的眼睛可能算是最好的了,对于人来说,我们不仅看得到灯是不是变了,还能看到大家怎么动,因为有的时候你前面停着一辆大的公交车,你根本看不到红绿灯,但是当你看到周围的车都开始往前开了,那你就会知道这一定是绿灯亮了。
然后还有一种典型情况就是你要判断哪些区域是不是有风险,比如当你穿过一个自由市场时,你肯定知道那边人会很多,这时你开车就要非常小心,还包括学校区域以及一些自然环境,比如这条车道经常有落石或者路面湿滑,那你开的时候都要非常注意。
但是人类驾驶是有很明显的不完美的地方,比如超视距,当然自动驾驶车也是没有办法完美地解决超视距的问题,人类肯定也是不完美的;还有一个就是控制不精准,这也是人跟机器最主要的区别之一,还有比如即便像人的眼睛,大家都有这种经验,比如前方有强光照射,晚上开车的时候对方可能不太自觉,开着前照灯。在对方开前照灯的时候,如果你不开前照灯的话,那么在你的视野内,本来你应该关注的好多地方都已经变成漆黑一片了。
另外就是人在进入一些未知的驾驶区域的时候,通常都是会非常谨慎,非常小心的。
不依赖高精地图不易解决的问题
我们看下一页,自动驾驶车在不依赖高精地图的时候有哪些问题是特别不容易解决的呢。首先要说一下,我不是汽车方面的专家,在高精地图方面有一点工作经验。其实讲如何应用,我认为最理想的人应该是汽车方面的专家,但是各公司开发自动驾驶核心功能的人可能不一定会出来讲这件事情,我们在跟不同的车厂打交道的过程中也多少了解一些这些东西。在我们自己做地图的时候,我们也必须非常关注自动驾驶车到底是如何用数据的,我们只有知道它是如何用数据的,我才能够把数据做得更好。
所以在这个过程中我们也不可避免的就知道了一些关于自动驾驶车到底对地图的应用都要做什么以及为什么要去这样做的问题。我在这里列了一些问题,这些问题实际上并不一定是特别有逻辑的,就是列了一些比较明显的案例,大家可以一起来看一看。第一个就是判断在什么地方可以自动驾驶,大家现在经常能在网上看到这种可驾驶区域的探测,探测主要也是两种手段,一种是靠激光镭达,还有一种是比较新的技术,就是靠摄像头去判断哪些是可驾驶区域。无论是哪一种判断方式,重要的还是去判断在哪能开车,在哪不能开车。举一个例子,天安门广场很多人都开过,在天安门广场的正前方那一段车道,从东向西和从西向东都是一样的,那一部分中线没有隔离带,这部分的车道非常宽,也有好多条道。
大家可以想象一下,如果是一辆自动驾驶车,它如何判断我在这个位置是要朝哪个方向开?因为你可能朝任何方向开,你可能看不到太多地面上的东西,或者地面有特殊情况导致你无法探知到,比如堵车时,你可能看不到,那这时你到底应该往哪开比较安全呢,其实这是不太容易计算出来的,但是如果有高精地图,那么它可能就会不太一样。
另外一个就是帮助这辆车去判断目标的类型,这个问题也在很久以前有一些国外的同行已经提到过,比如我的车开在十字路口的时候,我知道前方有人行横道和我不知道前方有人行横道是完全会产生两个不同动作,如果知道前方有人行横道,那在探测目标的时候我可能就会知道这个目标到底是一个什么类型的目标,但是如果我不知道这是一个人行横道的话,那么对这个物体的判断,可能会有任何类型。
另外,大家都知道当车辆在高速公路上开的时候,至少也有80公里每小时左右的车速,对于这个速度来说,传感器它能探测的距离基本上为一两百米,在一些特殊情况或者环境不是特别好的时候,那它的探测距离可能还会更短。比如探测距离为150米左右,那车开过这段距离的时间也只有四五秒钟。 因此,对于传感器本身来说,它显然在探测的时候就有一定的限制。
接下来说一下判断行驶方向,在没有图的情况下,你在判断自己行驶方向的时候相对来说也会比较麻烦。比如刚才说路比较宽的地方,还有比如在一些比较小的普通路上,这时候也没有车道线,没有东西能够帮助你做判断的时候,这时候你该往哪开,实际上这是一个比较讨厌的问题。
对于自动驾驶来说,它所有操作的起点都应该是它已经判断出自己在哪,然后它才能够说我该怎么办;如果你不知道自己的位置就去行动,这是显然是不可能的。而高精地图所谓的定位其实就是地图的定位,那高精地图在辅助定位上肯定是有一定比较强的作用,如果没有高精地图,车辆去判断自己的位置时也是比较困难的。
然后还有一个比较典型的就是判断红绿灯的状态。前年我去观摩郑开大道的自动驾驶比赛,当时我印象里面是的一个学生提到他的车在分辨红绿灯的时候容易跟尾灯混淆,当时我听到以后也觉得比较吃惊,当然可能是算法还没有优化到那么好,按理说做一些图像分割什么的或许在一定程度上能够弥补,但是从我们看到的这些车企的需求以及从我们做数据的经验来讲,当你拍了一整张图片的时候,在一张分辨率还比较高的图片上,你要去找哪个位置是红绿灯通常是比较难的。如果我能够告诉你这个红绿灯在这张图片的哪个位置上,甚至精确到每个灯头,比如一共有三个灯头,哪个是管左转的,哪个是管直行的,哪个是管右转的,我都告诉你这些灯头的情况是,当你在感知的时候,你就会定点地去看,这样就会省很多事。
如果没有高精地图的话,当这个车走到一个红绿灯的时候,有的红绿灯是有停止线的,有的是没有的。当你没有看到停止线并且当你的车走过去的时,这时你到底应该停在哪?如果你有持续的高精定位,那你就知道地图中有根停止线,这样你就会比较准确地停在那,如果你不知道的话,那你可能会越过停止线,或者进入一个无法处理的状态。
再拿这个普通路来举例,在这条周围什么都没有且整体上比较平的普通路上,这时在路边有一个人在往前走,你无法探知他到底跟你有什么关系的?又比如在高速公路上,我需要精准的判断前方一百米的车辆到底是不是跟我在一个车道上,如果他是跟我在一个车道上,那我可能就要采取动作;如果不是,那跟我没什么关系。但是如何去判断它到底是不是跟我在同一个车道上,如果纯靠传感器是不太容易探知出来的,而且也没有太多时间去判断,这个时间非常短,因为开过一百米的时间非常短,虽然你跟前车之间相对速度不会那么快,但是要去判断这些动作,尤其是前方的车如果有故障或者前方的车开得非常慢的时候,那这时你需要非常快地去判断,而这个快速判断在脱离地图的情况下是非常难做到的。
接下来是超视距感知,因为你已经把地图预存在里面,在经过高精定位后,你就会很清楚地知道前方任何一个距离内数据到车之间会有什么样的情况,在未来再加上动态信息后,你会更了解这些信息,因此在超视距感知方面,地图也是其他的技术没有办法取代的。
再接下来是准确地探知前方的坡度曲率和横坡,尤其是在相对低等级的一些自动驾驶车上,比如可能只装摄像头和毫米波雷达的自动驾驶车,大家都都知道,摄像头就是当你看到前方有一个上坡或者下坡的时候,你不可能直对着这个车道线,这时你在图像上看到的车道线有可能是弯曲的,而事实上前方是有坡度和没曲率的,这时横坡的探测就会更麻烦一些,因为你在当前位置的横坡想推导出下一百米的横坡来,这个可靠性也不是特别高,所以如果有预知横波的话,可能也是一个比较好的帮助。
最后讲一下我自己的亲身经历,有一回在做某一个车厂的自动驾驶车的时候,自动驾驶车马上要进入一条隧道,当时正午的时候从顶层上射下几束光,在顶棚上有几个洞,那几个洞的形状正好跟车道线特别像,自动驾驶车距离真实的车道线大概有三四十公分那么宽,在车进来到这个位置时马上就朝右打了一下轮,很明显这是车辆根据车道线的位置调了一下,它肯定是做一个lane keeping(车道保持)这样的动作。如果这时有高精地图,可能你在判断的依据上也就会更好一些。以上就是我自己知道的,如果不依赖高精地图,对自动驾驶车来讲它是不太容易去解决的这些问题。
高精地图的作用
从高精地图来讲,我们现在对高精地图的理解是:它主要的几个作用,一是辅助环境感知,同时能够做到高级定位,这是高精地图非常重要的一部分;二是能够对规划和决策起到一定的帮助,尤其是做比较长路径的规划,高精地图起到非常重要的作用。
对于高精地图的作用,我曾经在多个场合跟大家都分享过,在这边我再说一下,人类是有比较高的智能,人具有的是复杂的智能。目前的AlphaGo也好还是深度学习等等技术也好,基本上都是能够完成一个非常完美而单一的动作。但是对驾驶行为这么复杂的一套系统来讲,是很难用一个简单的人工智能去完美地实现所有的动作的。虽然现在也有端到端的自动驾驶方案,也有很多人说弱地图的方案,但是实际上走的最快的一些公司还是坚持要做强地图方案。
高精地图实际上就是为目前智能还没有那么高的自动驾驶系统提供一个辅助决策、辅助感知、辅助定位、辅助路径规划以及辅助控制的一套技术。
高精地图如何提高鲁棒性
高精地图怎么才能够提高鲁棒性呢?这有一个先决的概念,高精地图就是传感器能看到的东西,如果传感器看不到,高精地图也就没有什么作用。
在比较早期的时候,我们接到的需求中不止一个厂商提到了这个物体的材质。实际上经过我们这么长时间的实践,发现没有任何一个传感器能够准确地认出这些物体的材质。
自动驾驶三大传感器,包括相机、激光镭达以及毫米波雷达,每一个传感器都有这个明显的缺点。
所以从车厂来讲,为了提高传感的鲁棒性,很自然地就会去做三种传感器。
大家通过何老师发出来的这张图就能看到,融合之后鲁棒性都普遍提高了。
然后对我们高精地图的厂商来讲,我们并不太关注前端对,尤其是对动态物体的感知,我们会更多地去关注对静态物体的感知,关注这部分有哪些是能够拿回来让我做定位用的。
所以我们也很自然地对这三种传感器分别去安排三种传感器的定位方案。
2、什么是高精地图
高精地图图层分类
自动驾驶这个环境涉及到的面是非常广的,也是非常复杂的,这里包括你要探知的领域。未来可能还有互联的一些设施V2I的这些东西,目前我们更需要把它逐步高精化这些的实时交通信息。因此现在大家的主要力量是放在了静态的高精地图上。
高精地图大致可以分成这么几个层:
第一层是车道模型以及一些道路的部件,其实道路部件说的并不确切,因为它的英文叫Object,实际上我们也不知道该怎么称它,因为大家一说到目标,可能很多车厂的兄弟们会想动态物体。
另外一层就是道路的属性,这是比较小的一部分,基本上大家可以不用考虑。
最后一层就是用于定位的图层。
大体上讲,高精地图能分成两部分,一部分是矢量的,也是大家经常说的语义信息,另外一部分是类似像栅格图这样的feature图。这些feature图是针对不同的传感器去做定位的,辅助他们去定位的数据图。矢量的高级地图很显然也是可以完成定位的作用。它的另外一个重要的作用是用来做路径规划。
我们来简单回顾一下高精地图的内容,好让大家有一个直观的感受,后面我会继续跟大家分享我们对高精地图如何应用的一些理解。
高精地图形态、部件与业界进度
下面一页是Google的高精地图,Google是在2015年放出来的高精地图,在图上能够看到Google到底是怎么矢量化他自己的高精地图的。
大家能够在这个图上看到一些浅黄色的线以及一些橘色的线,一圈一圈的,像人行横道的面,他把这些面子给勾出来了。另外还有一些在路侧的黑色框。这应该是静态的物体。他们能够拿这些物体去做定位。
接下来是HERE的高精地图,大家能够明显地看到车道线,但是在HERE这张截图里他并没有把Object给放出来,但是在他的图中也肯定是有Object这一部分。
NDS的成员HERE、高德、四维、百度、Tomtom和光庭,大家实际上做的图都是比较接近的,尤其是在矢量地图这一部分。
对矢量地图来说,车道线的模型就是车道模型的一部分。这在去年年底左右就已经在NDS协会确定下来了。
但是对于定位用的Object这一层大家一直还没有确定下来。这其中的问题和争议可能也比较多,到底用什么样的方案去定位,比如Tomtom,他们提出来用RoadDNA去做定位。
这个RoadDNA是根据物体距离,你可以理解为通过道路参考线的距离来生成的一个栅格图,同时摄像头行业的领军公司Mobileye慢慢也推出了自己的REM,这是在CES 2016的时候他宣布的。
REM很显然也是一种具有车道线、车道中心线、道路边缘以及各种Object的地图。它跟高精地图也是非常类似的,或者可以说为另外一种高精地图。
如果你前端装了Mobileye的摄像头,那你就可以用这些车道线来定位,用道路边缘来划定自己驾驶的区域,同时你也可以用REM的信息去做路径规划,甚至是做一些motion planning的动作。同时激光镭达的这个图层Google很早就放出来过这些信息,比如像占位图、反射率图和DEM图都是针对激光镭达这样的图层。
高德在2015年8月之前也实验过一种叫做RoadDNA的定位方案,这个方案是不依赖智能的摄像头的,比如我要全用矢量数据去做定位,那我必须要求这个摄像头能够认出这个地图中的路灯杆、牌子、地面标识以及龙门架等等这些东西,否则我做纵向定位的时候就没有依据。
大家都知道智能摄像头到来的时间还会相对要晚一些。Mobileye的EYEQ4会在2019年推出来,同时英伟达的这套东西目前有大量的公司在基于英伟达的体系在做各种各样的开发,但是真正到投放市场并且能够认出大量的低污染的时间可能也是差不多到2019年左右。
高精地图内容
接下来咱们下面看一下高精地图的内容。矢量高精地图大致分为三部分以及这几部分对应用的作用。
在矢量的高精地图中,包括道路的属性、车道的模型以及交通设施的模型。其中车道模型,比如像车道模型中的车道线是可以辅助你做横向定位的,同时也能够让你看到交通规制。比如现在是虚线,你可以并线,如果是实线,你就不能并线。还有一些分类合并点,比如像马上会有一个车道分离,这对你感知以及对你的决策都是有一定指导意义,再比如道路的分离点,比如你已经压到了,这时如果是人驾驶的话,比如说是我驾驶的话,我可能一着急就会连续穿越三个车道。这对自动驾驶车的这些信息也是非常有用的。
接下来就是Object的这一部分,很多Object都可以辅助你做定位,同时这些Object可能也有一些是辅助你做感知的,比如刚才说的红绿灯,还有对你驾驶行为有一定影响的像停止线、停车等候线以及人行横道等等。
3、如何应用高精地图&高精地图功能
高精地图传输标准——EHP
接下来我们就要涉及一点就是如何用这些高精地图,高精地图能起到什么作用?这边要说一下EHP,EHP是ADASIS协会的一个标准,这个标准它主要是为了解决在CAN总线上各模块异构的问题,能够以CAN总线消息的方式,向以太网或者向CAN总线发送这个地图数据,告诉所ECU前方的情况是什么样。
所以它也叫EHP,eHorizon也就是电子地平线。
这时候车辆通过EHP它就能够知道前方的路况怎么样,前方是不是有比较大的弯道,前方限速是不是有变化或者是不是我马上该出主路了等等。然后用EHP播发地图时相当于把一个地图的语言转成一个汽车的语言。
刚才也已经讲了,自动驾驶车其实能探测到的前方的距离最远也就是一两百米的状况,甚至更低。但有了地图以后,它至少对前方静态的状况以及未来可能会对动态的状况都会比较了解。
高精地图与导航地图关系
接下来说一下高精地图和导航地图之间的关联关系。关联关系在导航地图里一条道路就是一个link,而在高精地图的道路里的一个link对着一组车道。在生产的过程中,我们会一次建好道路与导航地图和高精地图之间的关联关系,图中的最右侧上方的表里头就是基本的关联关系的写法。我们使用不同颜色进行了标注,通过导航地图里面标的R1、R2、R3、R4,我们能够看出它们的逻辑关联。
做这种对应的意义是什么?一个意义是判断出来车辆是不是在可以自动驾驶的区域内行驶。自动驾驶目前分为渐进式和革命式两种,而先上市的车一定是渐进式的,因为革命的那天还没到来。而渐进式的车迟早都会跟导航地图发生关联。比如一个非常典型的场景,人一上车就要用语音告诉导航系统,说我接下来要去某一个地方。导航系统会先算出一条路径来,再根据导航地图算出道路级的路径,之后把道路级的路径传给自动驾驶系统,自动驾驶系统接着根据高精地图算出几条可能的车道级的路径,最后自动驾驶系统会根据这几条路径的优先级或者不同的情况去选择跟随其中一条路径。高精地图跟导航地图之间的关联关系就这样起到作用了,它成为了导航系统和自动驾驶系统间的桥梁。
再往下就是导航系统。在这一张图大家看到的是导航系统发出指令来告诉自动驾驶系统现在乘客想要从哪到哪。导航系统可能规划了三百公里的路径,但在具体的路径执跟随中不会做那么长,随着开的过程,规划的路径有可能因为障碍物等情况而改变,我们会再计算一次,然后再把路径下发一次。做EHP的依据就是ADASIS V3,ADASIS V3不仅仅播发地图的内容,也可以播发高级定位的结果、路径规划的结果等等。
基于高精地图的高精定位
接下来要解决的问题就是高精定位。自动驾驶车在做任何的动作之前都需要知道自身和其他车量的确切位置以及运动。
这张图是基于矢量Object的定位结果。基于矢量地图的定位方案要求装载智能摄像头或者激光镭达。智能摄像头在前端探知各种物体,可以圈出物体以及测量物体的距离和大小。系统在测量后可以通过三角关系算出车的位置,这就是基于矢量的高精地图的基本定位方案。
车企提到了一个Object的密度模型,比如在新疆高速,新疆的高速路很多地方周围什么也没有,也没有灯干,一路全都是护栏,能用来做纵向定位的东西是很少的,这时候纵向定位就可以持续地衰减,一直衰减到这个GPS的精度。所以如果我们完全用摄像头来做定位的话,最好还有另外一套基于非智能摄像头的方案,这也是我们研究道路指纹定位方案的原因。
这张图中间有两个小窗口,颜色深的小窗口是预置的道路指纹,颜色浅的则是在线生成的道路指纹。地面上明显的特征都可以用来做道路指纹,包括车道线的虚线、地面的箭头、甚至地面的油气污渍。道路指纹不是智能摄像头,不需要认出图中的物体到底是什么,只需要看到纹理就可以定位了。右边的大图里绿色的线是高精定位的结果,红色的线是我们用RT3002和GPS定位出来的,这条线基本上差了有一个车道,这个是非差分的GPS。这种基于特征的定位方法同样适用于激光镭达和毫米波雷达,只不过他们的特征跟摄像头的不同。
这一张图是基于矢量Object的定位结果,这些定位结果都是通过同一个ROS包中的图像分析出来的。第二张图里,在道路边缘的双白线旁边有一串红点,那就是RT3002和GPS的定位结果。绿色的依旧是基于矢量地图的定位结果。
这一张图是我们跟千寻一起做的基于RTK的绝对定位结果,RTK的绝对定位结果对地图的绝对精度要求也非常高。但是目前在中国的测绘环境下,要达到比较高的绝对精度,同时又保证相对合理的成本是非常有挑战性的。但大家在车端使用差分定位也是一个趋势,所以基于各种传感器的相对定位方案,再加上绝对定位方案,应该是能够形成一个鲁棒性更高的解决方案。
高德对三大传感器的定位方案都有一定的准备。其中毫米波雷达的定位方案是和博世的同事一起来做的,博世有毫米波雷达定位的技术,而高德会帮助博世把雷达的特征图匹配到高精地图的车道模型上。
千寻是国内的唯一做地级差分定位、面向公众的服务网的公司。千寻有50%的阿里集团的投资,所以我们跟千寻的合作非常紧密,一方面千寻帮我们把高精数据结算的更加准确,提高绝对精度,减小生产阻力,另外一方面我们也在整体定位的大方案里积极探索,尝试形成合力。
基于车道模型的作用
往下请大家看一下高精地图的内容。高精地图的车道模型里有一个非常有用的信息——车道的连接关系。车道连接关系就是从哪个车道能够到达哪个车道,以及从哪一段可以到达下一段,它是做车道及路径规划的基础。
接下来的图虽然还是之前发过,但是标题变了。
导航依旧会完成宏观的路径规划,路径规划软件会画出车道级的路径并交给车,车跟随路径进行自动驾驶。因为图商并不知道车的性能,底盘高度,轮胎类型等车的信息,所以车如何运动和避障跟图商没什么关系。但是车的运动和车道级的路径规划之间会不停地互动,比如车一并到其他线,就会需要马上有一条新的路径来跟随。做车道级的路径规划的依据就是车道之间的连接关系。
这一页可以看到高精地图的基本车道模型,这个基本车道模型一看还是很复杂的。在这个模型里有车道线和车道中心线,中心线是用于生成跟随轨迹。在做车道级路径规划的时候,比如要从第一车道切到第二车道,我们不能僵硬地把两根线直接连起来,而是要使用非常平滑的曲线来连接两个车道之间的车道中心线。还有一些车道的属性变化点,比如马上就要出匝道,通往另一个高速公路,车就需要知道应该从哪出去。这时候道路的分离合并点就是标志点。前端的摄像头识别道路的分离合并点是比较难的,有些道路的分离合并点非常不明显。还有图上中间的紫色圆点,它是车道线类型发生变化了,从虚线变成了实线。我们把这个点标记出来,这样车到了现场以后就可以做double check,从而知道车到了什么位置,下一步应该采取什么行动,在这之前该怎么办。
基于数学属性的作用
前面说了车道模型,车道间的连接关系,利用车道模型能够做什么事情,剩下的就是高精地图的数学属性,车企的同学们比我要专业多了,我就不详细讲了。这里包括区域方向坡度,横陂等等,这些信息都是用来控制车的。在实际操作商业项中,这些数学属性的优化是非常重要的,它要达到一定平滑度,不能有太大噪音,同时不能跟现实世界有太大差距。
基于Object的作用
再接下来就是一些地物,普通的地物能够用来做定位,特殊地物,包括人行横道、停止线、红绿灯,不光能用来做定位,同时也能够用于做决策判断。这些信息能够在自动驾驶车很难独立做出判断的时候提供一个相对有效、可靠的参考信息。
高精地图应用——仿真
最后是高精地图的一个应用——仿真,它其实相当于一种辅助。我们前一阵跟恒润一起在VIRES 的VTD上搭建了不少仿真场景,大家在搭建过程中都很有体会,手工搭建不仅很花时间,而且很难保证跟现实世界一致。但是如果用高精地图搭建场景,他跟现实世界是高度一致的。所有的车道线,牌子,甚至包括牌子上的图片,都是直接从高精采集汽车里提出来的。
在仿真环境里使用高精地图或者实现自动驾驶方案会更容易,也很有依据。这是一个视频,我简单地截了几张视频的图,让大家能够看得更清楚一些。第一张图是比较近的,我们从鸟瞰图拉到驾驶员视角了,蓝色看板的照片是自动从我们高精科技车上扣出来的。现在这张图是大家能够看到里面有两个桥。这些场景都是我们在南四环采集的数据。有兴趣,可以对比一下现实的场景。
这张图外头那圈是实际识别的视频,为了让车企能够更快地使用仿真,我们使用自己的神经网络认出了静态的物体,再使用这些物体去做定位。能够对比出来仿真场景是怎么样的。
除了把高精地图和感知结果放在仿真场景里,我们还能做什么?这张图上可以看出来一共有三六箭头,同时在车后还有很小的两六圆点,三六箭头分别是绿色、蓝色和绿色,蓝色是主预测路径,而绿色是可并线区域。但是如果你并到最右边上了,就会只剩下左边的绿色箭头和中间的蓝色的箭头了。这个示范就是说你可以用高精地图,用EHP,同时用路径规划,在仿真软件中同时实现高精定位的结果,后面的两六点黄色的点就是GPS定位的结果,蓝色是高精定位和相对定位定出来的点。
我们使用的仿真软件叫VTD,是德国的VIRES公司生产的,他是我们现在所知的唯一一个支持车道及路径的高精地图的一款仿真软件。
刚才因为时间比较紧,我还没有来得及把高精定位和路径规划以及EHP的图截出来,我接下来把这些截图给大家分享一下。
以上是EHP的视频里比较重要的截图。其中也有路径规划的信息,大家也能够看到我们在路径规划的会向CAN总线发送什么样的内容。
这两张图是我们基于32线的激光镭达做的激光镭达的定位图层,激光镭达的定位图层也是一种基于反射率的栅格图,大家在最后一张图里可以看到两个窗口,在每个窗口里头有一个小黑块,小黑块是在线生成的激光镭达的涂层,而它的背景是预生成的激光镭达定位图层。左边的图是未做相对定位的结果,右面是做完相对定位的结果。能够看到方块已经比较好地匹配在地图上了,说明高精定位的定位和定姿基本上都完成了。
高精地图道路安全应用
除了仿真,也给大家演示过高德和戴姆勒一起做的道路安全应用。这个概念是把高精地图放在云端,车端、人和施工区域的圆锥筒都带有高精定位的设备,通过上传各自的位置,他们的位置会在云端和高精地图做匹配。匹配之后就知道是否应该给交通参与者发送警告信息。
激光定位的图层以及其他的定位图层大小都是在变化的过程中,比如最近我们把道路指纹的数据的体积就压下去了大概40倍。目前我们还没有彻底去优化它的性能的阶段,更多考虑的是实现以及测量实现的效果。
因为高德是为自动驾驶提供高精地图解决方案,但不是提供最终解决方案的公司,所以我们需要做好的事情就是帮助大家用好高精地图。除了做好我们的看家工作——地图,也需要我们做好地图接口以及EHP,在图的基础上提供高精定位、车道级路径规划,提供一些至少是Demo级的应用,让大家迅速把自动驾驶系统搭建起来,我们也在跟仿真的公司合作,为大家提供一个更好、更易用的测试环境。同时,我们也在推进商业化以及测试的落地,跟广大的自动驾驶的公司合作,以及帮大家搞定跟测绘法相关的政策推进工作。
这几天的新闻也报道了,我们已经协助测绘局把通过做了18个城市的这个数据测试,并且在今年的6月完成了偏转插件的测试,随机误差控制在20公分以内。
到今年的9月底,高速公路的地图数据已经到达了32万公里,我们的高精数据也同步覆盖到了32万公里,这个是在GM的商业订单上。现在我们操作的是在亚太地区的第一个商业订单,我们现在所知的高精地图的商业订单一个是在北美,一个是在中国,而中国的订单是高德在操作。
我们从14年底开始筹划,15年初开始进入量产状态,到现在已经马上就要满三年了,到明年年初就进入第四年。到明年的前两个季度,如果政策正常推进,我们希望能够尽快的看到凯迪拉克CT6带着高德的高精地图在中国市场上市。谢谢大家。
问答实录
提问一
左经纬 momenta工程师
最近测绘局公布和高德联调最新的用于自动驾驶的坐标偏转方案,希望小丰老师介绍一下,HDmap的发布流程,和传统地图的加密发布流程有什么区别?
谷小丰:从去年年初测绘局对高精地图的定义来讲, HDmap是导航地图的一个延伸。从发布流程上来讲,它跟导航地图没有什么区别。发布流程是这样的,首先是要去做审图,审图通过后,就会下发相应的插件和发审图号,然后再申请出版号,拿到出版号以后,就可以把编译后的数据放在车中使用了。因为自动驾驶的高精地图的内容发生了好多变化,这一部分对大家来说都是新的课题,可能需要测绘局组织更多的相关的部委专家和企业的专家一起做一些会审,确定高精地图究竟应该怎么去做审图。
提问二
刘玉 上汽视觉系统工程师
什么样精度的地图数据满足自动驾驶需求?所有路段地图精度都要求一致吗?还是在交叉路口区域精度很高就可以了?
谷小丰:高精地图从生产的角度来讲没有什么质的区别,但是全国解算资源分布不均匀,所以会有的地方的绝对精度会不一样,而相对精度还是由设备保证的,所以在以激光镭达,高精度惯导为主的一套设备,相对精度基本上是没有什么差异。
提问三
苏伟-北汽新能源-高级经理
1.当前的导航地图(SD),ADAS地图,HAD高精地图,这三者在今后的发展是相互取代的关系?还是说给人看的SD地图与给车看的HAD高精地图会同时存在?
2.国内在做的几家图上,例如高德,百度,四维,都在做高精地图这块业务,当然还有类似光庭等公司。那如何看待行业内的技术实力和大家的发展路线?
谷小丰:1. 这是一个大家容易混淆问题。从地图学的角度来讲,他们三者都属于不同目的的专题图,就像咱们小时候学的行政区划图与地形图,它们之间没有取代关系,它们之间是相互关联,完成不同的动作。
2. 图商不是应该仅仅关注自己如何发展,应该更多关注新的公司,比如国内的Momenta,国外的Deepmap,看这些技术大牛在新的方向探索出什么变化,而这些变化是值得传统图商关注的。
提问四
严明 中瑞交通安全研究中心项目经理
如何在不影响国家地理信息安全的前提下,尽可能提升高精地图的采集覆盖面与准确度?
谷小丰:这个现在在做高精地图的都是有资质的图商,他本身没有什么覆盖面积的差异准确度,实际上准确度并不是政策关心的问题,而是质量方面的问题。
还有一个福利
我们的「自动驾驶」社群全面开放申请啦。诚邀你加入,将能认识到来自谷歌Waymo、上汽、北汽、一汽、百度、博世、大陆、蔚来汽车、NVIDIA、Mobileye、智行者、图森、高德等整车厂和供应商的上万名汽车工程师和从业者。
同时,我们会定期邀请自动驾驶方向和新能源汽车领域的知名创业者和技术大牛,主讲自动驾驶系列课。如果对自动驾驶有强烈兴趣,可以添加车小东微信(ID:cdxauto)申请入群交流。