星空·综合体育官网入口 前沿研究丨李德毅院士:基于驾驶脑的智能驾驶车辆硬件平台架构
介绍
智能驾驶车辆测试平台是人工智能科学、认知科学、控制科学等学科最新理论与实践的成果。也是智能驾驶理论与技术研究的基础。不同的智能驾考平台的传感器型号、数量、安装位置不同,导致传感器信息处理模块也不同。不同行车地图提供的信息粒度没有固定的标准。由此产生的智能驾驶系统软件模块的数量和接口各不相同。
中国人工智能学会名誉主席、中国工程院院士、中国人工智能学会院士李德毅院士科研团队在中国工程院院刊《工程》上撰文指出,基于智能驾驶汽车以驾驶大脑为核心的软硬件架构,决策模块不会直接处理传感器信息。模块关联起来,通过驾驶认知形式化语言将驾驶认知形式化,由驾驶大脑认知形成决策。驾驶认知的形式化减少了传感器数量、类型和安装位置变化对整个软件架构的影响,使得软件架构可以轻松移植到不同传感器配置的车辆平台上。
一、简介
智能驾驶车辆测试平台是人工智能科学、认知科学、控制科学等学科最新理论与实践的成果。也是智能驾驶理论与技术研究的基础。
早在20世纪50年代,美国就开展了无人驾驶汽车的研究。 1950年,美国巴雷特电子公司研制出世界上第一辆自主导航车。美国无人机研究起源于美国国防高级研究计划局(DARPA),其研究水平处于世界领先地位。欧洲国家从20世纪80年代中期开始研发无人驾驶技术,将无人驾驶车辆视为独立实体星空体育app下载入口,允许车辆与正常交通流混合。 1987年,慕尼黑联邦国防军大学与戴姆勒奔驰、宝马、标致、捷豹等知名研发机构和汽车公司共同参与普罗米修斯计划(Programme for a Europe Traffic of Highest Efficiency and Unprecented Safety,PROMETHEUS)。范围内产生重大影响。自20世纪90年代以来,日本交通部高级巡航辅助公路系统研究会(AHSRA)每五年启动一次高级安全车辆(ASV)项目。开展一阶段无人驾驶技术研究。我国无人驾驶技术的研究始于20世纪80年代末,得到国家高技术研究发展计划(863计划)和国防科工委相关研究计划的支持。自2008年起,在国家自然科学基金委的支持下,我国启动了智能汽车未来挑战赛。参赛车队数量逐年增加,比赛难度逐年增加,赛车队完成质量逐年提高星空综合体育app下载,车企参赛热情逐渐高涨,为为无人驾驶技术引入国产汽车奠定了坚实的基础,无人驾驶技术取得了长足的进步。
传感器配置是智能驾驶车辆的基础,用于感知智能驾驶车辆实时的外部和内部环境,包括感知智能驾驶车辆的周围环境、自身车辆状态、航向角、位置、根据不同的研究策略,不同的智能驾驶车辆测试平台具有不同的传感器配置、传感器类型和安装位置。没有统一的标准解决方案。一些研究团队主要依靠视觉传感器,典型代表是意大利帕尔马大学VisLab实验室的智能汽车团队和卡尔斯鲁厄理工学院的智能汽车团队;一些研究团队主要依靠雷达传感器,典型代表是谷歌的自动驾驶团队Vehicle Team和LMU无人驾驶车辆团队。在传感器配置方案中,不仅需要考虑决策过程的需要,还需要通过必要的冗余和验证来提高环境感知的可靠性。传感器配置的成本也需要考虑。对于传感器的类型和配置,既没有唯一的解决方案,也没有最终的解决方案。本文设计了以驾驶大脑为核心的无人驾驶汽车的技术架构,体现了体现人类认知的驾驶大脑的架构设计,减少了传感器数量、类型、安装位置的变化对车辆的影响。整个架构,使得基于驾驶大脑达到更好的效果成为可能。核心技术架构可移植到不同传感器配置的智能驾驶车辆平台上。
智能驾驶技术和智能驾驶车辆研究的重要意义是提高交通安全,预防和减少交通事故,减少燃油消耗造成的环境污染,加快智能社会的发展。智能驾驶汽车是一种集认知科学、人工智能科学、控制科学等前沿科学技术于一体的轮式机器人。其研究目标是实现人类驾驶和机器驾驶的双重驾驶和双重控制,实现人与机器的和谐驾驶。提高车辆行驶安全性,推动智能汽车产业发展。
本文分析了人类驾驶员的驾驶活动,基于驾驶大脑的技术架构构建了智能驾驶车辆硬件平台。主要贡献总结如下:
(1)基于猛狮智能车辆测试平台,分析了人类驾驶员大脑认知的工作原理和驾驶活动,建立了驾驶大脑不同功能区与计算机软件模块之间的关系。通过驾驶认知语言表达驾驶认知,即以驾驶大脑为设计核心,开发智能汽车通用的智能驾驶软件架构。
(2)智能汽车使用多种传感器。这些传感器安装在不同的位置,形成统一的信息集成架构。本文基于人类自然认知规律设计建立了智能决策模块与传感器之间的低耦合方法,并对应上述设计进行实现(即以驾驶大脑为核心) 。
本文的结构如下。第二部分分析人类驾驶活动并构建驾驶大脑架构。第三部分建立基于猛狮智能驾驶车辆平台的驾驶大脑架构的硬件配置和连接。第四部分介绍猛狮情报。驾驶车辆传感器配置及传感器分析;第 5 节讨论;第 6 节总结了全文。
2、驱动脑与人脑功能区的对应关系
无论是人类驾驶还是无人驾驶系统,其驾驶活动都涵盖三个空间:感知空间、认知空间和物理空间。
在感知空间中,人们利用视觉、嗅觉、触觉等多种感官,无人驾驶汽车利用各种传感器来获取周围环境和自身状态的信号。
在认知空间中,人脑的驾驶相关区域和无人驾驶汽车的驾驶大脑通过选择性注意机制从感知空间的各种信号中提取与驾驶活动相关的交通要素,形成驾驶情境并利用现有的知识和分析和了解当前和历史驾驶情况并做出决策的经验。
在物理空间中,人通过四肢控制方向盘、油门、刹车,无人车通过机械结构和电信号控制方向盘、油门、刹车,使车辆达到或接近预期状态,将当前状态反馈到传感空间,形成闭环控制(图1)。
▲图1 驾驶活动中的三个空间
人脑通过不同区域的协同工作来完成学习记忆并实现驾驶活动。驾驶大脑利用计算机技术解构这一活动机制,分析并完成人脑功能区与驾驶大脑功能模块之间的对应关系。人脑主要包括感觉记忆、工作记忆、长期记忆、计算中心以及思维、动机、个性、情感等功能区。
感觉记忆完成感觉信息的瞬时存储。虽然存储时间短,但信息量大。对应智能车辆传感器对周围环境的感知。对于传感器获取的图像、点云等原始信号(例如存储在缓冲区中),新数据很快就会覆盖旧数据。这种机制类似于感觉记忆的工作原理。
感觉记忆中的感觉信息被计算中心和思维快速分析,通过选择性注意机制,提取与当前活动相关的内容并转移到工作记忆中。每个驾驶员大脑中的传感器对应的信息处理模块完成对各种车辆传感器信息的预处理和分析,获取车道标线、红绿灯、交通标志、过往车辆、行人、自车状态等驾驶相关信息和位置。 ,与驾驶无关的信息很快就会被丢弃。
重要的驾驶经验、知识、场景等信息都存储在长期记忆中。对应智能驾驶的驾驶地图和驾驶操作模型,驾驶地图准确记录了与驾驶相关的地理信息,包括车道宽度、交通标志、静态障碍物信息等。驾驶操作模型包括轨迹跟踪模型、跟车模型、变道模型、超车模型等,这些都是智能驾驶车辆的运行规范。驾驶地图和驾驶操作模型共同构成了智能驾驶系统的先验知识。长期记忆中与当前活动相关的内容被计算中心和思维提取并转移到工作记忆中。该提取过程对应于智能驾驶车辆的驾驶地图映射模块。
工作记忆临时存储与当前驾驶活动相关的重要信息。这些信息部分来自从感觉记忆中提取的实时信息,部分来自从长期记忆中提取的先验知识。这些实时信息和先验知识相互融合,为计算中心和思维提供分析决策的信息池。相应地,智能驾驶系统包括公共数据池。数据池是驾驶认知的形式化表达。将各传感器信息处理模块提供的多种异构实时驾驶信息以及驾驶地图提供的驾驶先验信息统一采用驾驶情境形式语言表达,全面反映无人驾驶驾驶情况。车辆周围的驾驶情况。
人体计算中心和思维根据工作记忆中的信息做出实时决策,肢体控制执行器做出反应。对应智能驾驶系统的智能决策和自动控制模块。智能决策模块根据当前或历史驾驶情况,结合先验知识,完成行为选择、路径和速度规划等功能。自动控制模块接收规划的路径和速度,完成油门、刹车、方向的协调控制,使车辆达到或接近预期状态。
人脑还具有人格、情感等功能区域。个性反映了不同驾驶员在不同时间和地点的驾驶风格。对于智能驾驶系统来说,驾驶风格是由驾驶操作模型中的参数决定的。情感是生物的独特属性。人类的驾驶行为会受到情绪焦虑、恐惧等影响,阻碍安全驾驶。驾驶大脑的实现不包括人脑中的情绪,因此需要保证驾驶行为的安全稳定。人脑功能区与驾驶脑功能模块的对应关系如图2所示。方框中描述了驾驶脑的功能。
▲图2 人脑功能区与驱动脑功能模块的对应关系。 SLAM:基于位置的即时地图
不同的智能驾考平台有不同的传感器型号、数量、安装位置以及传感器信息处理模块。不同行车地图提供的信息粒度没有固定的标准。由此构成的智能驾驶系统的软件模块的数量和接口各不相同。以驾驶大脑为核心,将驾驶认知形式化,利用驾驶认知的形式化语言,设计出通用的智能驾驶软件架构。在该架构中,智能决策模块不与传感器信息直接耦合。通过传感器信息和地图先验信息形成的综合驾驶情境完成智能决策。基于驾驶大脑的猛狮智能驾考平台架构如图3所示。
▲图3 基于驾驶大脑架构的猛狮智能驾驶测试平台。 CAN:控制器局域网; CT:计算机断层扫描; GPS:全球定位系统; MMW:毫米波; OBD:车载诊断; RTK:实时动态
3、基于驱动大脑的硬件架构
(一)硬件配置
智能驾驶车辆平台机械结构不同,有汽油车、电动车、公交车等,机电改装也不同。经过大量的工程测试,智能驾驶车辆测试平台可以通过CAN总线进行实时通信,实时准确地控制智能驾驶车辆的方向、油门和制动。智能驾驶车辆的动态性能测试保证了智能驾驶车辆与成品车的一致性。动力学性能的一致性。
智能驾驶车辆根据环境感知的可靠性和传感器配置的成本来配置车载传感器。以雷达传感器为例,SICK激光雷达和毫米波雷达识别低矮障碍物,四线激光雷达识别动态障碍物,八线激光雷达识别道路可行驶区域,Velodyne 64线激光雷达识别车速和速度动态障碍物。道路边界、车身定位。根据决策过程的需要,可以部署一台Velodyne 64线激光雷达,也可以同时部署多台激光雷达的组合,但这需要结合无人车硬件平台的成本。以视觉传感器为例,视觉传感器的配置方案是在无人车某一位置部署广角摄像头或全景摄像头,通过多线程实现一个摄像头对多个目标的并行检测,例如停车线、斑马线和车道线。 、红绿灯、交通标志、行人、车辆、动静态障碍物等均可检测识别;还可以在无人车的不同位置部署多个广角摄像头或全景摄像头,使每个摄像头完成专门的检测和识别任务。基于驾驶大脑的智能驾驶车辆硬件平台验证了不同类型、不同厂家的多种传感器,并在不同的智能驾驶车辆测试平台上进行了测试,保证信息的可靠性和冗余性。
图4为猛狮智能驾驶车的传感器配置。猛狮智能驾驶车辆测试平台在车辆顶部配备了Ibeo的8线激光雷达。 SICK 单线激光雷达直接安装在车辆前方,用于检测低矮障碍物。车辆后部安装了一台SICK单线激光雷达和一台单线激光雷达。毫米波雷达为基于雷达的同步定位与建图(SLAM)提供了丰富的数据支持。雷达是无人车测试平台广泛使用的传感器之一。此外,猛狮智能驾驶车辆测试平台的视觉传感器配置主要包括车内前挡风玻璃正上方安装的三个AVT 1394 Pike F-100C摄像头,以及左右后视镜正下方各安装一个视觉传感器。 ,前者主要用于感知交通标志、红绿灯等,后者主要用于采集左右车道线图像,提高车道线识别检测的准确性。猛狮智能驾驶车辆测试平台的导航定位系统采用NovAtel SPAN-CPT产品,主要由全球定位系统(Global Positioning System,GPS)和惯性导航系统(INS)组成。
▲图4 猛狮智能驾驶车传感器配置
通过在猛狮智能驾驶车辆测试平台上的传感器配置测试发现,不同的传感器配置方案具有不同的功能,且功能相辅相成。驾驶大脑被认为是自动驾驶汽车软硬件架构的核心。感知结果表示为反映时间序列的点云簇,认知结果表示为驾驶情境图簇,决策结果表示为认知箭头簇。通过驾驶认知的形式语言,即驾驶情境认知图,驾驶识别是知识的形式化,通过驾驶大脑认知形成驾驶情境图簇进行决策,决策的结果是可视化的认知箭头簇。体现人类认知的驾驶大脑的架构设计是智能驾驶汽车的核心。驾驶认知的形式化减少了传感器数量、类型和安装位置变化对整个架构的影响,使得该架构可以轻松移植到不同传感器配置的车辆平台上。
(2)硬件连接
猛狮智能车的物理连接如图5所示。SICK激光雷达和Ibeo激光雷达通过交换机与工控机(IPC)连接。德尔福毫米波雷达(MMW)通过CAN总线直接连接到IPC。 GPS和INS通过RS232串行总线与IPC连接。 AVT 1394 Pike F-100C 摄像机通过 1394 标准视频传输线连接到 IPC。 IPC完成数据融合、决策规划、动态控制等功能。控制命令通过 CAN 总线发送至油门、制动器和方向盘的执行器。
▲图5 猛狮智能驾驶车传感器配置
(3)硬件平台性能分析
基于驾驶员大脑的无人驾驶车辆架构将智能决策与传感器信息解耦。传感器信息处理模块的输出通过驾驶认知的形式语言统一,形成实时驾驶状况信息;驾驶地图中的信息根据车辆的实时位置和方向映射到驾驶情况,并与实时驾驶情况信息集成。 ,形成全面反映当前驾驶情况的公共数据池。智能决策模块基于这个公共数据池,综合考虑交通规则、驾驶经验等先验知识来完成智能决策。通过驾驶认知的形式语言,在完整驾驶信息的情况下,增减一个或多个传感器、改变传感器型号或安装位置将不再对智能决策产生直接影响。整个架构可以轻松迁移到不同的车辆测试平台,只需很少的更改甚至根本不需要调整。
4、基于驾驶大脑的实车硬件平台
(1)猛狮智能汽车硬件平台
猛狮智能车是清华大学和陆军军事交通学院在李德义教授指导下设计研发的。图6为猛狮智能车外观,图7为猛狮智能车(猛狮3)的传感器部署,由5个雷达传感器、3个视觉传感器和1个集成位置/姿态传感器组成。雷达传感器包括两个 SICK 雷达(型号 SICK® LM291-S05)、一个 4 线激光雷达(型号 Ibeo® LUX4L)、一个 8 线激光传感器(型号 Ibeo® LUX8L)和一个毫米波雷达(型号 Delphi® ESR) )。视觉传感器由 3 个摄像头(型号 AVT® 1394 Pike F-100C)组成,均匀安装在前挡风玻璃后面。位置/姿态传感器由 GPS 和 INS(型号 NovAtel® SPAN-CPT)组成。每个传感器的详细描述如表 1 所示。
图6 猛狮智能车外观
图7 猛狮智能车传感器部署
表1 猛狮智能车传感器说明
中央控制器由工控机(含Intel Core i7-3520 M2.9 GHz处理器)组成星空·综合体育官网入口,软件开发环境为Visual Studio 2013。执行器包括转向系统、电液制动系统和电子油门控制系统。该转向系统在原车转向系统的基础上,配备了独立的电动助力转向系统(EPS)。在原车液压制动系统的基础上,增加了电控液压制动系统和独立的电控液压系统。该系统与原有液压管路串联,两个系统之间不存在冲突。电子油门控制系统的工作原理是直接修改原车的电子油门来实现车辆发动机的控制。执行器工作模式、通讯接口、波特率和最小执行周期如表2所示。
表2 猛狮智能小车执行器说明
(2)猛狮智能车测试结果
上述硬件架构应用于参加国家自然科学基金委员会组织的第三至第七届智能汽车未来挑战赛(IVFC)的猛狮系列智能汽车。猛狮系列智能车在第三届、第五届比赛中荣获亚军,在第四届、第六届、第七届比赛中荣获冠军。
同时,2012年,基于驾驶大脑硬件架构的“猛狮3”智能驾驶汽车完成了从北京太湖收费站到天津东丽收费站共计114公里的高速无人驾驶测试; 2015年8月29日 9月1日,全球首辆基于驾驶大脑架构的无人驾驶公交车在郑州至开封的开放道路上完成无人驾驶测试,顺利抵达终点,开启了无人驾驶公交车的新时代。
5. 讨论
在长期的实验中,我们认识到传感器不能代替大脑,感知不能代替认知。无论传感器多么完美,即使包括人类的感官,它的认知能力也是有限的。只有代表大脑认知的驱动脑才是全局认知。驾驶大脑的认知不仅整合了感官信息,还整合了大脑中的先验知识和驾驶经验中的时空相关知识。同时,智能驾驶车辆的智能决策也必须由驾驶大脑来完成,而不能简单地基于任何传感器。驾驶决策并不完全基于多通道传感器形成的当前和历史驾驶情况,还应结合各种驾驶先验知识。
六、结论
基于以驾驶大脑为核心的智能驾驶车辆软硬件架构,决策模块将不会与传感器信息处理模块直接相关。通过驾驶认知的形式化语言,将驾驶认知形式化,通过驾驶大脑认知形成决策。驾驶认知的形式化减少了传感器数量、类型和安装位置变化对整个软件架构的影响,使得软件架构可以轻松移植到不同传感器配置的车辆平台上。
改编自原文:
李德毅,高洪波. 基于驾驶大脑的智能汽车硬件平台框架[J].工程,2018,4(4):464-470.
我要评论