星空体育app下载入口 最新汇总！开源驾驶仿真平台推荐

沉寂了近两年，我终于又开始更新知乎了。这是对《开源驾驶模拟平台评测-2021》的更新、扩展和补充，也是对个人作品的介绍和推广。

本文的详细版本可在《明智地选择模拟器：自动驾驶开源模拟器评论》中找到。在本文中：

回顾了迄今为止驾驶模拟器的发展历史并预测了未来可能的发展趋势；

调查截至2023年有一定影响力的开源驾驶模拟器的维护状况、功能、性能及适用场景，并根据用途对现有驾驶模拟器进行分类推荐；

本文论证了当前开源驾驶模拟器存在的关键问题，主要分为真实性和模拟性能两大方面。讨论了这些关键问题的重要性，并研究了可能的解决方案。

该论文目前处于早期访问状态，完整版本预计要到下个月才会上线。

动机

在博士生涯之初，因为对CV兴趣不大，所以强迫自己研究驾驶决策算法，并一度迷恋强化学习。然而，在验证算法的性能之前，找到合适的实验平台和基准测试非常重要。在研究过程中，我发现开源驾驶模拟器充满了各种各样的问题，这使得基于模拟验证的驾驶决策算法很容易受到质疑，因为它们在提交时不实用。近年来，开源驾驶模拟平台层出不穷。然而，由于性能和维护状况等问题，它们并不一定能让研究人员更容易在这一领域起步。相反星空体育平台官网入口星空·体育中国官方网，他们制造了更多需要个人克服的陷阱。

在这种情况下，我们有必要对适合自动驾驶相关任务的模拟器进行更全面的调查，检查哪些开源驾驶模拟器仍然值得使用，并讨论现有开源模拟器的局限性。以便自觉避免因相关方面算法验证实验不足而引起的疑虑。另一方面，本文也可以算是给开源驾驶模拟器开发者的建议。从用户的角度，列出了当前要求解决的关键问题，这将帮助开发者更有针对性地优化自己。模拟器。

历史

驾驶模拟器的发展历史与本博客关联不大，这里就略过。

过滤条件概览

在回顾模拟器的历史并对模拟器进行分类的过程中，由于商业模拟器在某些任务上比开源模拟器具有无可比拟的优势——在某些领域商业模拟器甚至占据主导地位，所以我们必须将其包括在内。研究范围。然而，当谈到推荐工具和讨论现有的缺点时，考虑到本文主要针对资源相对较少的学术实验室和个人研究人员（而且我也没有获得这么多授权），我会回落到仅开源的状态讨论了模拟器。

由于近年来模拟器发布数量较多，而我们的人力有限，因此在开始研究之前，我们设置了几个相对简单粗暴的基准来筛选候选模拟器。如有遗漏还请见谅：

商业模拟器的研究主要基于工业合作伙伴和专家的推荐，并要求模拟器具有可访问的官方网站；

关于开源模拟器的论文在 Google Scholar 上被引用超过 100 次；

开源模拟器的存储库拥有超过 100 颗星；

考虑到手头资源的限制，我们并没有实际测试每个模拟器的硬件在环测试能力，而是总结了软件所有者在网站/论文上自我声明的支持级别。

目前不同类型仿真器的总体情况如表所示。我们判断维护状态的方法是检查软件在一年内是否进行过任何类型的更新。如果没有，则认为不再主动维护。如果最近的更新恰好是大约一年前，则会打上问号。一年内更新视为正常维护。完整的表格可以在正式发表的论文中找到。

常见开源/商业模拟器现状概述及分类

本节简要解释上表中的模拟器类别定义，并根据相关任务推荐开源模拟器（官方论文中有更详细的表格列出了不同类型模拟器的具体功能）。

模拟器类别和任务的关联 交通流模拟器

此类模拟器主要用于模拟交通系统中大规模车流的运行状态。其特征一般包括可编辑的路网结构和微观交通流，并且通常使用相对单一的驾驶行为模型来控制车辆。此类模拟器可用于研究自动驾驶中与车路协作、车队和联网智能车辆（CAV）相关的任务。在此类模拟器中，目前唯一正在积极维护的流行开源模拟器是 SUMO。

传感数据模拟器

此类模拟器的目的是弥补真实数据中极端天气样本的不足，增强感知模型的泛化能力。他们追求的是在各种光照、可见度、反射率等条件下通过渲染或学习方法生成高度真实的光学感知数据（RGB图像、语义分割、实例分割，甚至激光雷达）。由于这类模拟器的开发成本高、难度大，实际效益低，相关开源模拟器已经基本停止维护。如果需要使用模拟器生成训练/测试感知数据，目前比较合适的选择是综合模拟器CARLA。

驾驶决策模拟器

驾驶决策模拟器是指仅用于验证驾驶决策算法的模拟器。它们与综合模拟器的主要区别在于，为了节省开发成本，这些模拟器常常省略或简化车辆动力学模型的建模。无法生成真实的原始感官数据。大多数驾驶决策模拟器仅提供鸟瞰图的语义分割数据。然而，相应地，它们在多智能体并行仿真和交通参与者行为模型仿真中往往具有更好的性能。对于模仿学习算法的研究者来说，只要环境能够提供理想的环境感知结果，决策模型的运行基本上可以脱离环境，因此在选择模拟器时会有更大的自由度。除VDrift外，其他正在维护中的仿真环境基本都提供原生RL训练支持，大家可以根据自己的需求进行选择。 MetaDrive 是一款轻量级模拟器，具有 3D 图形界面，可以生成无限的交通场景。建议用于训练端到端驾驶决策模型。

车辆动力学模拟器

此类模拟器主要模拟车辆的物理运动性能。它在车辆设计工程中的应用由来已久，有着悠久的历史。在与自动驾驶相关的任务中，车辆控制通常需要在高保真车辆动力学模拟器上进行验证。这类模拟器需要收集大量真实车辆在各种极端状态下的行为数据，这意味着如果不与车辆制造商密切合作，几乎不可能凭空建立出精确的车辆物理模型。毫不奇怪，此类模拟器的开发被一些成熟的商业软件所垄断。在开源软件中，机器人领域常用的Gazebo是为数不多的可用选项之一，而基于Matlab的车辆动力学在学术实践中也比较常见（在工业界，请不要来这里，谦虚。 .jpg）。

综合模拟器

综合模拟器是能够为多项自动驾驶相关任务提供模拟验证的软件。在Nvidia Drive Sim可能开源之前，能够称霸开源软件的作品无疑是CARLA。

说起来挺搞笑的，前几年研究中很有前途的LGSVL和AirSim现在都转成Archive模式了。我只能说模拟本身真的很难做到ಥ_ಥ

关键问题

目前开源模拟器普遍面临真实性和模拟效率问题。这里提供了关键问题的简要描述，并在本文中提供了可能的改进的调查。

真实性 - 感知数据

感知模块面临的一个主要挑战是算法的泛化。即使对于物体检测等基本任务，感知模型的性能在极端天气下也会显着下降。这个问题确实可以通过收集真实数据来解决，但现实中极端天气的发生往往是非常随机的，创建相关的大规模数据集非常耗时和成本高昂。需要充分发挥模拟器的优势，生成更真实的不同模态的原始感官数据。

事实上，在游戏开发领域，已经积累了大量与渲染相关的技术基础。这些技术如果能应用在模拟器上那就最好了。然而，考虑到游戏的图像渲染可能无法满足真实性的要求，另一个想法是模拟器提供原生接口，允许访问基于学习的图像生成/风格处理类型算法，访问3D建模，并直接它的加工。

真实性-交通场景

交通场景可以分为几个部分：静态地图和交通标志、随时间有规律变化的交通规则（红绿灯等）以及高度随机的交通参与者。地图和交通规则主要在自动构建方面存在瓶颈，影响了模拟器的开发，稍后会进行说明。影响交通场景真实性的主要因素是交通参与者的行为模型。过去几年，大多数模拟器要么提供基于统一规则的行为模型，只有一定的参数多样性；要么提供基于统一规则的行为模型，只有一定的参数多样性。或者直接规避这个问题，只提供录音和播放功能。近年来InterSim和TBSim的出现反映出相关问题逐渐受到关注，但仍需进一步研究。

真实性-车辆模型

车型的真实性一直是阻碍基于模拟器验证的自动驾驶系统直接投入实车的绊脚石。如前所述，独立研究人员单独解决这个问题是不现实的。在理想的情况下，他们要么等待汽车制造商的良心发现并公开他们的核心秘密，要么大家都立足于手头的实车。 ，共享一些实体实例实验车辆的运行记录，并创建符合一定社区标准的公共数据集。其实在现实中，这两种模式基本上都是幻想，在这里只是梦想。

仿真效率-数据准备-格式不一致

目前许多开源模拟器对公共轨迹数据集和地图格式的支持不足，导致研究人员反复重新发明轮子，或者在某些模拟器之间跳转以使用特定的数据集/地图格式。去。这显着减慢了模拟数据准备过程。

仿真效率-数据准备-手动地图标注

目前的地图标注过程仍然涉及大量的体力劳动。对于 OpenDRIVE 地图如此，对于 3D 高精度地图更是如此。这是批量创建多样化交通场景的瓶颈。近年来，快速自动建图的算法得到了大力发展，NeRF基本被大家所熟知。但NeRF在数据格式和粒度上显然无法满足工程要求，需要进一步发展。

模拟效率-运行速度

由于开源仿真器的开发者大多都是为了爱发电，实力较弱，因此在仿真软件性能、远程/分布式部署、并行计算等方面显然很难做到尽善尽美。即使是一些开源模拟器也不一定能够实时运行，以数倍于实际速度加速训练和测试过程是非常困难的。但这往往是用户需求最强烈的问题，因此优化是必要的。

仿真效率-迁移-HIL测试

开源仿真器和商业软件之间的一大差距还在于对HIL测试的支持。从表中可以看出，具有此功能的开源模拟器很少。然而，这主要是一个工程问题。构建和维护HIL测试接口需要大量的人力和物力。只能说，用户在进行仿真测试时，需要注意被测算法与实车的差距，并在实验描述设计时注意可能存在的漏洞。

联合推广开源模拟器

以下是与正文相关的广告链接~

这些描述均为个人和情感描述，尚未正式收录在任何期刊中，因此请仔细阅读并自行判断信息的价值。

战术2D

这是我正在开发的驾驶策略模拟器。遵循我们朴素决策模型研究人员的风格，我们从 BEV 角度提供语义分割图作为环境反馈。此外，我们还添加了单线激光雷达的感知结果。

Github 链接：%3A//github.com/WoodOxen/tropics2d

疯狂轨迹数据集兼容性：如果您有其他数据集的分析需求，请提交issue~

花哨的地图格式兼容性：V1.0.0将为OSM、Lanelet2注释风格OSM和OpenDRIVE提供解析支持。根据当前少数用户的反馈，我们计划添加对地图和场景导出为 SUMO 道路网络的支持。

停车/赛车场景生成：我自制了一个RL环境来生成无限的停车场景。我还基于Gym-box2d优化了CarRacing，并计划继续维护它。

基于日志回放的交互场景生成：通过加载上述数据集中的场景，随机选择车辆作为决策模型控制的代理，将行为模型注入到其他场景的车辆中，当车辆发生异常时接管并与车辆交互。代理车辆影响日志轨迹。

高度定制化：您可以定制交通场景中的几乎任何组件——交通参与者、地图元素、环境奖惩函数，并导入新的行为模型。我们非常欢迎添加新功能。目前代理交互模块尚未调试完毕，打包发布过程仍在测试中。预计V1.0.0版本将于本月底前正式发布。欢迎大家尽早关注，加入discord社区，帮助内测QAQ。

元驱动器

这是在@Blackmore的领导下开发的模拟器。这是一个非常nb的工作。唯一的缺点是我的模拟器在某些方面的性能无法与他相比，所以我别无选择，只能开发其他功能以避免成为竞争产品。 （手动狗头）。

github链接：%3A //github.com/metadriverse/metadrive

特征：

它非常轻量级，在多智能体模式下模拟效率非常高。我使用的是2080显卡，跑了30个agent的场景，依然可以保持20Hz的运行速度。

无限交通场景生成：大规模交通场景仿真建模开源平台

支持远程部署和并行计算。

还有很多其他的功能，欢迎大家自行探索。

策略

显然，这是Tactics2D的兄弟。不幸的是，它的完成度很低，我预计它要等到我博士毕业后才能发布。

其建设目标是成为一个高度真实但轻量级的3D模拟器，能够满足极端天气的传感器数据模拟的需求。它内置拖放地图编辑功能（参考城市天际线），并根据传感数据自动生成3D图像。高精地图（这部分将由我明年入学的大三学生主导，大家可以想象一下这个模拟器的开发周期）也会为一些冷门类型提供动态模型模拟星空综合体育app下载，比如两节拖车。

其最大的特点还包括高度的定制化。我计划保持软件本身尽可能强大，并允许它连接到各种后期渲染模型、交通参与者行为模型和动力学模型。 。作为一个理想主义的疯子，我真的在考虑围绕 Tactics 建立一个类似于 Steam 创意工坊的平台，让每个人都可以分享车辆、标志和道路类型的各种参数 - 也许你最终会通过 Steam 下载它。

因为我是这个项目唯一的常驻开发商。在过去的三年里，我只设计了整个系统的架构，并弄清楚开发它需要哪些专业知识。功能实现还是零碎的，我只针对极端天气进行了工作。和动态模型。如果有对这个项目感兴趣的朋友，非常欢迎私信我，我们一起来建造一座城堡吧~

gitlab 链接：%3A//github.com/WoodOxen/tropics

投稿作者为“自动驾驶心知识星球”特邀嘉宾，欢迎大家一起交流！

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精度地图、世界模型、点云3D目标检测、目标跟踪、占用、CUDA和TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等学习视频（扫描二维码即可学习）

网站官方网站：

② 国内首个自动驾驶学习社区

国内最大最专业的交流社区，近3000人，得到了大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到1，向您介绍自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、占用、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精度地图、本地在线地图）、自动驾驶规划控制/轨迹预测等领域的技术解决方案、大模型、端到端等，还有作为行业趋势和职位发布！欢迎扫描下方二维码，加入自动驾驶之心的知识星球。这是一个提供真正有用信息的地方。可以和领域大佬交流入门、学习、工作、跳槽的各种问题，分享日常论文+代码+视频。

③【自动驾驶之心】技术交流群

自动驾驶之心是第一个自动驾驶开发者社区，专注于感知、定位、融合、调节、标定、端到端、仿真、产品经理、自动驾驶开发、自动标注和数据闭环。目前已有近60+技术交流群，欢迎加入！

自动驾驶感知：目标检测、语义分割、BEV感知、毫米波雷达视觉融合、激光视觉融合、车道线检测、目标跟踪、占用、深度估计、变压器、大模型、在线地图、点云处理、模型部署、CUDA加速等技术交流群；

多传感器标定：相机在线/离线标定、激光雷达-相机标定、相机-雷达标定、相机-IMU标定、多传感器时空同步等技术交流群；

多传感器融合：多传感器融合后技术交流群；

规划控制与预测：规划控制、轨迹预测、避障等技术交流群；

定位与建图：视觉SLAM、激光SLAM、多传感器融合SLAM等技术交流群；

3D Vision：3D重建、NeRF、3D Gaussian Splatting技术交流群；

自动驾驶仿真：Carla仿真、Autoware仿真等技术交流群；

自动驾驶开发：自动驾驶开发、ROS等技术交流群；

其他方向：自动标注与数据闭环、产品经理、硬件选型、求职面试、自动驾驶测试等技术交流群；

扫描二维码添加汽车人助手微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】平台矩阵，欢迎联系我们！