为什么7V就能实现城市领航？揭秘「成行平台」传感器构型设计思路
时间：2024-03-27 来源：大疆车载 作者：管理员
【汽车供应商网】不久前，「成行平台」的高算力配置公布，其中「7V+100TOPS」升级版配置，可以复用基础版的7V视觉构型，只需升级算力至100TOPS即能实现包含城市领航的高阶智驾能力。
对于长期关注大疆车载公众号科普栏目的朋友，可能首先会想到「惯导立体双目摄像头」的独特优势。的确，这是7V视觉构型实现高阶智驾的关键之一，除此之外，还有一系列的思考和实践。归根结底，是大疆车载坚持推动高阶智驾普及的出发点，以及根据市场真实需求和客观约束条件进行系统设计，才得以在高阶智驾系统中全球首创7V视觉构型。
如果将智能汽车看作是能够自主移动的智能机器人，那么感知系统决定了车辆在智能驾驶过程中，到底是如何认识这个世界的。而车辆传感器的构型布局，则成为了搭建这套感知系统必不可少的基础。
这对成本、可靠性和性能这套彼此制衡又依赖的三角关系，提出了“既要又要还要”的要求。大疆车载在这个要求下追求极致，遵循着以下原则设计传感器构型：
构型简洁：不是盲目堆砌硬件，却发挥不出传感器应有的性能体验；合理选择传感器数量与规格，满足功能性能需求；综合考虑整车布置美观要求和集成难度，设计最简洁的配置;
复用度高：尽量让每个传感器在全场景功能中都发挥作用，复用同一套传感器满足行车/泊车/主动安全甚至整车创新应用的功能需求；避免为单一场景需求增添不必要的传感器；
算力高效：考虑传感器数据处理、算法应用的算力需求，使用尽量小的算力发挥出传感器性能；避免因算力低效导致的传感器性能浪费（如将8M相机当做2M图像使用）；
拓展性强：可支持基础、中阶、高阶等不同能力的智能驾驶产品，可灵活拓展更多类型传感器支持L3/L4智驾产品；
安全可靠：传感器选型应秉持安全第一的原则，尤其对于避障要求最高的前向感知需求，不仅要考虑常规障碍物的检测，也要考虑异型但高频障碍物的检测。
根据上述原则，「成行平台」全球首创7V高阶智驾视觉构型，在成本、可靠性和性能的要求下做到了以用户体验为本的平衡。甚至于目前仍在持续迭代发展的城市领航功能，也可以用7V视觉构型实现。
目前，市面上常见的高阶智驾系统通常搭配5R-11V-12U-xL构型，即5个毫米波雷达 + 11个摄像头 + 12个超声波 + x（0~3）个激光雷达。在泊车应用中，业界常见方案是使用环视鱼眼+前视摄像头+超声波雷达实现全向感知功能；在高阶行车应用中，已有方案通常需要额外增加5路周视摄像头以实现全向感知。其中针对领航城区高阶功能，大都需要额外搭配激光雷达。针对主动安全功能，往往又依赖毫米波雷达来实现。因此可以发现，为了满足不同场景的L2+功能，常见的传感器配置效率是比较低的：
行车、泊车使用两套摄像头，即行车用周视摄像头，泊车用鱼眼摄像头，两者基本不复用；
主动安全需要额外使用毫米波雷达，无法复用行泊车摄像头；
城市领航等高阶智能驾驶功能功能大概率需要额外使用激光雷达。
与这些常见的传感器构型方案相比，「成行平台」7V视觉构型不仅简洁优雅，严格遵循着传感器构型设计的四大基本原则；而且能够高效实现用户需要的高阶智能驾驶功能。基于7V视觉构型实现的高速领航、城市记忆领航、跨层记忆泊车等功能已经在多款车型上量产，给消费者留下了深刻的印象；而7V视觉构型实现的不依赖高精地图，全国都能开的城市领航功能，也已经可以体验，将在今年下半年量产上市。
如前所述，7V视觉构型实现高阶智能驾驶，首先得益于大疆车载所特有的惯导立体双目视觉感知技术：其得天独厚的仿生设计及其测距原理，能够直接获得道路场景中任意物体的深度估计数据，所生成的点云稠密度甚至超过激光雷达，相比单目视觉方案，还能够有效提升系统的安全性（拓展阅读：《惯导立体双目视觉系统：像人类一样看见三维世界》）。
7V视觉构型借助惯导立体双目视觉，融合了深度学习和双目点云的多模态感知方案，增强了应对不同场景的泛化能力。
此外，「成行平台」7V+100TOPS方案实现城市领航等高阶智驾功能，与大疆车载在双目立体视觉、全向鱼眼感知、高性能优化等技术的积累是分不开的，而且在100TOPS的域控制器上，还部署了大疆车载在双目OCC、道路拓扑模型、预测规划模型、端到端模型优化等技术上的最新成果。
行泊一体全向鱼眼 BEV：
在「成行平台」上，为了极致发挥鱼眼相机的作用，大疆车载将BEV技术应用于全向鱼眼相机，并于2023年基于32TOPS算力平台首次量产了行泊一体的全向鱼眼BEV，该技术是「成行平台」实现高速领航、城市领航等高阶行车功能的关键。在「成行平台」100TOPS算力配置上，全向鱼眼BEV将升级为Transformer架构，检测范围提升1.8倍，支持更强的动静态目标检测能力。
「成行平台」已量产的7V+32TOPS基础版配置，已经支持了双目BEV 2D Occupancy（占用网络）模型，也是国内首个不依赖激光雷达即可支持通用障碍物检测的量产方案。
在「成行平台」100TOPS算力配置上，通用障碍物检测方案进一步升级为双目3D OCC模型，且同时融合环视鱼眼，实现全向通用障碍物检测，提升避障/绕行和主动安全的性能体验。该模型同样应用于泊车场景中，支持多分辨率的占用网络预测，进一步提升跨层记忆泊车、狭窄车位的自动泊车能力。
定制智驾地图+道路拓扑模型
为了去掉城市领航对高精地图的依赖，应对城区高频变化的复杂道路基础设施，「成行平台」通过两大关键技术来解决领航需求：
首先，通过智驾域控内置定制智驾地图，解决全局路径规划问题。大疆车载与图商伙伴深入合作，基于标清地图，定制了智驾地图。该方案可满足天级更新频率要求，在地图成本、鲜度、精度上达到了平衡，由于其远超HD Map的覆盖度和刷新频率，使得「成行平台」无需专门“开城”等待高精地图/众包地图的逐一覆盖，量产即可做到“导航APP能到的地方均可达”。
此外，「成行平台」还将车道线模型升级为道路拓扑模型（RS-Net），实时推断局部的车道拓扑连接关系。基于Transformer架构的RS-Net可融合智驾地图特征，即使在复杂遮挡的路口场景也具备极强的脑补推断能力，提供可靠的路径规划引导。
PnP预测&规划联合模型
当前城市领航性能体验的瓶颈不在于传感器观测距离，而在于对复杂交通场景的预测和决策能力。对交通参与者的行为意图、运动轨迹预测，和本车的决策规划，两者是相互影响的。
「成行平台」基于Transformer的PnP（Prediction & Planning）模型对预测和规划进行紧耦合的建模，提升复杂场景的交互规划能力。PnP模型集成于OSP规划框架（拓展阅读：《开放空间决策规划技术：如何像人类司机一样流畅驾驶？》），既能通过数据驱动的方式持续提升规划能力上限，也能通过基于策略/优化的规划框架保障轨迹规划的安全性。基于强大的预测和规划能力，对于个别7V观测不足的场景，系统也能从容应对。
局部端到端模型的高性能部署优化
端到端模型在充足的训练数据和算力条件下，理论上可提升智驾系统的性能上限。但越是“黑盒”的端到端，对数据&算力资源需求越高，分析调优难度也越高。基于大疆车载丰富的量产经验和对技术的理解，现阶段局部端到端技术具备更强的量产可行性和实用性。
在局部端到端框架下，感知端将物体检测、车道线/道路拓扑检测、通用障碍物检测等诸多任务统一为一个模型，而规划端则将预测、决策、规划上下游任务联合。其本质是超多任务的联合模型，利用关联任务互相辅助学习，同时也能降低部署算力需求。「成行平台」只需100TOPS算力即实现了局部端到端模型的部署，背后依赖于大疆车载深厚的高性能优化能力，包括自研的模型优化、模型自动化部署、高性能算子、异构调度框架等一系列技术。
7V视觉构型是「成行平台」整体系统设计思路的成果，这使得纯粹的7V视觉构型就能实现各项高阶智能驾驶功能，而且具备极强的可拓展性：
* 基于7V传感器构型，可灵活搭配不同数量的毫米波/超声波/激光雷达，满足不同车企的功能定义需求，增强极端天气条件下的安全冗余；
* 基于7V传感器构型，可拓展为10V构型，进一步增强城区个别场景（如超宽超远路口）的应对能力；
* 基于7V传感器构型，可以根据车企实际情况灵活选择不同的芯片和计算平台；甚至对于已经售出的搭载「成行平台」7V+32TOPS基础版配置车型，技术上可以无需修改传感器，仅后装升级域控制器，实现「成行平台」升级版配置的所有功能。
而平台化的技术特点，灵活的配置和交付模式，和长期演进可升级的特点，让业界新技术可以快速上车，更增加了选择「成行平台」的理由。
可以说，大疆车载将高阶智驾搭载门槛降低到8万元级别的车型，而且有望将城市领航功能的门槛降低到15万元级别的车型上，这与7V视觉构型的成功是分不开的。
面对全球汽车市场都在积极追求智能化的需求，7V视觉构型以及背后整体的系统设计，为推动高阶智能驾驶的普及和全面覆盖提出了适用的解题思路。大疆车载正在持续践行企业使命：“为所有人，提供安全、轻松的出行体验”。
7V视觉构型包含一对大疆车载特有的前视惯导立体双目摄像头、一个后视单目摄像头、以及四个环视鱼眼摄像头，这已经是“极简”的配置。相对于传统十几个摄像头，并附加其他多种雷达等传感器的构型，为什么7V视觉构型如此简洁就能实现包括城市领航在内的全部L2+智能驾驶功能呢？
对于长期关注大疆车载公众号科普栏目的朋友，可能首先会想到「惯导立体双目摄像头」的独特优势。的确，这是7V视觉构型实现高阶智驾的关键之一，除此之外，还有一系列的思考和实践。归根结底，是大疆车载坚持推动高阶智驾普及的出发点，以及根据市场真实需求和客观约束条件进行系统设计，才得以在高阶智驾系统中全球首创7V视觉构型。
传感器构型设计原则：力求简洁，但不简单
如果将智能汽车看作是能够自主移动的智能机器人，那么感知系统决定了车辆在智能驾驶过程中，到底是如何认识这个世界的。而车辆传感器的构型布局，则成为了搭建这套感知系统必不可少的基础。
「成行平台」7V构型图（惯导双目+4鱼眼+1后视）
这对成本、可靠性和性能这套彼此制衡又依赖的三角关系，提出了“既要又要还要”的要求。大疆车载在这个要求下追求极致，遵循着以下原则设计传感器构型：
构型简洁：不是盲目堆砌硬件，却发挥不出传感器应有的性能体验；合理选择传感器数量与规格，满足功能性能需求；综合考虑整车布置美观要求和集成难度，设计最简洁的配置;
复用度高：尽量让每个传感器在全场景功能中都发挥作用，复用同一套传感器满足行车/泊车/主动安全甚至整车创新应用的功能需求；避免为单一场景需求增添不必要的传感器；
算力高效：考虑传感器数据处理、算法应用的算力需求，使用尽量小的算力发挥出传感器性能；避免因算力低效导致的传感器性能浪费（如将8M相机当做2M图像使用）；
拓展性强：可支持基础、中阶、高阶等不同能力的智能驾驶产品，可灵活拓展更多类型传感器支持L3/L4智驾产品；
安全可靠：传感器选型应秉持安全第一的原则，尤其对于避障要求最高的前向感知需求，不仅要考虑常规障碍物的检测，也要考虑异型但高频障碍物的检测。
根据上述原则，「成行平台」全球首创7V高阶智驾视觉构型，在成本、可靠性和性能的要求下做到了以用户体验为本的平衡。甚至于目前仍在持续迭代发展的城市领航功能，也可以用7V视觉构型实现。
在实践中，大疆车载发现，采用更聪明的算法，可以进一步提升感知的范围和精度，并能够让智驾的“大脑”基于更为关键的信息做出更加准确的判断和决策。软件和算法的改进所带来的体验提升，效果比传感器数量的增加更为明显。而要发挥出软件和算法的能力，需要从整个系统设计上予以考虑。 「成行平台」能够很好地支持这种系统进化。
目前，市面上常见的高阶智驾系统通常搭配5R-11V-12U-xL构型，即5个毫米波雷达 + 11个摄像头 + 12个超声波 + x（0~3）个激光雷达。在泊车应用中，业界常见方案是使用环视鱼眼+前视摄像头+超声波雷达实现全向感知功能；在高阶行车应用中，已有方案通常需要额外增加5路周视摄像头以实现全向感知。其中针对领航城区高阶功能，大都需要额外搭配激光雷达。针对主动安全功能，往往又依赖毫米波雷达来实现。因此可以发现，为了满足不同场景的L2+功能，常见的传感器配置效率是比较低的：
行车、泊车使用两套摄像头，即行车用周视摄像头，泊车用鱼眼摄像头，两者基本不复用；
主动安全需要额外使用毫米波雷达，无法复用行泊车摄像头；
城市领航等高阶智能驾驶功能功能大概率需要额外使用激光雷达。
与这些常见的传感器构型方案相比，「成行平台」7V视觉构型不仅简洁优雅，严格遵循着传感器构型设计的四大基本原则；而且能够高效实现用户需要的高阶智能驾驶功能。基于7V视觉构型实现的高速领航、城市记忆领航、跨层记忆泊车等功能已经在多款车型上量产，给消费者留下了深刻的印象；而7V视觉构型实现的不依赖高精地图，全国都能开的城市领航功能，也已经可以体验，将在今年下半年量产上市。
“在西瓜上雕刻森林”：7V视觉构型的关键
如前所述，7V视觉构型实现高阶智能驾驶，首先得益于大疆车载所特有的惯导立体双目视觉感知技术：其得天独厚的仿生设计及其测距原理，能够直接获得道路场景中任意物体的深度估计数据，所生成的点云稠密度甚至超过激光雷达，相比单目视觉方案，还能够有效提升系统的安全性（拓展阅读：《惯导立体双目视觉系统：像人类一样看见三维世界》）。
7V视觉构型借助惯导立体双目视觉，融合了深度学习和双目点云的多模态感知方案，增强了应对不同场景的泛化能力。
此外，「成行平台」7V+100TOPS方案实现城市领航等高阶智驾功能，与大疆车载在双目立体视觉、全向鱼眼感知、高性能优化等技术的积累是分不开的，而且在100TOPS的域控制器上，还部署了大疆车载在双目OCC、道路拓扑模型、预测规划模型、端到端模型优化等技术上的最新成果。
行泊一体全向鱼眼 BEV：
在「成行平台」上，为了极致发挥鱼眼相机的作用，大疆车载将BEV技术应用于全向鱼眼相机，并于2023年基于32TOPS算力平台首次量产了行泊一体的全向鱼眼BEV，该技术是「成行平台」实现高速领航、城市领航等高阶行车功能的关键。在「成行平台」100TOPS算力配置上，全向鱼眼BEV将升级为Transformer架构，检测范围提升1.8倍，支持更强的动静态目标检测能力。
「成行平台」已量产的7V+32TOPS基础版配置，已经支持了双目BEV 2D Occupancy（占用网络）模型，也是国内首个不依赖激光雷达即可支持通用障碍物检测的量产方案。
在「成行平台」100TOPS算力配置上，通用障碍物检测方案进一步升级为双目3D OCC模型，且同时融合环视鱼眼，实现全向通用障碍物检测，提升避障/绕行和主动安全的性能体验。该模型同样应用于泊车场景中，支持多分辨率的占用网络预测，进一步提升跨层记忆泊车、狭窄车位的自动泊车能力。
定制智驾地图+道路拓扑模型
为了去掉城市领航对高精地图的依赖，应对城区高频变化的复杂道路基础设施，「成行平台」通过两大关键技术来解决领航需求：
首先，通过智驾域控内置定制智驾地图，解决全局路径规划问题。大疆车载与图商伙伴深入合作，基于标清地图，定制了智驾地图。该方案可满足天级更新频率要求，在地图成本、鲜度、精度上达到了平衡，由于其远超HD Map的覆盖度和刷新频率，使得「成行平台」无需专门“开城”等待高精地图/众包地图的逐一覆盖，量产即可做到“导航APP能到的地方均可达”。
此外，「成行平台」还将车道线模型升级为道路拓扑模型（RS-Net），实时推断局部的车道拓扑连接关系。基于Transformer架构的RS-Net可融合智驾地图特征，即使在复杂遮挡的路口场景也具备极强的脑补推断能力，提供可靠的路径规划引导。
PnP预测&规划联合模型
当前城市领航性能体验的瓶颈不在于传感器观测距离，而在于对复杂交通场景的预测和决策能力。对交通参与者的行为意图、运动轨迹预测，和本车的决策规划，两者是相互影响的。
「成行平台」基于Transformer的PnP（Prediction & Planning）模型对预测和规划进行紧耦合的建模，提升复杂场景的交互规划能力。PnP模型集成于OSP规划框架（拓展阅读：《开放空间决策规划技术：如何像人类司机一样流畅驾驶？》），既能通过数据驱动的方式持续提升规划能力上限，也能通过基于策略/优化的规划框架保障轨迹规划的安全性。基于强大的预测和规划能力，对于个别7V观测不足的场景，系统也能从容应对。
局部端到端模型的高性能部署优化
端到端模型在充足的训练数据和算力条件下，理论上可提升智驾系统的性能上限。但越是“黑盒”的端到端，对数据&算力资源需求越高，分析调优难度也越高。基于大疆车载丰富的量产经验和对技术的理解，现阶段局部端到端技术具备更强的量产可行性和实用性。
在局部端到端框架下，感知端将物体检测、车道线/道路拓扑检测、通用障碍物检测等诸多任务统一为一个模型，而规划端则将预测、决策、规划上下游任务联合。其本质是超多任务的联合模型，利用关联任务互相辅助学习，同时也能降低部署算力需求。「成行平台」只需100TOPS算力即实现了局部端到端模型的部署，背后依赖于大疆车载深厚的高性能优化能力，包括自研的模型优化、模型自动化部署、高性能算子、异构调度框架等一系列技术。
既是入门标准，也能更上一层楼
7V视觉构型是「成行平台」整体系统设计思路的成果，这使得纯粹的7V视觉构型就能实现各项高阶智能驾驶功能，而且具备极强的可拓展性：
* 基于7V传感器构型，可灵活搭配不同数量的毫米波/超声波/激光雷达，满足不同车企的功能定义需求，增强极端天气条件下的安全冗余；
* 基于7V传感器构型，可拓展为10V构型，进一步增强城区个别场景（如超宽超远路口）的应对能力；
* 基于7V传感器构型，可以根据车企实际情况灵活选择不同的芯片和计算平台；甚至对于已经售出的搭载「成行平台」7V+32TOPS基础版配置车型，技术上可以无需修改传感器，仅后装升级域控制器，实现「成行平台」升级版配置的所有功能。
而平台化的技术特点，灵活的配置和交付模式，和长期演进可升级的特点，让业界新技术可以快速上车，更增加了选择「成行平台」的理由。
可以说，大疆车载将高阶智驾搭载门槛降低到8万元级别的车型，而且有望将城市领航功能的门槛降低到15万元级别的车型上，这与7V视觉构型的成功是分不开的。
面对全球汽车市场都在积极追求智能化的需求，7V视觉构型以及背后整体的系统设计，为推动高阶智能驾驶的普及和全面覆盖提出了适用的解题思路。大疆车载正在持续践行企业使命：“为所有人，提供安全、轻松的出行体验”。
