技术解码 | 多模态大模型AI安全员为无人驾驶保驾护航

2024-11-05 15:17:29爱云资讯阅读量:10,570

作为全球无人驾驶商业化领跑者,仙途智能Autowise.ai凭借前瞻性的视野和强大的产品技术实力,已在全球30余座城市部署了多款无人驾驶产品。为应对多地区、多场景、多产品的运营需求,仙途智能不断整合吸纳前沿人工智能技术和算法,新一代1vN无人驾驶远程运营体系全面引入多模态大模型技术作为AI安全员,凭借其强大的场景理解能力和精准判断能力,为无人驾驶车辆筑牢安全屏障。

“多模态大模型”AI安全员:实时处理图像数据,识别危险场景

多模态大模型是人工智能技术的一个关键进步,它将文本、图像、音频、视频等多种数据形式整合进统一的框架中,具备跨模态理解与生成能力,能够执行图像描述、视觉问答、视频生成等多种任务。依靠先进的多模态大模型技术,无人驾驶中的 AI 安全员能够对车辆运行过程中的相机图像进行实时处理与分析,识别出车辆行驶时遇到的危险场景和异常情况,为无人驾驶提供安全保障。

算法难以100%覆盖的长尾场景,AI安全员从容应对

无人驾驶车辆行驶过程中,除了需要与常规的交通参与者产生交互,还需要应对稀有而复杂的长尾场景。它们的发生概率很低,但一旦出现,会对自动驾驶系统带来巨大挑战。仙途智能无人驾驶清扫车作业时通常会贴边行驶,常见的长尾场景包括不规则的路面坑洞、临时的施工区域、偶发的交通事故等。

长尾场景之所以重要,是因为它们代表了自动驾驶系统必须能够应对的罕见但危险的情况。对于人类驾驶员来说,处理这些边缘情况往往基于直觉和多年的经验积累。对于自动驾驶系统来说,为了在遇到这些罕见情况时仍能安全地操控车辆,需要大量的数据和复杂的算法来模拟人类的决策过程。但由于现实世界复杂多变,算法难以 100% 覆盖全部场景,此时就需要 AI 安全员介入,利用与人类相似的知识与经验理解场景、保证安全。

AI安全员应用实例:理解场景,给出建议

仙途智能基于历史接管数据与闭环仿真数据,利用大模型标注与人工对齐,构建了决策规划的异常数据集。在仙途智能常态化运营真实数据的不断充实下,多模态大模型的AI安全员将能够更加准确地理解场景并给出驾驶建议。

来看几个实例。绿色框线代表无人驾驶车辆的规划轨迹(Planning Trajectory),红色框线代表无人车的关注区域(Region of Interest)。左上角黑色框线中的内容代表AI安全员对当前场景的理解和判断,包括天气情况、场景标签、驾驶建议等。

仙途智能AI安全员场景实例案例集锦

突然发生的交通事故

无人驾驶清扫车正沿右侧辅道执行左贴边作业。雨后路面湿滑,外卖骑手在高速行驶时突然滑倒,非常危险。系统提示交通事故(Traffic Accident)状态码,并预警可能需要远程介入。所幸骑手无大碍,缓慢起身,系统提示减速慢行,小心行驶。

临时交通管制及施工区域通行

无人驾驶车辆辅道作业过程中,同时遇到辅道地面施工及主道高空作业,交警上前疏导交通。系统提示交警管控(Traffic Police Control)及施工区域(Construction Area)状态码,并预警可能需要远程介入。在远程运营的协助下,无人驾驶清扫车从主道第二车道绕行。

应急车辆交互

无人驾驶车辆正沿快速路辅路右侧执行贴边清扫任务,一辆闪烁警示灯的救护车突然出现在视野中并停靠在路边,代表着附近存在人员伤病的紧急情况。系统给出应急车辆(Emergency Vehicles)状态码,提示需要远程介入,同时在确保安全的情况下,车辆减速避让并变道绕行。

弱势道路使用者交互

无人驾驶清扫车正沿右侧辅道执行无人清扫作业,由于道路右侧的临停机动车,辅道十分狭窄,仅容一辆车通行。此时发现左侧有孩童和蹲坐的行人,系统提示高风险行人(High-Risk Pedestrians)状态码,表示需要减速慢行并预警可能需要远程介入。在高精度的感知和规划下,无人驾驶清扫车略微向右避开行人缓慢通过。

AI的安全托底:人类远程安全员多途径辅助脱困

部分紧急和极端场景下,AI安全员将给出请求远程介入的通知指令,主动告知人类远程安全员。远程安全员可以通过高清视频流(前视角及环视角实时画面)和实时传感器数据(高精地图、各类障碍物识别、路径规划等)获取车辆周边环境信息,使用多种挪车方式辅助车辆脱困。目前,仙途智能无人驾驶车辆已支持基于远程运营系统的参考线挪车、方向盘挪车、APP挪车和驾驶舱挪车,为车辆提供在紧急和极端场景下的安全托底和额外保障。

远程辅助驾驶系统操作界面

云端大模型作为AI安全员的使用,极大程度提升了无人驾驶车辆针对长尾场景的识别和理解能力,提高人类远程安全员的工作效率,为远程1vN规模的不断扩大夯实技术基石,全面扩展仙途智能全球化商业版图。

未来,仙途智能将以更加开放的姿态,不断吸纳整合前沿人工智能技术和算法,通过持续创新突破,全方位提升无人驾驶技术的安全性与稳定性,为无人驾驶技术商业化的迅猛发展打造坚实的技术壁垒,为全球无人驾驶技术发展和产业变革贡献卓越力量。

相关文章

人工智能技术

更多>>

人工智能公司

更多>>

人工智能硬件

更多>>

人工智能产业

更多>>
关于我们|联系我们|免责声明|会展频道

冀ICP备2022007386号-1 冀公网安备 13108202000871号

爱云资讯 Copyright©2018-2024