百度李震宇：大模型将走向多模态，塑造完全自动驾驶的汽车机器人

英文：Improve accuracy by 7.8%! The first multimodal open world detection large model MQ-Det on NeuroIPS2023

雷递网 乐天 10月17日百度创始人、董事长兼首席执行官李彦宏昨日在百度世界大会上表示：“未来的AI原生应用一定是多模态的，在信息世界之外，一定会重构物理世界，自动驾驶就是视觉大模型重构物理世界的一个典型应用。大模型会让百度的自动驾驶能力超越经验系统，更聪明地处理复杂场景，实现更广泛的时空覆盖。”在当天下午的百度世界大会2023“大模型‘重构’智能汽车”论坛上，百度集团资深副总裁、智能驾驶事业群组总裁李震宇表示：大模型的“智能涌现”带来理解、生成、推理、记忆等核心能力的突破，让汽车具有EQ和IQ，将重构智能汽车业态。未来的大模型还将走向多模态，塑造出完全自动驾驶的汽车机器人。萝卜快跑将越来越接近商业化盈利在智舱方面，语言大模型的上车，让人和车交互方式会从“命令式”升级到“对话式”，推动人车关系升级为人和虚拟人的关系。大模型将重构人车交互方式，让交互更加自然。以文心大模型为基础，百度Apollo为汽车座舱打造了专属大模型技术底座。人和车的交互不再需要复杂的按键操作，用语音就能操控，即便是七嘴八舌、多人指令、声音交织、连续对话的情况下，智能座舱也能理解每个人不同的需求，同时满足。目前，百度Apollo智舱大模型加持的产品将在极越01、凯迪拉克、别克、吉利银河等品牌车型中实现量产搭载。在智驾方面，通过Transformer和BEV等新技术彻底重构自动驾驶技术栈，感知能力获得代际感提升，加速纯视觉方案的成熟和普及。百度称，百度Apollo纯视觉高阶智驾方案可应用于高速、城市、泊车等全域场景，将在今年第四季度实现量产，这是国内首个纯视觉方案在城市场景落地。去掉激光雷达让整车成本更低，提升了市场竞争力。大模型还将走向多模态，重构物理世界，自动驾驶就是大模型重构物理世界的一个典型代表。大模型让自动驾驶超越经验系统，更聪明地处理复杂场景，实现更广泛的时空覆盖，塑造出完全自动驾驶的汽车机器人。百度称，百度自动驾驶出行服务平台萝卜快跑，已经是全球最大的自动驾驶出行服务商，累计提供了超过400万次服务。随着运营规模的不断扩大、技术水平的不断提升，成本更低的自动驾驶车辆的规模化部署，萝卜快跑将越来越接近商业化盈利。李震宇表示，百度在人工智能、深度学习等领域投入超过十年，在智能汽车领域也探索了十年，十年日拱一卒的技术积累、实践是百度Apollo信心和底气的来源。大模型让全无人自动驾驶真正落地，汽车智能化的浪潮也将快速到来。大模型“重构”智能汽车的三条关键路径近年来，智能驾驶在用户整体购车因素的占比快速上升，在“选购前最重视因素”占比从1.2%突破到30%，成为用户购车核心决策因素。智能汽车市场正处在规模化量产前夕，智能汽车底层智能化技术也在发生重构，让AI原生出行时代更快到来。李震宇认为，大模型对智能汽车行业的重构主要体现在三个方面。语言大模型上车，人车交互方式会从“命令式”升级到“对话式”；通过Transformer和BEV等新技术彻底重构自动驾驶技术栈，感知能力获得代际感提升，加速纯视觉方案的成熟和普及；未来的大模型还将走向多模态，塑造出完全自动驾驶的汽车机器人。会上还发布了多款智驾和舱驾融合产品。百度Apollo量产的Apollo Highway Driving Pro进一步演进，发布了新一代Apollo City Driving，使得使用场景从封闭道路升级到城市开放道路，功能场景无限接近全域。百度称，纯视觉城市领航高阶智驾产品Apollo City Driving Max将于2023年第四季度量产落地。与此同时，百度Apollo还行业首发了Apollo Robo-Cabin舱驾一体软芯融合智算平台，它是中国首个能够完成甚至是全球首个真正意义上在单SOC上实现了舱驾融合运行的平台。活动现场，百度Apollo与航盛签署战略合作，宣布将共同基于高通平台打造新一代舱驾融合产品。雷递由媒体人雷建平创办，若转载请写明来源。