上汽集团：AI驱动的智能座舱感知交互演进
新能源汽车智能化角逐初期主要聚焦于功能性竞争，力求单点突破，强调智舱与智驾的差异化竞争。随着智能化水平成为比拼焦点，主机厂开始从整车层面出发丰富使用场景，推动舱驾融合与数据驱动的大模型学习，车辆日益成为移动智能体。
2024年7月12日，在第二届智能座舱车载显示与感知大会上，上汽集团创新研究开发总院智能座舱首席专家周阳霖表示，下一步智舱交互的趋势是机器从被动响应走向主动交互，从人适应机器到机器不断地适应人；多模感知交互是简约的、更加情感化的自然交互方式，是实现智舱 AI 智能体的关键。
周阳霖｜上汽集团创新研究开发总院智能座舱首席专家
以下为演讲内容整理:
新能源汽车智能化发展
新能源汽车的竞争轨迹常被简化为“电动化上半场，智能化下半场”，实际上电动化与智能化共同构成了全程挑战，前期可视为入围角逐，而智能化深化则引领进入淘汰赛阶段。智能化初期聚焦于功能性竞争，如提升CPU算力、增大屏幕、丰富功能，力求单点突破，强调智舱与智驾的差异化竞争，通过特定功能如DMS、OMS彰显特色。随着智能化水平成为比拼焦点，主机厂从整车层面出发丰富使用场景，推动舱驾融合与数据驱动的大模型学习，车辆日益成为移动智能体。
其中，智能座舱作为整车感知交互的核心，集成了人机界面与操作系统，是整车智能化水平的直观体现。它涉及众多零件子系统与功能，通过视听触嗅等多感官方式提供沉浸式体验，成为连接各系统的中心节点。智能座舱具有高度集成、个性定制与智能交互三大特点。
图源:演讲嘉宾素材
当前，智能座舱形态与功能已趋于稳定，信息框架、语音交互、车控车设、生态服务构成基础框架。未来发展方向一是基于现有体验的微创新，二是智能化大模型的引入，带来从边缘到核心的突破性变革，聚焦智能化体验与功能的深化。
AI驱动的感知交互发展
在AI驱动的感知交互领域，多模态大模型将推动交互方式的深刻变化。传统APP+GUI模式将向极简界面与动态LUI转变，大模型的生成能力将实现界面实时构建，打破固定规则，重塑交互体验。
智能体验主要聚焦于人与机器的交互，特别是智能体如何模拟人类感知与行为，这种人智交互旨在模拟人类间的自然沟通。智能座舱作为核心，强调多驾乘空间与多模态互补的交互方式，通过座椅反应、方向盘震动等空间性元素，综合作用于用户的视觉、触觉、听觉与嗅觉，实现多维度空间交互。
智能化层面，感知智能依托传感器收集信息，如通过DMS监测用户疲劳状态；而认知智能则更进一步，实现从感知到推理的跨越。大模型的应用正推动这一进程，促进从感知智能向认知智能的飞跃。
大模型成为智能座舱感知交互发展的核心驱动力，其支持的多模态感知与交互，共同构成了智能行为的输入输出体系。大模型上车的方式多样，包括人为主导、人机协同及智能体模式，后者能自主决策并优化用户体验，如调整氛围、导航避堵等。
图源:演讲嘉宾素材
在具体应用上，语音识别与交互领域的应用迎来变革。传统语料训练方式被语义理解所取代，实现模糊语音车控，大幅提升交互自由度。智能问答系统亦受益于此，快速理解并反馈车辆信息，提升用户操作效率。此外，多模态感知交互虽处于起步阶段，但其在提升识别能力、自然交互、个性化及情感化方面的潜力巨大，是未来发展的重要方向。
在多模态交互设计中，需注重时间与空间的连续性、互补性及一致性，确保交互体验的完整与流畅。通过这些努力，我们将为用户带来更加智能、便捷、人性化的驾驶体验。
生成式HMI的核心在于利用大模型技术，基于语音对话的上下文理解，动态生成复合视觉效果，实现从传统GUI(图形用户界面)向VGUI(视频图形用户界面)的转变，彻底革新界面交互方式。允许用户根据个人喜好，直接自定义主题、壁纸、色彩乃至助理形象，大模型能实时生成多样化内容，促进用户共创设计，带来全新体验。
推动极简交互模式的发展，去除冗余功能，实现界面与交互的去应用化，通过云端与车端能力融合，根据用户意图动态组合功能，提升交互效率与体验。这一趋势与苹果产品的设计理念相呼应，即追求简洁与高效。
场景引擎的智能化升级是关键。传统基于规则的场景模式存在局限性，难以适应用户个性化需求与变化。而面向多模态的大模型能够赋予场景引擎理解与认知能力，灵活调用SOA(面向服务架构)资源，根据实时情况做出最适调整，从而打破规则限制，提升用户体验。
图源:演讲嘉宾素材
尤其值得注意的是，大模型的参数规模与计算能力，使其在处理复杂场景与条件判断时展现出巨大潜力，远超传统规则引擎。这不仅解决了规则数量激增导致的性能瓶颈问题，也为车载智能化提供了更加可靠与高效的技术支撑。
大模型在车载应用中主要呈现为三种形态:通用模型、领域特定的小模型(部署于车端)，以及用户个性化的微模型。这一架构合理高效，通过大算力实现通用能力压缩至车载小模型，再经用户微调形成个性化微模型，形成闭环优化。
在选择大模型时，智能化水平是关键考量，包括使用体验、生成质量、智能体能力及安全合规性。需综合评估模型的上下文理解能力、内容创新、生成能力、逻辑推理及智能体特性，确保其既能独立运作，又能融入感知、决策、执行等完整智能体闭环中。
对智能座舱未来的展望
展望智舱未来，核心在于实现人与车之间自然、高效的交互，确保安全愉悦的驾乘体验。趋势上，智舱交互将从被动向主动响应转变，机器不断适应人的需求。多模态感知交互将成为主流，以简约而情感化的方式，增强人机交互的自然性。最终，智舱大模型将融合文本、声音、图像、视频等多模态理解与生成能力，成为智舱感知交互的智慧大脑，深刻改变汽车行业的发展方向。
