车东西(公众号:chedongxi)
作者 | Janson
编辑 | 志豪
车东西11月28日消息,昨日,商汤绝影成功举办了「绝影实力AI DAY」,全面展示了其「驾-舱-云」三位一体的通用人工智能(AGI)产品体系与战略布局。此次活动重点介绍了智能座舱交互革新和端到端智能驾驶等领域的创新成就,标志着AI汽车发展进入新阶段。
在此次活动中,商汤绝影首次推出了智能座舱大模型创新产品「A New Member For U」,旨在让汽车拥有更加人性化的交互体验。此外,商汤绝影还展示了其「车云一体」的产品矩阵,涵盖了高速、城区以及泊车等全场景的高阶智驾和端到端智驾产品体系,并全新升级了「开悟」世界模型,以强化数据基础设施。
商汤绝影作为一家专注于汽车行业的AI公司,具备强大的算力、原生汽车垂类大模型研发能力、高质量数据体系和丰富量产经验等全栈实力。公司致力于推动大模型上车,打造领先的AI汽车创新技术和产品。
▲商汤绝影CEO、商汤科技联合创始人、首席科学家王晓刚
商汤绝影CEO、商汤科技联合创始人、首席科学家王晓刚表示,商汤绝影将把握智能汽车变革的时间窗口,与车企伙伴进行深度合作,共享大算力与大模型,共建数据基础设施,共同打造智能汽车大模型创新应用。
一、车载大模型升级 推理速度达40Tokens/秒
大模型上车初期,它们主要作为工具存在,为用户提供基础的对话、信息查询和问题解答服务。随着技术的进步,具备逻辑思考和通用任务处理能力的AI Agent出现,能够根据用户指令完成复杂连续任务,成为能干的助理。然而,这类车机仍属于「被动智能」。
在2024年的「绝影实力AI DAY」上,商汤绝影展示了其领先的AI技术,重新定义了座舱交互体验。商汤绝影的「A New Member For U」产品,旨在让智能汽车不仅具备智能,还具备温度和情感。未来,智能汽车将不再是冰冷的工具或机械式助理,而是成为能够理解用户需求并提供主动关怀的「家庭新成员」。
▲商汤绝影「A New Member For U」产品
商汤绝影的「家庭新成员」产品,通过原生流式多模态大模型、车载类人记忆框架和持续运行框架等前沿AI大模型技术,重新定义了座舱交互体验,让智能汽车拥有「有趣的灵魂」。这位「家庭新成员」能够感知和理解用户需求,提供有温度、有情感的主动关怀。例如,在驾驶旅途中,如果「家庭新成员」注意到后排的孩子睡着了,它会主动调整空调温度、音乐声量,以及底盘和驾驶模式,为孩子提供一个舒适安心的睡眠环境。
商汤绝影的「新成员」产品能够察言观色,得益于其强大的原生流式多模态大模型。在OpenCompass多模态评测榜单中,绝影多模态大模型的理解和推理能力排名第一。以此为基础,「家庭新成员」能全面感知用户的语音、表情、手势和环境数据,并进行深度理解和推理思考,具备理解世界、理解人类的能力。
要让汽车与用户心有灵犀,它还需要拥有「记忆」。为此,商汤绝影打造了国内首个「车载类人记忆框架」,让系统实现类人的记忆能力。商汤绝影的记忆框架与人类的记忆机制非常相似,包括临时记忆和长期记忆。临时记忆能记住瞬时信息,如车里的物品、人的搭配、是否系安全带等;长期记忆则像一个「档案库」,存储用户的基本信息、行为模式和偏好等,并能够自我迭代,从用户长期使用中总结规律并不断优化。通过场景记忆,车机能针对当前场景进行毫秒级的动态记忆检索,提取关键信息,进行决策,主动服务。
▲商汤绝影车载类人记忆框架
商汤绝影还打造了能够持续推理的Always-on运行框架,将多模态感知到的信息与各种记忆相结合,依托端云协同架构,数据延迟控制在1毫秒以下,首包延时最快只需60毫秒,推理速度达40 Tokens/秒,对数据进行高效处理和反馈,时刻感知需求,主动为用户服务。
在追求智能和情感化的同时,商汤绝影始终坚持将用户隐私与安全放在首位,通过全方位的隐私保护与数据安全体系,做到「数据跟人走」、「隐私数据不出车」、「不该说的不说」,确保系统在安全合规的前提下提供极致体验,为每一位用户打造专属的安全空间。
二、城市无图NOA进展提速 可应对多个智驾平台
2024年初,城区无图NOA成为智能驾驶领域的核心话题。随后,端到端智驾技术逐渐成为行业的主流,取代了传统的模块化规则,成为智驾技术发展的新方向。从北京车展开始,商汤绝影等多家公司陆续发布了端到端智驾方案,标志着智驾技术正在迈向端到端时代。
▲商汤绝影带来车云一体思路
在本届「绝影实力AI DAY」上,商汤绝影展示了基于不同算力平台(如J6E、J6M、Orin)打造的全场景高阶智驾和端到端智驾产品体系。商汤绝影的智驾量产交付也在稳步推进,预计基于J6平台的智驾方案将在2025年第二季度量产交付,而端到端智驾方案则预计在明年年底量产落地。
在推进量产的同时,行业发现研发范式从规则驱动转变为数据驱动,端到端智驾模型对高质量数据的需求呈指数级增长。然而,受限于高阶智驾的量产规模和算力资源,大多数车企和智驾公司面临高质量驾驶数据获取难度大、效率低、成本高的问题。
商汤绝影通过实车采集和仿真生成「双轮驱动」的数据闭环,构建了量产智驾产品体系和世界模型深度融合的「车云一体」智驾新范式。
与此同时,商汤绝影发布了行业标杆级别的世界模型——「开悟」世界模型。世界模型的核心能力是生成高质量视频数据,关键在于「真实」。基于多模态大模型打造的绝影世界模型,能够理解真实世界的物理规则和交通规则,生成的视频数据更加逼真。现场展示的「开悟」生成视频案例中,汽车和路灯在晴朗天气下都有影子,右转车辆会主动让行优先级更高的直行车辆。
「开悟」生成的场景视频时间最长为150秒,分辨率可达1080P,视角可以实现11V,是行业首个同时完成上述指标的智驾世界模型。根据公开数据,「开悟」生成效果的各项指标均达到SOTA,优于包括GAIA-1、DriveDreamer在内的国内外主流世界模型。此外,从2023年开始,在全球知名的自动驾驶仿真模拟任务竞赛Waymo Sim Agents中,「开悟」连续两年获得第一名,成为行业标杆。
▲基于行人车辆3D框和时空轨迹的信号输入,「开悟」生成的11V时空一致视频
更重要的是,通过多模态大模型,「开悟」世界模型可以支持多样化的自动驾驶场景及Corner case的可控生成。目前商汤绝影基于1024类场景,能够泛化出更多的平行世界,打造了千万级的生成场景库,预计2025年对行业开放。
以绝影量产智驾方案和「开悟」世界模型为核心,实车采集的真实数据和云端生成的仿真数据在「车云一体」的新范式下进行闭环流转,使得端到端智驾系统的训练更加全面、高效,大幅缩短了研发周期,降低了成本,让用户能够更快享受到智能驾驶带来的便捷与安全。
三、AI技术持续创新 获得多个合作伙伴支持
商汤绝影的技术和产品持续创新,商业化落地也全面开花,量产交付稳步推进。智驾方案已量产交付广汽埃安、一汽红旗等3家车企6款车型。第三方调研数据显示,商汤绝影在座舱视觉AI软件市场的份额连续五年蝉联第一。此外座舱AI大模型产品已上车小米SU7、智己、LEVC L380等车型。
商汤绝影面向海外市场升级了座舱视觉AI产品矩阵,助力极氪X的DMS系统斩获ENCAP历史最高分,并在「绝影实力AI DAY」首发ENCAP2026 OOP离位检测、身材检测功能。商汤绝影已与超30家国内外车企达成合作,覆盖100余款车型,预计至2024年底,量产交付累计将突破350万辆。
▲商汤绝影所获荣誉
商汤绝影已展现出在技术研发、产品创新和商业化落地等各个领域的全面实力,成长为智能汽车领域的顶级AI战略合作伙伴。如今,智能汽车站在潜力无限的新起点上,作为加速智能汽车驶入AGI时代的战略合作伙伴,商汤绝影正全力推动最前沿的AI技术与智能汽车产业的深度融合。
目前,商汤绝影已和大卓智能、东风汽车等合作伙伴签订战略合作协议,在高阶智驾量产、端到端量产、AI云服务、AI大模型等领域开展全方位的深度合作,加速自动驾驶的落地与进化。
▲商汤绝影已和大卓智能、东风汽车等签订战略合作协议
通过共享强大算力集群与大模型能力、共建数据基础施设、共创智能汽车AI应用生态,这一全新合作模式是通往AGI未来的必由之路,商汤绝影是迈向AGI之路的最佳同行者。商汤绝影愿意和车企合作伙伴共享算力丰沛的商汤大装置,行业领先的20,000 P算力将为合作伙伴提供强有力的基础设施保障。
同时,绝影将开放性能全面的基础大模型能力,提升车企的AI实力。
在共享大算力和大模型的基础上,双方能够加速研发体系的对齐,共同建设以高效率世界模型和全流程数据闭环为核心的数据基础设施。未来,数据的数量、质量和利用率等都不再是问题和阻碍,在智能汽车与云端平台之间流动的数据,将成为加速大模型上车的高效燃料。
在基础设施、大模型能力和全栈数据闭环进行深度合作之后,双方才能进一步挖掘出AGI在智能驾驶和智能座舱领域的潜力,共同创造全新的智慧出行体验。
结语:商汤持续发力AI领域
不难看出,商汤正全力推动最前沿的AI技术发展,致力于灵活自适应、深度个性化、安全可信赖、有人文关怀的未来发展。
相信随着智能汽车产业的不断发展,商汤绝影将继续推动AI技术在智能汽车领域的应用,为智能出行带来更多可能性。