智东西5月6日消息，在今日举行的华为昇腾AI开发者峰会上，中国科学院自动化研究所“紫东太初”大模型研究中心常务副主任、武汉人工智能研究院院长王金桥研究员介绍，基于华为全栈国产化软硬件平台昇腾AI与开源AI框架昇思MindSpore，中国科学院自动化研究所和武汉人工智能研究院正在联合打造“紫东太初”2.0全模态大模型。

自动化所在2021年7月正式发布了全球首个千亿参数多模态大模型“紫东太初”，实现了图像、文本、语音三模态数据间的“统一表示”与“相互生成。“紫东太初”2.0全模态大模型可实现文本、图片、语音、视频、3D点云、传感信号等不同模态的统一表征和学习，并优化语音、视频和文本的融合认知以及常识计算等功能，进一步突破感知、认知和决策的交互屏障。

此外，“紫东太初”大模型开源了基于昇腾与昇思的3.8B图像-文本-语音多模态模型并开放紫东太初大模型服务平台。“紫东太初”大模型已在手语教学、法律咨询、交通出行、广电、医疗机器人、医学影像判读等数十个行业场景领域已展现出落地潜力。