信息异构，数据升维。人类日常生活中的自然语言、语气、手势和眼神，这些不同的表达形式和对方的感知形式，就是不同的模态，这种多模态对齐到“0-1”世界中，就是文字、图像&视频、音频信息甚至物理化学公式，而这些信息之间形成了相似、补充或互斥的关系，这种相互关系在AI预训练时会对多模态的表现产生重大影响。
　　多模态AI的输入和输出超出了单一的文字维度，对AI既是机遇也是挑战。机遇在于，多模态信息可以帮助AI更精确地了解人类世界，在作答时就可以输出更加贴近现实、符合预期的回答。如同失聪者同时难以说话，AI获取的信息若不是多模态，就只能停留在文字数据给予的单一维度认知。不同模态之间的相互作用有多种方式，正反馈例如，若将一张人类跑步的图片、一段描述“跑步”的文字、力学定律等输入至AI，那么AI就可以获得对“跑步”这一行为的增强理解；负反馈例如，在文字训练数据出现错误时，其他模态的数据可以帮助AI辅助判断对错，从源头减少AI“幻觉”的产生。
　　多模态的挑战集中于数据、算力和调优。首先是多模态数据的融合，进一步增加了算力资源的压力。例如，一段文字和一张图片里都包含“1+1=2”的信息，这种情况可以为二者给予相同的训练权重；如果包含更加复杂的信息，简单的信息融合将失效，就需要引入张量融合算法，从而占据一部分算力资源。其次，数据的对齐对不同模态之间的协调起着关键作用。今年3月发布的GPT-4模型能够识别搞笑图片中的笑点所在，就是由于OpenAI做好了充分的文字与图片的数据对齐。训练数据越优质，模型后续训练需要的人类反馈学习就越少，从而缩短模型研发周期——谷歌发布Gemini模型时表示，高性能的Ultra版本目前尚在RLHF阶段，因此推出时间稍晚。
　　多模态AI的发展，不仅利于影视创作、游戏制作行业的生产效率提升，同时也有利于逐步打消业界对AI能力的怀疑。Pika 1.0、Gemini的发布提振了用户的信心——Pika有效解决了多模态大模型生成视频时帧连续性的问题，输出结果堪称惊艳，而Gemini原生基于多模态打造，有效解决了多模态数据融合的问题，相当于AI“新物种”；同时，Gemini背靠谷歌自研算力和谷歌云的原生海量的图片和多语言数据，在起点处占据优势。AI并未停下脚步，通向AGI的星辰大海正在拉开帷幕。
　　算力——
　　光通信：中际旭创、新易盛、天孚通信、太辰光、腾景科技、光库科技、光迅科技、德科立、联特科技、华工科技、源杰科技、剑桥科技、铭普光磁。算力调优/调度/租赁：恒为科技、思特奇、中科金财、东方材料、博睿数据、中贝通信、中科曙光、中国移动、中国联通、中国电信。算力设备：中兴通讯、紫光股份、锐捷网络、盛科通信、菲菱科思、工业富联、寒武纪、震有科技。液冷：英维克、申菱环境、高澜股份、佳力图。边缘算力承载平台：美格智能、广和通、移远通信、初灵信息、龙宇股份、网宿科技、佳讯飞鸿。卫星通信：中国卫通、中国卫星、震有科技、华力创通、电科芯片、海格通信。
　　数据要素——
　　运营商：中国电信、中国移动、中国联通。数据可视化：浩瀚深度、恒为科技、中新赛克。BOSS系统：亚信科技、天源迪科、东方国信。
　　风险提示：AI发展不及预期，算力需求不及预期，市场竞争风险。