当深度学习进入以“感知整合”为核心的新时代，“多模态”一词迅速成为当前人工智能发展的前沿方向。传统的单一输入形式（如文本、图像、音频）已无法满足人机交互、知识建构、推理能力全面发展的要求。在此背景下，CLIP、Flamingo、Gemini 以及 GPT-4V 等多模态模型陆续被提出，它们或借助对比学习强化图文协同，或通过视觉语言桥接泛化能力，亦或以庞大参数量和跨模态对齐机制争夺通用智能的主导位置。
这些模型的架构不再单纯追求单一模态的信息处理能力，而是着重处理模态间的信息配对、联合建模、语义统一、任务泛化等复杂问题。然而，这些系统在设计时所采用的结构策略、预训练目标、输入处理方式、下游任务适配机制却有显著分歧。我们应该怎样对这些系统进行结构性比对？其技术选择背后所代表的认知路径、工程实现与推理范式是否彼此兼容？模型的“看图说话”或“图文问答”能力是否已经超越了浅层语义配对？
