视觉-语言模型：面试问题与推荐回答

yo3nglau

2026/04/08

Categories: Interview Tags: Deep Learning Vision-Language Models Multimodal Learning

View English Version

对比视觉-语言预训练

Q1 [基础] 解释 CLIP 的对比训练目标

Q: CLIP 的核心训练目标是什么，它如何使图像表征能够跨任务泛化？

A: CLIP（Radford et al., 2021）通过最大化匹配图像-文本对之间的余弦相似度、同时最小化不匹配对之间的相似度，对图像编码器和文本编码器进行联合训练。给定一批 $N$ 个图像-文本对，对称 InfoNCE 损失将 $N$ 个同索引对视为正样本，将剩余的 $N^2 - N$ 个跨对视为负样本：

$$\mathcal{L} = -\frac{1}{N}\sum_{i=1}^{N}\!\left[\log\frac{\exp(\mathrm{sim}(v_i, t_i)/\tau)}{\sum_{j}\exp(\mathrm{sim}(v_i, t_j)/\tau)} + \log\frac{\exp(\mathrm{sim}(t_i, v_i)/\tau)}{\sum_{j}\exp(\mathrm{sim}(t_i, v_j)/\tau)}\right]$$

其中 $\mathrm{sim}(\cdot,\cdot)$ 为余弦相似度，$\tau$ 为可学习温度。该目标将两个编码器推向共享嵌入空间，使语义相关的图像-文本对在其中聚集。

CLIP 在 4 亿图像-文本对（WebImageText）上训练，图像编码器为 ResNet 或视觉 Transformer，文本编码器为 Transformer。与依赖精心策划数据集的先前工作不同，CLIP 利用网络爬取的图像-描述对中隐含的自然语言监督。其结果是一个学习到与语言对齐的语义丰富特征的视觉编码器，无需任务特定微调即可迁移到分类、检索和生成任务。CLIP ViT-L/14 在 ImageNet 上实现 76.2% 的零样本 top-1 准确率（Radford et al., 2021）。

Q2 [基础] 描述 CLIP 的零样本迁移机制

Q: CLIP 如何在推理时将下游分类任务转化为相似度匹配问题，哪些设计选择影响零样本准确率？

A: CLIP 的零样本分类通过对所有类别名称进行文本编码，并选取文本嵌入与图像嵌入最相似的类别来实现。对于 $C$ 个类别，其中 $t_c$ 表示第 $c$ 个类别的文本提示（例如"a photo of a {class}"）：

$$p(y = c \mid x) \propto \exp\!\left(\mathrm{sim}(f_v(x),\, f_t(t_c))/\tau\right)$$

推理时不发生梯度更新——直接应用预训练好的相似度函数。

提示工程（prompt engineering）对零样本准确率影响显著。使用"a photo of a {class}“比直接使用类别名称效果更好，因为网络文本中很少出现孤立的类别标签。对 80 个提示模板进行集成（例如"a photo of many {class}"、“a photo of the large {class}"），相比单一模板可将 ImageNet 零样本准确率提升最多 3.5 个百分点（Radford et al., 2021）。

分布偏移鲁棒性是另一个关键特性：由于未使用下游数据集的标注数据，CLIP 不会过拟合于数据集特有的虚假相关性。在分布偏移的 ImageNet 变体（ImageNet-V2、-Sketch、-A、-R）上，CLIP 维持了显著高于微调 ResNet 的准确率，表明语言监督促使模型学习语义上有意义的特征，而非数据集特有的捷径。

Q3 [基础] 解释 ALIGN 如何扩展到噪声网络数据

Q: ALIGN 的预训练方法与 CLIP 有何不同，其结果揭示了数据规模与数据质量各自扮演怎样的角色？

A: ALIGN（Jia et al., 2021）将对比视觉-语言预训练扩展至 18 亿条来自互联网的噪声图像-文本对，仅进行最少量的数据清洗——只用简单的基于规则的过滤去除极短的替代文本、重复项和不雅内容。与 CLIP 对 4 亿 WebImageText 数据集进行大量筛选不同，ALIGN 依赖规模来弥补噪声。

ALIGN 使用 EfficientNet-L2 作为图像编码器，BERT 作为文本编码器，以等价于 InfoNCE 的归一化 softmax 损失训练。尽管在噪声更大的数据上训练，ALIGN 在 ImageNet 上取得了强劲的零样本性能，并在 MSCOCO 和 Flickr30k 上实现了有竞争力的跨模态检索性能（Jia et al., 2021），在相当规模下与 CLIP 旗鼓相当或有所超越。

核心发现是：在所研究的规模下，视觉-语言预训练的瓶颈在于数据规模而非数据质量。网络爬取的数据尽管有噪声，却提供了近乎无限的图像-文本共现，编码了视觉概念的自然多样性。这使得后续工作转向以轻量过滤收集超大数据集，而非昂贵的人工策划，影响了此后几乎所有大型多模态模型的数据策略。

Q4 [进阶] 分析 SigLIP 的 Sigmoid 损失及其批量大小影响

Q: SigLIP 的 Sigmoid 损失与 CLIP 中基于 Softmax 的 InfoNCE 有何不同，这种解耦带来了哪些实际优势？

A: CLIP 中的 InfoNCE 损失对每个锚点在批内所有 $N$ 个对上施加 softmax，将每个正样本对与所有 $N-1$ 个负样本归一化：

$$\mathcal{L}_\text{InfoNCE} = -\frac{1}{N}\sum_i \log \frac{\exp(\mathrm{sim}(v_i, t_i)/\tau)}{\sum_j \exp(\mathrm{sim}(v_i, t_j)/\tau)}$$

这种全局归一化将批内所有样本耦合在一起：一对样本的梯度依赖于其他所有对的相似度。因此，InfoNCE 对批量大小高度敏感——更大的批次提供更多负样本和更尖锐的对比信号，这就是为什么 CLIP 需要极大批量（最多 32,768）才能有效训练。

SigLIP（Zhai et al., 2023）将其替换为对每个样本对独立施加的 Sigmoid 二元交叉熵：

$$\mathcal{L}_\text{SigLIP} = -\frac{1}{N^2}\sum_{i,j} \log \sigma\!\left(z_{ij} \cdot y_{ij} \cdot t - b\right)$$

其中 $z_{ij} = \mathrm{sim}(v_i, t_j)$，匹配对 $y_{ij} = +1$，不匹配对 $y_{ij} = -1$，$t$ 为可学习温度，$b$ 为可学习偏置。每对样本独立处理——无需对批次进行归一化。

实际优势有两方面。其一，SigLIP 将批量大小与归一化解耦：由于不存在需要同时比较所有样本对的 softmax 分母，该方法对批量大小不那么敏感，可以用更小的批次训练而不出现性能崩溃。其二，来自多个来源的正样本对（来自不同数据集的描述）可以更自然地融入，因为它们不会相互影响各自的归一化。SigLIP 使用 ViT-So400M 在 ImageNet 上实现 83.1% 的零样本 top-1 准确率（Zhai et al., 2023），在相当模型规模下超越 CLIP。其表征此后已成为下游多模态 LLM（包括 LLaVA-1.5 和 InternVL）广泛使用的视觉骨干网络。

多模态模型的架构设计

Q5 [基础] 描述 Flamingo 的冻结模型架构

Q: Flamingo 引入了哪些组件，在不微调预训练视觉编码器和语言模型的情况下将二者连接起来？

A: Flamingo（Alayrac et al., 2022）将视觉编码器（预训练的 NFNet）和语言模型（Chinchilla 70B）均保持冻结，并在二者之间插入两个可学习组件。

第一个是 Perceiver Resampler：一个交叉注意力模块，将任意数量输入图像或视频帧产生的可变数量视觉 token 映射为固定的 64 个视觉 token。无论输入分辨率或帧数如何，这都提供了紧凑的固定大小视觉表征，语言模型可以以可预测的计算成本高效处理。

第二个是一组交叉注意力层，被交织插入冻结 LLM 的自注意力层之间。在每个插入位置，LLM 的隐藏状态对这 64 个视觉 token 做交叉注意力，将视觉信息注入语言生成过程。这些层通过初始化为零的可学习 $\tanh$ 门控系数进行门控，确保视觉贡献在训练开始时为中性，随后逐渐被整合。

冻结方案在只训练交叉注意力层和 Perceiver Resampler（80B 总参数中约 10B）的同时，保留了语言模型已有的能力。Flamingo 80B 在 32 个上下文示例下于 VQAv2 上达到 82.0%，无需更新任何任务特定权重即超越了当时的微调模型（Alayrac et al., 2022）。该架构还继承了 LLM 的少样本学习能力：在上下文提示中提供图像-问题-答案三元组示例，无需梯度更新即可引导模型。

Q6 [基础] 解释 BLIP-2 中的 Q-Former

Q: Q-Former 解决了 BLIP-2 中的什么问题，它如何充当冻结视觉模型和语言模型之间的桥梁？

A: BLIP-2（Li et al., 2023a）解决了在不微调任意一方的情况下，将高维冻结图像编码器（例如参数量 14 亿、每张图像产生数百 token 的 ViT-G）与冻结 LLM 相连的挑战。直接将所有视觉 token 输入 LLM 在计算上代价高昂，且需要 LLM 解读其在语言预训练中从未接触过的原始视觉特征。

Q-Former（查询 Transformer）是一个含 32 个可学习查询向量的 1.88 亿参数模块。这些查询通过交叉注意力与图像特征交互，并通过自注意力相互交互。无论输入图像大小如何，输出始终是 32 个查询向量，通过一个线性层投影到 LLM 的输入维度，提供紧凑的视觉表征。

BLIP-2 分两阶段训练 Q-Former。第一阶段在图像编码器冻结的情况下，通过分别控制查询 token 能否关注文本的注意力掩码，对图像-语言匹配、图像-文本对比学习、图像引导的文本生成三个目标联合训练 Q-Former。第二阶段将 Q-Former 输出接入冻结 LLM，训练其将视觉特征转化为 LLM 可生成的软视觉提示。

Q-Former 充当信息瓶颈，只提取与语言最相关的视觉信息，过滤掉会干扰 LLM 的低层图像统计量。BLIP-2 搭配 FlanT5-XXL 在 VQAv2 上达到 65.0%（Li et al., 2023a），无需对 LLM 进行任何下游微调。

Q7 [进阶] 分析 LLaVA 的极简架构及其数据驱动洞察

Q: LLaVA 的设计选择与 Flamingo 或 BLIP-2 有何不同，其结果揭示了架构复杂度与数据质量各自的相对重要性？

A: LLaVA（Liu et al., 2023a）采用刻意极简的架构：CLIP ViT-L/14 图像编码器、单层线性投影层和 Vicuna 语言模型。既没有 Perceiver Resampler，也没有 Q-Former，更没有插入 LLM 的交叉注意力层。图像编码器输出固定数量的视觉 token，经线性层投影后拼接到文本 token 序列前，LLM 随后通过标准因果自注意力统一处理视觉和文本 token。

关键创新在于训练数据。LLaVA 没有在网络上的大规模图像-文本对上训练，而是使用 GPT-4 生成了一个小而高质量的指令遵循数据集，共 158K 条样本。GPT-4 接收图像描述和边界框信息（而非图像本身），生成多轮对话、推理链和详细描述。这充分利用了 GPT-4 的推理能力，产生了比单纯图像-描述对更丰富的监督信号。

训练分两个阶段：先在图像-文本对齐数据上只训练线性投影（LLM 冻结），再同时微调投影层和 LLM 进行视觉指令微调。LLaVA 在 ScienceQA 上达到 90.92%，以远比 BLIP-2 或 Flamingo 简单的架构超越了 GPT-4（83.99%）（Liu et al., 2023a）。

这一结果表明，CLIP 视觉特征已经包含了足以支撑许多多模态任务的信息，真正的瓶颈在于指令遵循数据的质量，而非视觉-语言桥接模块的精复杂程度。这一发现推动了一代以数据质量为优先的极简架构的诞生。

Q8 [进阶] 比较交叉注意力融合与投影融合

Q: 交叉注意力融合与基于投影的融合在信息路由、计算成本和架构灵活性方面有何不同？

A: 交叉注意力融合（cross-attention fusion，Flamingo；Alayrac et al., 2022）在语言模型的多个深度插入交叉注意力层。在每个交叉注意力层，LLM 的隐藏状态查询视觉 token，在多个抽象层次上动态检索视觉信息。视觉特征因此在整个深度上调制语言模型的表征，在每个处理阶段实现细粒度的视觉整合。

基于投影的融合（projection-based fusion，LLaVA，Liu et al., 2023a；LLaVA-1.5 中的 MLP 变体，Liu et al., 2023b）将所有视觉 token 通过单一投影层映射，并拼接在文本序列之前。LLM 通过标准自注意力统一处理视觉和文本 token，将视觉 token 视为固定前缀。视觉特征在每层都可通过自注意力获取，但其表征在投影后固定不变——LLM 无法像交叉注意力那样动态查询视觉特征。

三个关键权衡如下。计算成本：每层 LLM 上的交叉注意力增加了 $O(L_\text{vis} \cdot L_\text{text})$ 的注意力操作。投影融合每层无额外操作，但拼接后的序列长度随视觉 token 数增长，使二次方自注意力成本上升。

冻结 LLM 兼容性：交叉注意力允许 LLM 严格保持冻结（如 Flamingo），因为新插入的参数吸收了所有视觉信息。基于投影的融合通常需要微调 LLM，因为视觉 token 必须在 LLM 的原生 token 空间中可被解读。

多图与视频的灵活性：交叉注意力通过 Perceiver Resampler 优雅地处理可变数量的图像或帧，将任意数量的视觉 token 压缩为固定的 $K$ 个。基于投影的方法必须通过限制分辨率或显式 token 压缩来控制视觉 token 数量，使长视频或多图输入更具挑战性。

多模态指令微调与能力

Q9 [基础] 描述视觉指令微调及其数据需求

Q: 视觉指令微调与标准视觉问答微调有何不同，哪些类型的数据支持它？

A: 视觉指令微调（visual instruction tuning）训练多模态模型遵循关于图像的自由格式自然语言指令，而非以固定的简答格式回答问题。标准 VQA 微调在窄分布上优化准确率（VQAv2 风格的简答 QA）；视觉指令微调训练模型处理多样化指令——生成详细描述、逐步推理、比较对象、以不同风格和长度作答——使模型具备对话实用性，而非只针对基准测试。

数据格式由多轮对话构成，用户对图像提出指令，模型生成可变长度的回复。Liu et al. (2023a) 证明，GPT-4 可以仅凭图像元数据（描述、边界框）而无需直接访问图像来生成此类对话，产出 158K 条高质量指令遵循样本，涵盖三种输出类型：对话式问答、详细描述和复杂推理链。

这类似于指令微调 LLM 扩展基础模型以供通用使用的方式：指令数据教会模型以开放式方式应用其视觉理解能力。训练信号——对 GPT-4 生成回复进行教师强制的生成——是标准交叉熵，但指令数据集的多样性对模型对话和推理能力的塑造远超损失函数本身。

Q10 [进阶] 解释 InstructBLIP 的指令感知 Q-Former

Q: InstructBLIP 解决了 BLIP-2 的什么局限，使 Q-Former 具备指令感知能力后改变了从图像中提取的内容？

A: InstructBLIP（Dai et al., 2023）发现了 BLIP-2 Q-Former 的一个关键局限：无论处理的是哪条指令，32 个可学习查询始终提取固定的视觉摘要。对于同一图像的不同指令——“描述场景”、“数一数对象”、“读取标牌上的文字”——传递给 LLM 的视觉 token 是完全相同的，尽管每条指令需要关注完全不同的视觉区域和属性。

InstructBLIP 通过将指令文本与 32 个可学习查询一起通过自注意力机制输入 Q-Former 来解决这一问题。指令 token 嵌入与查询拼接，参与同一自注意力机制；在随后对图像特征的交叉注意力中，查询能够选择性地提取与当前指令最相关的视觉信息。注意力掩码确保查询可以关注指令 token，反之则不可——指令文本在不被修改的前提下调制提取过程。

这一改动没有引入显著的额外参数：复用了 Q-Former 现有的文本编码器。输出仍为 32 个视觉 token，但现在它们是指令感知的：同一图像在面对数数、空间推理或 OCR 指令时，会产生不同的视觉 token。

InstructBLIP 在涵盖 11 个任务类别的 26 个数据集上进行微调（Dai et al., 2023），包括 VQA、图像描述、推理和 OCR 任务。指令感知特征在零样本评估的保留基准上提升了性能，证明更丰富的逐指令视觉提取能够泛化到训练任务之外。

Q11 [进阶] 分析 LLaVA-1.5 的改进及其意义

Q: LLaVA-1.5 引入了哪些架构和数据层面的改动，这些改动如何体现了从原始 LLaVA 中汲取的经验？

A: LLaVA-1.5（Liu et al., 2023b）在 LLaVA 消融实验的基础上，进行了两处有针对性的改动。

第一处改动是将线性投影连接器替换为两层 MLP 连接器（层间使用 GELU 激活）。线性投影只进行从视觉 token 空间到语言 token 空间的纯仿射映射；MLP 增加了非线性，使两种模态之间的对齐更具表达力。仅此一处改动就在各基准上稳定地提升了性能，而无需其他任何修改，证实了线性投影是表征能力的瓶颈。

第二处改动是在原始 GPT-4 生成的对话数据基础上，补充了学术任务指令数据——将 VQAv2、GQA 和 TextVQA 转换为指令格式。原始 LLaVA 数据集擅长开放式推理，但缺乏对需要精确视觉阅读任务（OCR、图表、密集文本）的覆盖。以指令格式添加任务特定数据在保持对话风格的同时扩展了覆盖范围。

LLaVA-1.5 还使用了更高分辨率的图像编码器（CLIP ViT-L/14，336×336 vs. 224×224），提供更细粒度的空间 token，提升了空间要求较高任务上的性能。

LLaVA-1.5-13B 在 VQAv2 上达到 85.9%，在 MMBench 上达到 67.7%（Liu et al., 2023b），在多个基准上以更简单的架构和完全公开的训练数据超越了 Qwen-VL-Chat 和 InstructBLIP-13B 等模型。这些结果确立了 MLP 连接器和更广泛的指令数据是基于投影的多模态 LLM 一致有效的默认选择。

Q12 [进阶] 识别多模态 LLM 相对人类能力的失效之处

Q: 当前 VLM 的性能在哪些方面与人类水平视觉理解差距最大，这些任务的哪些结构性特点解释了这一差距？

A: 当前多模态 LLM 在粗粒度视觉理解上表现良好——场景描述、关于显著目标的 VQA、对描绘情境的常识推断。相对于人类水平，性能差距集中在需要细粒度空间推理、精确计数和组合属性绑定的任务上。

空间推理：诸如"红色书本是否在蓝色马克杯的左边？“这样的问题，需要精确编码多个共现对象之间的空间关系。基于 ViT 的编码器通过全局自注意力处理图像，不显式编码绝对空间坐标；位置信息的编码相对于有根据的方向性判断所需的精度过于粗糙。即便能正确识别所有对象，模型也经常混淆左右和远近关系。

计数：即使能正确描述目标的类别和属性，VLM 通常也无法准确计数超过少量（$\leq 4$ 个）的目标。失败不在于识别实例，而在于跨分散空间位置聚合计数信息——这是一种均匀全局池化自然不支持的结构化迭代注意力形式。

组合描述下的属性绑定：“立方体右边那个物体是什么颜色？“需要将属性与通过关系空间链条识别出的特定实例相关联。VLM 在此类情况下表现出组合失效（compositional failures），报告的是视觉上最显著的属性，而非正确绑定到所引用对象的属性。

MMMU 基准（Yue et al., 2024）揭示了另一个维度：需要领域专业知识的任务（医学影像解读、工程图纸、数学证明图）中，视觉推理和文本推理需要与学科知识紧密结合。GPT-4V 在 MMMU 上仅达到 56.8%，显著低于专家人类水平，表明当前 VLM 缺乏专家级多模态推理所需的结构化领域知识。

Q13 [进阶] 比较闭源与开源 VLM 在多模态基准上的表现

Q: 像 GPT-4V 这样的模型与开源 VLM 相比有哪些能力差异，基准证据揭示了这些差距的本质？

A: 包括 GPT-4V（OpenAI, 2023）在内的闭源 VLM 代表了当前大多数综合性多模态基准的性能上限。在 MMMU 上，GPT-4V 达到 56.8%，而 LLaVA-1.5-13B 为 36.4%（Yue et al., 2024）——在专家级知识任务上差距超过 20 个百分点。在 MMBench 上，GPT-4V 得分 77.0%，而 LLaVA-1.5-13B 为 67.7%（Liu et al., 2023b）。

差距最为显著的能力包括多图交叉参照、OCR 与文档理解、细粒度空间推理以及带中间验证步骤的多步视觉推理链。GPT-4V 展现出更强的组合泛化能力——处理视觉和语言概念的新颖组合——并能产出带有明确中间推理步骤的更校准的解释。

然而，直接比较受到未公开训练细节的干扰。闭源模型以未披露的数据集、RLHF 流程和思维链监督进行训练，性能差异归因于架构、数据还是规模是不可能的。InternVL（Chen et al., 2023）等开源模型通过结合更大的视觉编码器（ViT-6B 规模）、更强的指令微调数据集和更高分辨率输入，已逐步缩小差距，表明这一差距很大程度上反映的是训练方法的不同，而非根本性的架构限制。

基准比较中一个实际隐患是数据污染导致的分数虚高：在基准发布后训练的指令微调模型可能已接触过测试集相邻数据，对来自公开数据集的基准尤为如此。专为降低污染风险而设计的基准（如 MMMU）显示出更大且更持久的差距，表明能力差异是真实存在的，只是在其他评估中被污染和捷径效应所掩盖。

视觉定位与稠密视觉理解

Q14 [基础] 解释 GLIP 基于定位的开放词汇检测

Q: 允许 GLIP 通过将检测重新表述为定位问题来检测任意目标类别的核心洞察是什么？

A: GLIP（Li et al., 2022）将目标检测重新表述为短语定位：给定图像和类别的文本描述，模型通过将每个名词短语定位到图像区域来预测边界框。标准检测将视觉特征分类到固定的 $C$ 个类别索引；GLIP 改为计算每个区域候选与每个短语 token 之间的相似度：

$$S = \text{ImageEncoder}(I) \cdot \text{TextEncoder}(P)^\top$$

其中 $S \in \mathbb{R}^{N_\text{boxes} \times N_\text{tokens}}$ 为对齐分数矩阵。检测通过寻找高相似度的（区域，短语）对来完成，将定位视为对齐问题而非分类问题。

优势在于词汇泛化：由于文本编码器能嵌入任意名词短语，GLIP 可以检测任何能以语言表达的类别，而不仅限于训练时见过的类别。模型可被提示"一个穿蓝色夹克、拎着手提箱的人”，并在不针对该描述进行训练的情况下定位到匹配区域。GLIP-L 在 COCO 上以零样本方式达到 60.8 AP，不使用任何 COCO 训练数据（Li et al., 2022），通过在将边界框与描述中名词短语匹配的定位数据集（COCO Captions、Visual Genome、CC3M）上训练实现这一结果。

这一重构还允许从带边界框标注的大规模图像-描述对中获取定位监督，大幅扩展了可用训练数据，远超精心策划的检测数据集所能提供的范围。

Q15 [进阶] 解释 Grounding DINO 的紧密特征融合策略

Q: Grounding DINO 如何比 GLIP 更深入地将语言整合到检测流程中，为何更早的融合能提升性能？

A: Grounding DINO（Liu et al., 2023c）通过三个组件扩展了 DINO 检测框架，在整个检测流程中实现紧密的图像-文本特征融合，而非仅在最终对齐步骤如 GLIP 那样进行。

第一个组件是特征增强器（feature enhancer），在多个尺度上对图像骨干特征和文本编码器特征施加跨模态注意力。图像特征和文本特征通过交替的交叉注意力和可变形自注意力层相互关注，使空间视觉特征在任何候选框选取发生之前，就已经显式受到文本查询的调制。由此产生的图像特征从处理的最早阶段起就具备语言感知能力。

第二个组件是语言引导的查询选择：DINO 标准的基于图像特征选取 top-$K$ 区域候选的方式，被替换为基于图像-文本对齐分数的选取。与所描述短语有较高空间重叠的候选被选为解码器查询，确保只有与描述相关的区域进入解码器。

第三个组件是跨模态解码器，目标查询在每个解码器层同时对视觉特征和文本特征做交叉注意力，联合精化边界框预测和短语分类分数。

相比后期融合（GLIP 的事后对齐），早期融合的优势在于图像特征在回归边界框坐标之前已受语言调制，允许检测器从特征层面起就在空间上聚焦于被描述的区域，而非提取通用区域特征后再与文本比较。Grounding DINO 在 COCO 上以零样本方式达到 63.0 AP（无 COCO 训练数据），并在零样本和少样本定位基准上超越 GLIP（Liu et al., 2023c）。

Q16 [进阶] 对比指代表达理解与视觉问答

Q: 指代表达理解在结构上比标准 VQA 难在哪里，它对架构提出了哪些特殊要求？

A: 指代表达理解（Referring Expression Comprehension，REC）要求定位与特定实例的自然语言描述相对应的图像区域：给定"站在左边穿红色衬衫的男人”，模型必须输出边界框来精确识别那个人。VQA 通常只需要根据图像生成简短的文本答案（类别标签、计数、属性）。

结构差异在于输出模态和空间精度要求。VQA 的输出是离散文本，用固定词表上的标准交叉熵处理即可。REC 的输出是连续的空间坐标，需要模型根据同时涉及多个属性和目标间关系的关系性描述精确定位实例。

REC 对架构提出了独特要求。成功的模型必须：（1）将所描述实例的视觉属性（属性、类别）在图像中接地；（2）评估需要将候选区域与其他场景元素比较的关系空间断言（“在桌子左边”）；（3）当多个目标满足部分但非全部描述约束时，消解指代歧义。TransVG（Deng et al., 2021）通过基于 Transformer 的定位头，将语言特征与视觉区域候选做交叉注意力，从注意力后的表征预测边界框坐标来处理这一问题。

REC 特有的一个关键失效模式是指代链失败（referential chain failure）：模型能孤立地识别每个词的视觉指称对象，却无法串联多个约束。“坐在红色沙发左侧的那只狗，不是窗边那只"需要组合颜色约束（红色沙发）、空间约束（左侧）和否定约束（不是窗边那只）——这是一个主要在 VQA 风格单约束问题上训练的 VLM 处理得很差的组合定位问题。

Q17 [进阶] 描述 VLM 如何扩展到像素级分割任务

Q: 哪些机制将语言理解与视觉-语言分割系统中的稠密空间预测相连？

A: 标准 VLM 输出文本或边界框；分割需要逐像素预测。两大主要策略将语言与像素级输出相连。

模块化组合（modular composition）将语言引导的检测器与基于提示的分割模型结合。SAM（Kirillov et al., 2023）在 11 亿个掩码（SA-1B）上训练了一个可提示的掩码解码器，接受边界框、点或文本提示并生成高质量实例掩码。将 Grounding DINO（语言引导检测）与 SAM（掩码生成）结合，无需额外训练即可创建描述到掩码的流程：自然语言描述首先由 Grounding DINO 定位为边界框，再将其作为空间提示传递给 SAM 进行分割，实现对任意描述对象的开放词汇分割。

端到端推理分割（end-to-end reasoning segmentation）在多模态 LLM 内部整合语言和像素级预测。LISA（Lai et al., 2023）用一个特殊的 <SEG> token 扩展 LLM：生成时，<SEG> 位置的隐藏状态被传递给轻量级掩码解码器（基于 SAM 的解码器架构构建）以生成分割掩码。这实现了推理分割——给定"分割最有助于切断绳子的物体”，LISA 推理出答案是剪刀，生成包含 <SEG> 的回复，解码器随即对剪刀进行掩码。LLM 负责多步推理，掩码解码器负责空间精度。

端到端方法的核心挑战在于，LLM 必须在 <SEG> 隐藏状态中编码足够的空间定位信息以使掩码解码器成功，同时还要维持连贯的高层语义推理。这两个目标——空间精度和语义推理——在不同的抽象层次上运作，在标准 LLM 训练中并不天然对齐。

幻觉、评估基准与前沿方向

Q18 [基础] 定义目标幻觉及其衡量方式

Q: VLM 如何生成图像中不存在的目标，研究者开发了哪些评估协议来量化这一现象？

A: 目标幻觉（object hallucination）是指多模态 LLM 的输出提及了给定图像中不存在的目标、属性或关系。一个描述含有狗碗的图像的模型，可能会自信地断言"一只狗正在碗里吃东西”，原因在于"狗"与"狗碗"在训练描述中频繁共现。语言模型生成的 token 在给定上下文下在统计上是合理的，而非严格基于视觉输入。

根本原因是语言先验主导了视觉信号：VLM 在图像-描述对上训练，而描述反映的是网络上常见的共现统计规律。LLM 部分对下一 token 的强先验，可能会压过薄弱或不确定的视觉特征，产生对不存在目标的自信描述。

两种评估协议被广泛使用。CHAIR（Rohrbach et al., 2018）——描述幻觉与图像相关性评估——衡量生成描述中有多大比例的名词指向图像中不存在的目标，以 COCO 目标标签为真值。它在描述级别（CHAIRs）和句子级别（CHAIRi）量化幻觉。

POPE（Li et al., 2023b）——基于轮询的目标探测评估——提出二值是/否问题：“图像中是否有 {目标}？“三种难度递增的采样策略测试不同的失效模式：随机（任意 COCO 目标）、流行（频繁出现的目标）和对抗性（通常与图像实际内容共现但实际缺失的目标）。语言先验较强的模型在对抗性划分上的得分显著低于随机划分，从而分离出回复在多大程度上由统计关联而非视觉定位驱动。

Q19 [进阶] 解释基准性能与现实可靠性之间的差距

Q: 在标准基准上得分良好的 VLM 为何会在部署时失效，研究界在评估实践上有何演进？

A: 标准 VLM 基准分数反映的是特定图像分布和问题格式下固定测试集上的平均性能，可能无法捕捉实际部署中的方差和失效模式。若干系统性因素共同导致了这一差距。

训练分布偏移：大多数基准来自 MS COCO、Flickr 或维基百科图像——专业拍摄、光线良好、以显著目标为中心的照片。实际部署涉及截图、医学图像、卫星图像、低光捕获和不寻常视角。VLM 在预训练中代表性不足的分布偏移视觉风格上性能显著下降，原因是视觉编码器的特征分布发生变化，与 LLM 进行指令微调时使用的数据不再对齐。

捷径利用（shortcut exploitation）：多项基准分析发现，高 VQA 准确率可以通过利用语言偏差而非视觉理解来实现——对大多数"多少个……？“问题回答"2”，或对大多数二值问题回答"是”，在有偏数据集上就足以获得高于随机的准确率。优化这些指标的模型得分较高，在重新分布的问题集上却出现质性失效。

组合泛化失败（compositional generalization failure）：在概念的保留组合上测试的模型——“一间客厅里的紫色大象”——即使各组件单独处理均能应对，在组合情形下也频繁失败，表明模型记忆的是常见训练组合，而非学习到了组合视觉语义。

生成任务的指标-任务错位：用于描述的 BLEU 和 CIDEr 奖励与参考描述的词汇重叠，不惩罚使用高频词的幻觉目标，也不奖励对稀有目标的正确描述。MMMU 基准（Yue et al., 2024）通过需要联合视觉推理和学科知识的专家级知识密集型问题，旨在最小化这些影响——GPT-4V 与开源模型在 MMMU 上的差距远大于在 COCO 衍生基准上的差距，表明旧基准上报告的性能因污染和捷径效应而虚高。

Q20 [进阶] 分析视频-语言模型的架构挑战

Q: 将基于图像的 VLM 扩展到视频时会产生哪些计算和推理方面的挑战，当前方法如何应对？

A: 视频理解引入了图像 VLM 所不具备的两大挑战：token 规模和时序推理。由 ViT 骨干处理的 $T$ 帧视频产生 $T \times N_\text{patch}$ 个 token：以 ViT-L（每帧 256 个 token）、每秒 8 帧处理一段 10 秒的视频，将产生 20,480 个视觉 token——远超大多数 LLM 的上下文长度，并使自注意力的二次方计算成本急剧膨胀。

主要架构应对措施是时序采样与压缩。大多数视频 LLM 选取固定数量的帧（通常 8-16 帧），通过图像编码器独立处理，然后在传入 LLM 之前通过时序池化或拼接进行聚合。Video-LLaMA（Zhang et al., 2023）增加了专用的视频 Q-Former，对帧级特征施加时序自注意力，将视频压缩为固定数量的 token 后再输入 LLM。VideoChat（Li et al., 2023c）采用类似的基于 Q-Former 的设计，并结合视频专用的指令微调数据用于对话式视频理解。

更深层的挑战在于时序推理：正确排列事件顺序、推断动作间的因果关系，以及维持跨帧一致的实体追踪。稀疏帧采样可能遗漏关键时刻；模型必须从一系列静态视觉快照中整合证据，而非连续信号。当前视频 LLM 在短片段事件识别上表现尚可，但在长视频上举步维艰——关键信息分散在相隔数分钟的帧中，固定 token 预算强制进行有损压缩，而非选择性检索。

一个新兴方向是流式视频理解（streaming video understanding），模型随着帧的到来逐帧处理，而非对预先分割的片段操作。这需要能高效总结已观测内容、同时对新到来帧保持敏感的记忆机制——结合循环压缩与选择性注意力——这是静态 VLM 架构自然不支持的设计空间，目前仍是活跃的研究领域。

快速参考

# 难度 主题 章节
Q1 基础 CLIP 对比学习目标 对比视觉-语言预训练
Q2 基础 零样本迁移与提示工程 对比视觉-语言预训练
Q3 基础 ALIGN 与噪声大规模数据 对比视觉-语言预训练
Q4 进阶 SigLIP Sigmoid 损失与批量大小敏感性 对比视觉-语言预训练
Q5 基础 Flamingo 冻结模型架构 多模态模型的架构设计
Q6 基础 BLIP-2 Q-Former 多模态模型的架构设计
Q7 进阶 LLaVA 极简架构 多模态模型的架构设计
Q8 进阶 交叉注意力 vs. 投影融合 多模态模型的架构设计
Q9 基础 视觉指令微调 多模态指令微调与能力
Q10 进阶 InstructBLIP 指令感知 Q-Former 多模态指令微调与能力
Q11 进阶 LLaVA-1.5 MLP 连接器与数据扩展 多模态指令微调与能力
Q12 进阶 细粒度视觉理解的失效 多模态指令微调与能力
Q13 进阶 闭源 vs. 开源 VLMs 多模态指令微调与能力
Q14 基础 GLIP 开放词汇检测 视觉定位与稠密视觉理解
Q15 进阶 Grounding DINO 特征融合 视觉定位与稠密视觉理解
Q16 进阶 指代表达理解 视觉定位与稠密视觉理解
Q17 进阶 语言驱动的像素级分割 视觉定位与稠密视觉理解
Q18 基础 目标幻觉与 POPE 幻觉、评估基准与前沿方向
Q19 进阶 基准 vs. 现实可靠性 幻觉、评估基准与前沿方向
Q20 进阶 视频-语言模型架构 幻觉、评估基准与前沿方向

参考文献