TAD 基础与检测流程
Q1 [基础] 时序动作检测与动作识别有何不同？
Q: 什么是时序动作检测（Temporal Action Detection），它在任务定义和难度上与动作识别有何区别？
A: 动作识别（Action Recognition）针对的是已经裁剪好的视频片段，其中单一动作占据了整个片段。给定一段短视频作为输入，模型输出一个类别标签。该任务假设动作的边界已由外部提供，因而本质上是对固定时长输入的分类问题。
时序动作检测（TAD）处理的是任意时长的未裁剪视频，视频中包含多个由背景片段分隔的动作实例。给定一段未裁剪视频，模型须同时定位并分类所有动作实例，为每个检测到的动作输出一组元组 $(t_\text{start}, t_\text{end}, \text{class}, \text{confidence})$。模型不预先获知动作的位置或数量。
这种双重要求使 TAD 远比动作识别更具挑战性。模型必须处理背景压制（大多数帧不含动作）、动作时长变化（从数秒到数分钟）、多个并发或重叠动作，以及精确的边界估计等问题。因此，评估采用基于 tIoU（时序交并比）的指标，而非简单的分类准确率，从而同时衡量分类准确性和时序定位精度。
Q2 [基础] 什么是 TAD 的两阶段流程？
Q: 描述时序动作检测的经典两阶段流程，并解释这种分解方式为何有效。
A: 两阶段流程将 TAD 分解为两个顺序子问题。第一阶段是类别无关的时序提案生成：提案网络扫描未裁剪视频，生成一组候选时序片段 $(t_\text{start}, t_\text{end})$，这些片段可能包含任何类别的动作，但不预测具体类别。目标是以精度为代价换取高召回率——生成足够多的提案以覆盖所有真实动作实例。经典提案方法包括 TAG（Temporal Actionness Grouping）、TURN 和 SST。
第二阶段对每个提案进行分类和边界回归。每个提案片段被重新编码（通过在提案窗口内重新提取特征或从预计算特征中池化），分类器赋予其类别标签和置信分数，边界回归器可选地对提案边界进行精修。该阶段以召回率换取精度。分类完成后，非极大值抑制（NMS）去除重复检测。
这种分解有效，因为它将时序定位和动作识别这两个概念上不同的任务分开处理，使各自能够独立优化。提案网络可以用通用的"动作性"标签训练，而无需细粒度的类别标签，从而具有更强的泛化能力。然而，由于需要顺序处理可能多达数百个提案，该流程比单阶段方法速度慢，且第一阶段的错误（遗漏的提案）在第二阶段无法弥补。
Q3 [基础] TAD 使用哪些评估指标，这些指标有哪些局限性？
Q: 时序动作检测如何评估，标准指标有哪些不足？
A: 主要指标是在指定时序交并比（tIoU）阈值下计算的平均精度均值（mAP）。tIoU 衡量预测片段与真实片段之间的时序重叠：
$$\text{tIoU} = \frac{|\text{prediction} \cap \text{ground truth}|}{|\text{prediction} \cup \text{ground truth}|}$$只有当预测片段与真实片段的 tIoU 超过阈值且预测类别正确时，该预测才被视为真正例。平均精度（AP）按类别计算，通过按置信度排序所有预测并计算精度-召回曲线下的面积得到。mAP 对所有类别的 AP 取均值。
不同基准使用不同的阈值惯例。THUMOS14 在单个阈值（0.3、0.4、0.5、0.6、0.7）处报告 mAP，阈值越高要求定位越精确。ActivityNet 报告从 0.5 到 0.95 以 0.05 为步长的阈值范围内的平均 mAP，遵循目标检测中的 COCO 惯例。模型通常以 $\text{tIoU} = 0.5$ 作为主要操作点进行评估。
标准 mAP 存在若干局限性。它不惩罚过完整的预测——这类预测正确地包含了真实标注但大幅延伸至其外，只要 tIoU 超过阈值就能获得满分。它也无论频率高低，对所有类别等权处理。对于动作密集重叠的视频（如体育集锦），当两个预测片段都与同一个真实片段重叠时，基于 tIoU 的匹配可能无法正确识别正确检测。此外，mAP 不衡量检测延迟，而这在在线/流式场景中至关重要。
Q4 [进阶] 基于锚点和无锚点的时序检测器有何不同？
Q: 基于锚点（anchor-based）和无锚点（anchor-free）的时序动作检测方法有何根本区别，各自的权衡是什么？
A: 基于锚点的检测器预先定义一组时序锚点——在每个时序位置密集放置的固定时长片段，覆盖一定范围的时长（如 16、32、64、128 帧）。对于每个锚点，模型预测分类分数和偏移修正量 $(\Delta t_\text{start}, \Delta t_\text{end})$，以将锚点移动到真实动作边界。锚点设计引入了关于预期动作时长的先验知识，并缩小了搜索空间。代表性方法包括 R-C3D、SSAD 和 SSN。主要局限在于，锚点集必须为每个数据集精心设计：若典型动作时长超出锚点范围，召回率将下降。此外，在每个尺度上锚点尺寸固定，使其不太适合处理时间维度上具有极端长宽比的动作。
无锚点检测器避免使用预定义模板，转而直接从视频特征中预测动作边界或中心-时长对，无需锚点。例如 AFSD（Lin et al., 2021）通过密集回归预测每个片段的边界偏移，ActionFormer 在特征金字塔的每个层级预测以该位置为中心的任意动作的类别和时长。这消除了锚点工程的需要，并自然地处理任意时长。权衡在于无锚点训练通常更难稳定：没有锚点提供空间先验，模型必须纯粹从特征中学习如何将每个时序位置与正确的动作实例关联，需要仔细设计损失函数（如分类用 focal loss，回归用 IoU loss）。
TAD 中的整体趋势与目标检测相呼应：基于锚点的方法因其稳定性在早期工作中占主导地位，但随着训练技术的成熟，无锚点和基于查询的方法逐渐超越了它们，提供了更好的性能和更简洁的流程设计。
Q5 [进阶] 基于查询的检测器（如 ActionFormer）如何工作？
Q: 基于查询或 DETR 风格的时序动作检测器的设计是什么，它们相比基于提案的方法有哪些优势？
A: 基于查询的时序检测器将 DETR（Detection Transformer）引入的集合预测范式适配到时间域。模型不再生成提案并分类，而是使用一组固定的可学习查询向量，每个查询负责检测一个动作实例。每个查询通过交叉注意力机制遍历视频特征序列，并输出预测的 $(\text{class}, t_\text{center}, t_\text{width})$ 元组。训练时，预测结果与真实动作实例之间的匈牙利匹配确保每个真实标注恰好分配给一个查询，从而消除了 NMS 后处理的需要。
ActionFormer（Zhang et al., 2022）是最有效的实现之一。它使用带有局部自注意力的 Transformer 编码器（每个 token 只关注固定大小的时序窗口，而非完整序列，将复杂度从 $O(T^2)$ 降至 $O(T \cdot w)$），从输入视频特征构建特征金字塔。在金字塔的每个尺度上，分类头和回归头独立预测动作类别和时长。来自所有金字塔层级的预测被聚合后通过 NMS 抑制（ActionFormer 尽管使用 Transformer 骨干，但并非严格意义上的无 NMS 模型；完全无 NMS 的模型需要仅使用集合预测损失）。TemporalMaxer（2023）证明，将自注意力替换为简单的最大池化进行时序聚合，以低得多的计算成本即可达到竞争性结果，表明特征金字塔结构比注意力机制本身更为关键。
基于查询设计的优势包括：无需锚点的端到端训练、通过特征金字塔实现自然的多尺度检测，以及与现代预训练视频骨干的兼容性。主要的剩余挑战是处理非常长的视频：编码器中的自注意力随时序长度扩展性差，可通过局部注意力窗口或线性注意力近似来解决。
时序提案生成
Q6 [基础] 什么是时序动作提案生成，有哪些经典方法？
Q: 时序动作提案任务是什么，它有什么用途，主要的经典方法有哪些？
A: 时序动作提案（TAP）生成的任务是生成一组经过排序的、类别无关的时序片段 $(t_\text{start}, t_\text{end})$，这些片段可能包含任意类别的动作。与完整检测不同，提案不携带类别标签——目标纯粹是具有高召回率的时序定位。TAP 作为两阶段 TAD 流程的第一阶段，提案质量直接限制了完整检测器的召回率上限：在提案阶段遗漏的动作实例无法在后续阶段中弥补。
提案的主要质量标准是召回率（在一定 tIoU 阈值下，至少被一个提案覆盖的真实动作所占的比例）和平均提案数量（效率）。理想的提案生成器以少量提案实现极高的召回率。经典方法包括滑动窗口（在多个尺度上密集均匀扫描，简单但产生大量冗余提案）、动作性评分（为每个片段分配动作性概率，将连续高分片段分组），以及深度学习方法。SST（Single Stream Temporal）使用 LSTM 对视频流建模，并在每步对固定时长的候选片段打分。BSN（Boundary Sensitive Network，Lin et al., 2018）是一个重要进展：它将边界检测与提案评分解耦，先预测每个片段作为动作起始、动作结束或动作内部的概率，再将高概率的起止对组合成提案，并通过时序评估模块进行评分。
BSN 的核心洞见在于：时序边界是衡量提案质量最具信息量的线索。通过训练网络在形成提案之前精确定位边界位置，BSN 比从锚点回归或直接对动作片段分组的方法实现了显著更好的边界精度。
Q7 [基础] BMN（边界匹配网络）如何工作？
Q: 什么是 BMN，它如何改进 BSN 以用于时序动作提案生成？
A: BMN（Boundary-Matching Network，Lin et al., 2019）扩展了 BSN，在单次前向传播中联合建模所有可能起止组合的概率。BSN 独立预测起始和结束概率后再启发式地组合，而 BMN 构建一个大小为 $T \times T$ 的二维置信图（其中 $T$ 为时序位置数量），单元 $(i, j)$ 表示模型对从位置 $i$ 到位置 $j$ 的片段是有效动作提案的置信度。这使网络能够直接捕捉特定起止边界之间的关系，而非将它们视为独立预测。
置信图由边界匹配模块计算，该模块使用双线性插值沿每个候选提案采样特征，为每个（起始，结束）对创建固定长度的特征表示。一个轻量级卷积网络处理这些采样特征以预测置信分数。BSN 风格头部的边界概率和置信图分数随后被合并为每个 $(i, j)$ 对的最终提案分数。对置信图进行阈值处理后，应用 Soft-NMS 生成最终的排序提案列表。
BMN 使用多任务损失进行训练：时序评估损失（对每片段起始/结束/动作性概率的二元交叉熵）和提案评估损失（置信图相对于基于 IoU 的真实分数的均方误差）。联合训练确保边界检测和提案评分相互一致。与 BSN 相比，BMN 在相同提案数量下实现更高召回率，并生成更精确的边界，使其成为后续 TAD 系统中广泛采用的提案骨干。
Q8 [进阶] GTAD 如何使用图神经网络进行时序动作检测？
Q: G-TAD 框架是什么，将提案建模为图如何提升检测质量？
A: G-TAD（Sub-Graph Localization for Temporal Action Detection，Xu et al., 2020）将时序提案图问题建模为图神经网络（GNN）推理任务。在生成初始提案（使用 BSN/BMN 风格的边界检测器）之后，GTAD 将每个提案表示为图中的一个节点。两种类型的边连接节点：语义边（连接具有相似视觉内容的提案，由特征相似性决定）和时序边（连接在时间上重叠或相邻的提案）。GNN 沿这些边传播信息，使每个提案在做出分类和边界预测之前能够融合来自语义相关或时序相邻提案的上下文。
动机在于动作很少孤立发生。同时发生的动作（如一名球员踢球而另一名正在跑动）以及时序相邻的动作（如准备步骤后紧接主要动作）共享上下文，可以改善对单个实例的检测。标准的逐提案分类器独立处理每个提案，忽略了这些依赖关系。通过图边显式建模提案间关系，GTAD 在语义相似动作之间实现更好的区分，并在场景复杂时实现更精确的边界估计。
GTAD 使用图卷积网络，节点特征通过邻居特征的加权聚合进行更新，边权重由相连节点的语义和时序相似性学习得到。整个流程——边界检测、图构建、GNN 和分类——端到端训练。在 ActivityNet 和 THUMOS14 上，GTAD 优于基于 BMN 的基线，尤其是在有多个同时动作实例的视频上，提案间的上下文提供了最大收益。
Q9 [进阶] 片段级和段级特征如何影响提案和检测质量？
Q: 片段级（snippet-level）和段级（segment-level）视频特征有何区别，这种选择如何影响时序提案生成和动作分类？
A: 片段级特征由视频骨干（C3D、I3D、TSN、SlowFast）在每个短时序单元——通常是 16 帧或 32 帧片段——密集提取，输出长度与视频时长成正比的特征序列，保留精细的时序分辨率。段级特征则提取自整个提案或动作片段，通过将完整片段作为骨干输入处理，或将片段内的片段级特征时序池化为单个固定维度向量来实现。
对于时序提案生成，片段级特征至关重要。边界检测需要逐片段的动作性分数和精确的起止概率预测——这些操作需要片段序列的完整时序分辨率。BSN 和 BMN 等方法明确在片段级特征序列上运算，以预测逐片段概率。在此阶段使用段级特征会破坏精确边界定位所需的时序分辨率。
对于动作分类，选择涉及精度-覆盖权衡。段级特征聚合了整个动作范围内的信息，对逐帧噪声更具鲁棒性，更适合识别动作的整体模式。然而，它们丢弃了片段内的时序结构。片段级特征保留了内部时序动态（如复杂活动中的子动作序列），并允许分类器使用注意力机制聚焦于最具判别性的时刻。现代两阶段检测器通常使用注意力池化或 ROI-Align 风格的时序池化从片段级序列计算段级特征，而非全局平均池化，从而在覆盖度与判别性之间取得平衡。
Q10 [进阶] NMS 和 Soft-NMS 在时序域中如何操作，有哪些局限性？
Q: NMS 和 Soft-NMS 如何应用于时序动作检测输出，为解决其局限性提出了哪些改进方案？
A: 在时序动作检测中，对所有候选提案评分后，多个预测往往对应同一个真实动作实例。非极大值抑制（NMS）通过按置信度递减顺序遍历提案来解决这一问题：保留分数最高的提案，并将所有与已保留提案的 tIoU 超过阈值 $\theta$ 的剩余提案硬性抑制（分数置零并丢弃）。此过程重复直到没有剩余提案。结果是一组稀疏的非重叠检测。关键超参数是 $\theta$：较小的 $\theta$ 积极地抑制重叠提案（低假正率，但可能遗漏时序高度重叠的不同动作），而较大的 $\theta$ 允许更多提案存活（更高召回率，但有更多重复检测）。
Soft-NMS（Bodla et al., 2017）最初为图像检测提出，可直接应用于 TAD，它以连续的分数衰减取代了硬性抑制。Soft-NMS 不是将重叠提案置零，而是按其与保留提案的 tIoU 比例降低其分数：线性方式（$\text{score} \times (1 - \text{tIoU})$）或高斯衰减（$\text{score} \times \exp(-\text{tIoU}^2/\sigma)$）。低重叠的提案受到的惩罚极小，而高度重叠的提案被降权但不消除。这对 TAD 尤其有益，因为动作可能在时间上真正重叠（如"喝水"和"说话"同时发生），硬性抑制会错误地消除有效检测。
NMS 和 Soft-NMS 共有一个根本局限：它们是不可微的后处理步骤，阻止了从最终检测集到提案评分网络的端到端梯度流。为解决这一问题提出了若干方案。基于学习的抑制方法训练单独的网络来选择最优提案子集。集合预测方法（DETR 风格）通过训练时的二分匹配完全取代 NMS，约束每个查询最多检测一个实例。尽管有这些进展，由于简洁性和强大的实验性能，NMS 和 Soft-NMS 在实践中仍是主流的后处理策略。
时序句子定位
Q11 [基础] 什么是时序句子定位，它与 TAD 有何不同？
Q: 时序句子定位任务是什么，它与时序动作检测有哪些根本区别？
A: 时序句子定位（TSG），又称自然语言视频定位（Natural Language Video Grounding）或时序片段检索（Temporal Moment Retrieval），是在未裁剪视频中定位由自然语言查询描述的特定时刻的任务。给定一段视频和一个句子，如"一个人打开冰箱并取出一瓶饮料"，模型须预测与该描述对应的时序片段 $(t_\text{start}, t_\text{end})$。输出通常每个查询一个片段，反映查询描述的是一个特定时刻。
与 TAD 的核心区别在于查询的性质。TAD 使用固定的、封闭词汇表中预定义的动作类别（如"投掷"、“跳高”），无需外部条件即可检测视频中所有该类别的实例。TSG 使用可以用组合语言描述任意事件的开放词汇自然语言查询，且定位结果受特定查询的条件约束——同一视频对不同查询会产生不同的片段。这使 TSG 从根本上成为一个需要视觉理解和语言理解的跨模态任务。
TSG 的评估方式也通常不同：主要指标是"$R@1,\ \text{IoU} \geq \theta$"（top-1 预测片段与真实标注的 tIoU 达到 $\theta$ 的查询比例），在多个阈值（$\theta = 0.3, 0.5, 0.7$）下报告。所有查询的平均 IoU 也会报告。标准基准数据集包括 Charades-STA（带句子标注的第一人称室内活动）、ActivityNet-Captions（来自 YouTube 的多样化活动）、DiDeMo（带描述性句子的 Flickr 视频）和 QVHighlights（同时带定位和精彩片段检测标注的 YouTube 视频）。
Q12 [基础] 两阶段和单阶段定位方法的权衡是什么？
Q: 时序句子定位的两阶段和单阶段方法有何不同，各自的权衡是什么？
A: 两阶段定位方法首先独立于查询生成一组时序提案（使用任何 TAP 方法），然后通过衡量每个提案的视觉特征与查询语言特征之间的跨模态相似性对提案评分。相似度最高的提案被选为预测结果。代表性方法包括 CTRL（Cross-modal Temporal Regression Localizer）和 ACRN（Attentive Cross-modal Retrieval Network）。优点是模块化：任何提案生成器都可以与任何跨模态匹配头配对，提案质量确定了定位精度的上限。缺点是效率：跨模态匹配必须对每个提案计算（每个查询 $O(N)$ 次操作），且提案在没有查询条件的情况下生成，可能产生与查询语义对齐较差的候选。
单阶段定位方法绕过了显式的提案生成，在单次前向传播中直接从联合视频-查询表示中预测目标片段。模型对视频和查询进行编码，融合其表示，并通过回归头直接预测 $(t_\text{start}, t_\text{end})$。方法包括 LGI（Local-Global Video-Text Interactions）、VSLNet（Video Span Localizing Network）和 SeqPAN（Sequence-to-Sequence Proposal-Aware Network）。单阶段方法推理速度更快（每个查询 $O(1)$），并允许查询从一开始就对时序搜索进行条件约束，潜在地在定位之前就将注意力集中在相关视频区域。权衡在于优化难度：模型须在没有中间提案信号提供训练指导的情况下，同时学习跨模态对齐和时序回归。
该领域已在很大程度上转向单阶段和基于查询（DETR 风格）的方法作为主流范式，这得益于改进的预训练视觉-语言骨干（CLIP、BLIP）提供了强大的初始跨模态对齐能力。
Q13 [进阶] 时序句子定位中跨模态对齐的主要机制是什么？
Q: 时序句子定位中的语言-视频特征交互机制如何工作，主要的设计选择是什么？
A: TSG 中的跨模态对齐要求计算一个共享表示空间，使语义匹配的视频片段和语言描述在特征空间中相近。第一个设计选择是编码骨干。早期工作使用 C3D 或 I3D 特征进行视频编码，LSTM 进行语言编码。现代方法使用预训练的视觉-语言模型，最常见的是 CLIP，其在图像-文本对上的对比预训练提供了强大的零样本对齐能力，在片段级别应用于视频时具有很好的迁移性。微调后的 CLIP 特征大幅减轻了定位头的跨模态对齐负担。
交互机制决定了视频和语言特征如何结合。早期融合将句子表示与每个片段特征拼接或逐元素相加，然后进行时序推理，使每次时序计算都能访问查询。交叉注意力（基于 Transformer）允许每个视频片段关注所有查询词 token，反之亦然，同时计算查询感知的视频特征和视频感知的查询特征。这种双向交互现已成为标准。特征仿射调制（FiLM）通过查询推导的仿射变换对视觉特征处理施加条件，同时调制视觉特征的缩放和偏移——这是完整交叉注意力的轻量级替代方案，在查询较短时效果良好。
近期方法越来越多地使用预训练的视频-语言模型（InternVideo、VideoCLIP、BLIP-2）作为统一编码器，从一开始就通过交错的交叉注意力联合处理视频和文本，而非分别编码后再融合。这种预训练的联合编码产生了更丰富的跨模态表示，减少了定位任务所需的特定任务微调量。
Q14 [进阶] 弱监督时序句子定位如何工作？
Q: 在没有时间戳标注的情况下进行时序句子定位有哪些主要策略，这种设置的挑战是什么？
A: 在弱监督设置中，训练数据仅由（视频，句子）对组成，没有指示描述时刻在视频中位置的时序标注。模型必须从间接监督信号中学习定位时刻——即句子应描述视频中实际出现的内容——这是一个高度欠约束的条件。
多实例学习（MIL）是最常见的方法。视频被划分为时序片段（提案或滑动窗口），形成候选时刻的"包"。学习目标是包中至少有一个时刻与句子匹配。通常实现为最大池化损失：计算每个提案与句子的匹配分数，取最大分数作为包分数，并以二元分类（该视频是否包含描述的时刻？）的交叉熵训练包级别标签。推理时选择分数最高的提案。挑战在于"假正例"问题：许多提案可能表面上与查询匹配而不是真正的时刻，且 MIL 训练无法区分它们。
基于重建的方法使用不同的间接信号：对句子编码，定位一个时刻，然后从定位时刻的视觉特征中解码句子。重建损失（如句子 token 的交叉熵）间接监督时序定位——只有正确的时刻才包含足够信息来重建特定查询。对比学习提供互补信号：将匹配的（视频片段，句子）对在嵌入空间中拉近，将不匹配的对推开，通过难负样本挖掘从同一视频内或相似内容视频中选择具有挑战性的不匹配对。
根本挑战是时序偏差：模型往往学习到虚假相关性（如大多数被描述的时刻起始于视频前半段），而非真正的视觉-语言对齐。这需要在训练中采用显式的去偏策略，例如在视频内负样本挖掘（相同查询，不同时序位置），以迫使模型基于内容而非位置进行定位。
Q15 [进阶] Moment-DETR 如何将 DETR 范式适配到时序句子定位？
Q: Moment-DETR 的架构和训练方法是什么，集合预测如何改变了定位流程？
A: Moment-DETR（Lei et al., 2021）将 DETR 的集合预测框架适配到时序句子定位。模型使用 $N$ 个可学习的时刻查询，每个查询旨在检测视频中一个相关的时序时刻。架构使用视觉骨干（片段级别的 C3D 或 CLIP 特征）对视频进行编码，使用文本编码器（RoBERTa 或 CLIP 文本编码器）对查询句子进行编码。两者投影到共享嵌入维度后沿序列轴拼接，形成联合视觉-语言 token 序列。标准 Transformer 编码器通过完整的自注意力处理此联合序列，为视频片段和查询词均生成上下文化 token。
$N$ 个可学习的时刻查询随后通过 Transformer 解码器的交叉注意力机制遍历编码后的联合序列，每个查询聚合与一个潜在时刻相关的信息。每个查询的输出传入由线性分类器（前景与背景）和预测归一化坐标 $(t_\text{center}, t_\text{width})$ 的线性回归器组成的预测头。训练时，使用匈牙利算法进行二分匹配，将预测结果与真实时刻匹配——以最小代价为每个真实标注分配恰好一个查询，消除了 NMS 的需要。训练损失结合了分类损失、时刻坐标的 L1 回归损失以及预测与真实片段的广义 IoU 损失。针对 QVHighlights 基准，还额外添加了显著性损失，为每个视频片段打分用于精彩片段检测。
集合预测公式提供了若干优势：自然地处理多个相关时刻（每个查询一个），避免了不可微的 NMS 后处理，并实现了完整流程的端到端训练。主要局限在于对初始化的敏感性，以及 $N$ 个查询需要足够的容量来覆盖所有可能的时刻——若 $N$ 太小，部分时刻将无法检测。后续工作（QD-DETR、EaTR）通过查询去噪和高效注意力扩展了 Moment-DETR，以提升收敛性和精度。
动作分割与前沿
Q16 [基础] 时序动作分割与 TAD 有何不同？
Q: 什么是时序动作分割，它与时序动作检测有何区别，各自适用于哪些场景？
A: 时序动作检测产生稀疏检测结果：它在可能包含大量背景片段的长未裁剪视频中识别离散的动作实例（具有明确的起止时间）。输出是一组 $(t_\text{start}, t_\text{end}, \text{class}, \text{score})$ 元组，类似于图像中的目标检测。动作被假设为由非动作背景分隔的独立事件，模型不需要标注每一帧——仅标注检测到的动作片段内的帧。
时序动作分割（又称动作分割或时序分割）进行密集的逐帧标注：视频中的每一帧都被赋予一个动作类别，没有背景的概念（每帧都属于某个动作类别）。输出是长度等于帧数的完整标签序列。该任务假设视频是具有明确阶段划分的结构化活动过程（如烹饪食谱、外科手术步骤），将整个视频进行分割。这在概念上类似于图像中的语义分割。
任务的选择取决于应用领域。TAD 适用于动作是非结构化视频内容中稀疏感兴趣事件的场景——体育集锦检测、会议事件提取、YouTube 活动检测。动作分割适用于目标是完整工作流理解的结构化程序性视频——烹饪数据集 50Salads、多活动数据集 Breakfast、外科视频数据集 Cholec80。评估指标也不同：TAD 使用 mAP@tIoU；分割通常使用逐帧准确率、编辑距离（惩罚动作阶段的错误排序）以及 F1@{10,25,50}（在不同 tIoU 阈值下的段级重叠，其中过分割错误被显式惩罚）。
Q17 [基础] MS-TCN 如何工作，它解决了什么问题？
Q: 什么是 MS-TCN，其设计如何解决时序动作分割中的过分割问题？
A: MS-TCN（Multi-Stage Temporal Convolutional Network，Abu Farha and Gall, 2019）解决了动作分割中的主要失败模式：过分割——预测的标签序列在类别之间切换过于频繁，在本应是单一持续动作的区间内产生许多短暂的虚假片段。例如，模型可能预测"切蔬菜→背景→切蔬菜→背景"，而真实标注是单一的"切蔬菜"片段，即使逐帧准确率合理，也会导致较高的编辑距离。
MS-TCN 的核心架构由多个顺序精修阶段组成。每个阶段是一个扩张时序卷积网络：一叠带有指数增长扩张率（1、2、4、8、…、512）的扩张因果卷积，以不增加参数量的方式在多个尺度上捕获时序上下文。感受野随层数指数增长（10 层网络覆盖 $2^{10} = 1024$ 帧的上下文）。每个阶段以逐帧特征序列作为输入，输出逐帧类别概率分布。从第二阶段起，每个阶段的输入是原始特征与前一阶段输出类别概率的拼接，使后续阶段能够利用前序预测的时序结构来精修结果。
关键在于，MS-TCN 在标准交叉熵分类损失之外引入了平滑损失。平滑损失是相邻帧预测之间的截断均方误差：
$$\Delta = \min(|\log p_t - \log p_{t+1}|,\, \tau)^2$$其中 $\tau$ 是截断阈值，忽略较大的帧间差异（可能对应真实的动作边界）。该损失显式惩罚片段内的突变预测，同时不惩罚动作边界处的合理过渡，直接针对过分割问题。
Q18 [进阶] ASFormer 如何改进 MS-TCN 用于动作分割？
Q: ASFormer（面向动作分割的 Transformer）的关键设计选择是什么，它如何解决基于 TCN 方法的局限性？
A: ASFormer（Yi et al., 2021）用针对动作分割长序列、密集预测特性定制的层次化 Transformer 架构取代了 MS-TCN 的扩张卷积骨干。Transformer 在此任务中面临的核心挑战是：在片段级别处理的视频可能跨越数千帧，使标准 $O(T^2)$ 自注意力代价高昂。ASFormer 通过层次化注意力设计解决这一问题：每个 Transformer 层在固定大小的局部窗口内进行注意力计算，而非整个序列，并通过在更深层次中将窗口大小翻倍来增大感受野（精神上类似于扩张卷积，但通过注意力实现）。这以线性而非二次复杂度实现了指数增长的上下文。
跨阶段连接是 ASFormer 最具特色的贡献。在 MS-TCN 中，阶段间仅通过前一阶段的 softmax 输出概率进行通信——这是一个有损的信息瓶颈。ASFormer 改为在连续阶段的 token 表示之间使用交叉注意力，允许第 $k+1$ 阶段的每个 token 关注第 $k$ 阶段的所有 token，并检索其丰富的中间表示，而非仅其类别预测。这跨阶段保留了更多信息，并实现了更结构化的精修：第 $k+1$ 阶段可以识别第 $k$ 阶段哪些帧被自信地分类、哪些存在歧义，并利用这些元信息相应调整其预测。
ASFormer 还使用解码器-编码器架构，其中每个阶段的解码器通过交叉注意力上采样和精修表示，在完整时序分辨率下实现更精确的边界定位。在标准基准（50Salads 和 Breakfast）上，ASFormer 在 F1 分数和编辑距离上显著优于 MS-TCN 和 MS-TCN++，尤其在边界精度上有突出提升。剩余的实际局限在于超长视频的计算成本：高帧率下跨越 30–60 分钟的外科或烹饪视频在处理前需要进行较大幅度的时序下采样，这可能损害边界精度。
Q19 [进阶] 在线和流式时序动作检测面临哪些关键挑战？
Q: 在线 TAD 与离线 TAD 有何不同，实时时序动作检测面临的主要技术挑战是什么？
A: 离线 TAD 假设在做出任何预测之前整段视频都已可用，允许模型利用未来上下文定位已经结束的动作。所有提案都可以用双向时序上下文评分，NMS 可以全局应用于整段视频。这产生高质量检测，但引入了等于完整视频时长的延迟——对实时应用（如现场体育分析、监控或交互式机器人技术）不可用。
在线（流式）TAD 要求在帧到达时做出预测，只能访问当前帧和之前观察到的历史记录。这产生了若干根本挑战。首先，动作无法在其开始时检测，因为模型无法知道当前活动是否会持续足够长的时间构成可检测的动作——某种形式的缓冲或假设维护是不可避免的。其次，边界预测是不对称的：动作起始点可以暂时在线识别，但动作结束点在动作已经结束之前无法确认，引入了固有延迟。第三，在没有未来上下文的情况下提取的特征本质上比双向特征弱，许多时序建模架构（双向 LSTM、完整自注意力）无法应用。
常见方法包括滑动窗口方法（处理固定长度窗口，带重叠地向前移动，跨窗口聚合预测）、递归架构（LSTM/GRU 维护时序历史的压缩状态，用于高效的逐帧评分）以及假设跟踪方法（维护一组置信分数不断增长的动作假设，当置信度在最短时长后超过阈值时发出检测）。在线 TAD 的关键额外评估指标是检测延迟——真实动作结束与模型检测之间的时间间隔——除标准 mAP 外。降低延迟通常需要接受质量较低的特征或更浅层的时序模型，形成必须针对每个应用进行表征的明确精度-延迟权衡。
Q20 [进阶] 视频大语言模型如何与时序动作检测集成？
Q: 大型视觉-语言模型如何应用于时序动作定位，与专用检测器相比有哪些优势和局限？
A: 视频大语言模型（Video-LLMs）——包括 VideoChat、TimeChat、VTimeLLM 和 Vid-Mamba——通过整合视觉编码器（CLIP、InternVideo）将大语言模型（LLaMA、Vicuna）适配到视频理解，视觉编码器生成的视频 token 被馈入 LLM。这些模型在视频指令数据上训练，以回答关于视频内容的自然语言问题。当训练数据包含带时间戳的指令时，时序定位作为一种能力涌现：“在第 12.3 秒，人物开始切蔬菜。“模型学习在响应"人物何时开始切菜？“等查询时，将时间戳作为文本 token 生成——有效地将时序定位作为文本生成任务来执行。
TimeChat（Ren et al., 2024）是专为时间敏感视频理解设计的代表性系统。它使用 CLIP 帧的滑动窗口对视频进行编码，使用时间感知帧编码器注入时序位置信息，并在大型精选的带时间戳视频字幕、定位对和问答示例数据集上微调 LLaMA。推理时，TimeChat 可以定位查询事件、生成带时间戳的密集视频字幕并回答时序问题——所有这些都在单一模型内完成。VTimeLLM 将专用的时序定位器（轻量级检测头）与 LLM 结合，以实现比纯文本生成更高精度的边界预测。
Video-LLM 方法的优势是显著的：开放词汇检测（任何可用语言描述的事件，而非仅预定义的类别集合）、多任务统一（单一模型实现定位、摘要、问答和字幕生成）以及无需类别工程的自然语言交互。当前局限性同样突出：通过文本解码生成时间戳产生近似边界（精确到最近的秒或片段单元），而非专用检测器的亚秒精度；推理成本高（数十亿参数、缓慢的自回归解码）；处理非常长的视频（数小时）由于上下文窗口限制仍然困难。新兴研究方向是混合系统——使用专用 TAD 检测器作为 LLM 可调用的工具：LLM 决定何时调用检测器，处理其输出并综合响应，将 LLM 的语言理解能力与经典检测流程的时序精度相结合。
快速参考
| # | 难度 | 主题 | 章节 |
|---|---|---|---|
| Q1 | 基础 | TAD 任务定义：与动作识别的区别 | TAD 基础与检测流程 |
| Q2 | 基础 | 两阶段流程：提案 + 分类 | TAD 基础与检测流程 |
| Q3 | 基础 | 评估指标：tIoU、mAP@tIoU | TAD 基础与检测流程 |
| Q4 | 进阶 | 基于锚点与无锚点时序检测器 | TAD 基础与检测流程 |
| Q5 | 进阶 | 基于查询/DETR 风格检测器（ActionFormer） | TAD 基础与检测流程 |
| Q6 | 基础 | 时序动作提案：目标与经典方法（BSN） | 时序提案生成 |
| Q7 | 基础 | BMN：边界匹配网络设计 | 时序提案生成 |
| Q8 | 进阶 | G-TAD：基于图的时序提案建模 | 时序提案生成 |
| Q9 | 进阶 | 片段级与段级特征 | 时序提案生成 |
| Q10 | 进阶 | 时序域中的 NMS 与 Soft-NMS | 时序提案生成 |
| Q11 | 基础 | TSG 任务定义：与 TAD 的区别 | 时序句子定位 |
| Q12 | 基础 | 两阶段与单阶段定位 | 时序句子定位 |
| Q13 | 进阶 | 跨模态对齐：语言-视频交互 | 时序句子定位 |
| Q14 | 进阶 | 弱监督时序定位 | 时序句子定位 |
| Q15 | 进阶 | Moment-DETR：基于查询的定位 | 时序句子定位 |
| Q16 | 基础 | 时序动作分割与 TAD 的区别 | 动作分割与前沿 |
| Q17 | 基础 | MS-TCN：多阶段时序卷积网络 | 动作分割与前沿 |
| Q18 | 进阶 | ASFormer：基于 Transformer 的动作分割 | 动作分割与前沿 |
| Q19 | 进阶 | 在线/流式 TAD | 动作分割与前沿 |
| Q20 | 进阶 | Video-LLM + TAD 集成 | 动作分割与前沿 |
参考文献
- Lin et al., BSN: Boundary Sensitive Network for Temporal Action Proposal Generation (2018)
- Lin et al., BMN: Boundary-Matching Network for Temporal Action Proposal Generation (2019)
- Xu et al., G-TAD: Sub-Graph Localization for Temporal Action Detection (2020)
- Zhang et al., ActionFormer: Localizing Moments of Actions with Transformers (2022)
- Lei et al., QVHighlights: Detecting Moments and Highlights in Videos via Natural Language Queries (2021)
- Abu Farha and Gall, MS-TCN: Multi-Stage Temporal Convolutional Network for Action Segmentation (2019)
- Yi et al., ASFormer: Transformer for Action Segmentation (2021)
- Ren et al., TimeChat: A Time-sensitive Multimodal Large Language Model for Long Video Understanding (2024)