Tag · 8 篇
端到端训练
ViterbiPlanNet：通过可微分Viterbi为教学视频规划注入程序性知识
ViterbiPlanNet: Injecting Procedural Knowledge via Differentiable Viterbi for Planning in Instructional Videos
将程序性知识图谱通过可微分Viterbi层嵌入端到端训练，为视频中的动作序列规划提供了一种结构感知且样本高效的方案，可复用于需要时序推理的视觉任务。
将预训练视觉 Transformer 转变为端到端病理全切片图像模型以用于生存预测
Turning Pre-Trained Vision Transformers into End-to-End Histopathology Whole Slide Image Models for Survival Prediction
把预训练 ViT 直接改造成端到端全切片图像模型，省去两阶段流程中的离线特征提取与 MIL 聚合，且不增加参数；对做病理或超大分辨率图像分析的人，这是一种可复用的「免额外参数、直接吃整张组织区域」的改造思路。
PixelDiT：用于图像生成的像素扩散 Transformer
PixelDiT: Pixel Diffusion Transformers for Image Generation
去掉预训练自编码器、直接在像素空间做扩散，并用 patch 级 + pixel 级双层级 DiT 兼顾全局语义与纹理细节，为做图像生成的人提供了一条避免有损重建与误差累积的单阶段端到端路线，可直接迁移到高分辨率文生图训练。
FBTA：通过特征桥接与翻译对齐实现单GPU端到端千兆像素WSI分类
FBTA: Enabling Single-GPU End-to-End Gigapixel WSI Classification with Feature Bridging and Translation Alignment
提出一种在单张24GB GPU上端到端训练WSI分类的MIL框架，通过特征桥接和翻译对齐解决冻结特征提取器带来的语义鸿沟，可复用于其他需要端到端训练的大图像分类任务。
可微拉普拉斯矩阵引导的超像素分割
Differentiable Laplacian Matrix Guided Superpixel Segmentation
提供一种模型无关、完全可微的图拉普拉斯损失，可直接嵌入现有超像素网络训练中替代不可微的连通性后处理，做密集预测或区域划分的研究者可复用该正则项与新增的杂散像素/多余连通分量评测指标。
DiP：在像素空间中驯服扩散模型
DiP: Taming Diffusion Models in Pixel Space
把高分辨率像素空间扩散拆成「大图像块上的全局结构 + 轻量细节检测头恢复局部细节」两阶段，可在不依赖 VAE 的前提下把像素空间扩散的推理成本压到 LDM 水平，做高分辨率图像生成或想摆脱 VAE 信息损失时可直接复用这一解耦范式。
D2T2——面向近距离放射治疗的多模态自动规划
D2T2 - Multimodal Automated Planning for Brachytherapy
把物理前向模型（剂量核线性组合）作为可微网络层嵌入端到端预测，并用可学习的代理指标（gamma index 预测器）构造损失，这一「物理模型嵌入 + 代理指标损失」范式可迁移到其他需要输出物理可行结果的医学影像回归任务。
AudioStory：利用大语言模型生成长篇叙事音频
AudioStory: Generating Long-Form Narrative Audio with Large Language Models
AudioStory 将 LLM 的指令分解与扩散模型的音频生成通过解耦桥接机制（桥接查询和残差查询）结合，并实现端到端训练，这种思路可迁移到视觉领域的可控长视频生成，例如利用 LLM 分解复杂叙事为时序子任务，再通过扩散模型生成连贯视频。