Tag · 5 篇
生成式预训练
VITAL：以视觉编码器为中心的视觉质量评估多模态大模型预训练
VITAL: Vision-Encoder-centered Pre-training for LMMs in Visual Quality Assessment
以视觉编码器为中心的生成式预训练流程，配合机器执行的标注-审查范式构建大规模视觉-语言对，为视觉质量评估等低层感知任务提供可零样本迁移的多模态大模型底座；其解码器仅需极少预热数据即可复现全量训练性能，为视觉-语言模型的高效扩展提供可复用方案。
TGTrack：面向统一单目标跟踪的时序生成式学习
TGTrack: Temporal Generative Learning for Unified Single Object Tracking
把「预测未来帧特征」作为自监督辅助任务来训练跟踪器，并用时间词元显式编码帧位置；这套生成式时序监督可直接迁移到任何需要建模帧间动态的视觉跟踪或视频表征学习框架中。
OpenVision 2：面向多模态学习的一族生成式预训练视觉编码器
OpenVision 2: A Family of Generative Pretrained Visual Encoders for Multimodal Learning
去掉文本编码器和对比损失、仅用captioning loss训练视觉编码器，可作为一种更省显存和时间的视觉表征预训练方案，直接用于多模态大模型的视觉塔初始化。
面向零样本运动跟踪的人形生成式预训练
Humanoid Generative Pre-Training for Zero-Shot Motion Tracking
用因果注意力 Transformer 在十亿级动作语料上做生成式预训练，替代浅层 MLP 跟踪器，为视觉驱动的全身运动跟踪与零样本泛化提供可扩展的骨干与数据规模化范式。
FoundIR-v2：为图像复原基础模型优化预训练数据配比
FoundIR-v2: Optimizing Pre-Training Data Mixtures for Image Restoration Foundation Model
把「不同复原任务的数据配比」当作可优化的变量，用数据混合律做动态调度，并用 MoE 调度器为每个任务分配任务自适应的扩散先验；做 all-in-one 复原或多任务联合训练时，可直接借鉴这套数据均衡调度与专家路由思路。