Tag · 28 篇
多任务学习
双对齐多任务特征引导的虚拟免疫组化染色
Virtual Immunohistochemistry Staining with Dual-Aligned Multi-Task Feature Guidance
面向H&E到IHC虚拟染色，提出用辅助任务特征做引导，并通过聚类与主被动匹配构建对齐矩阵来对齐H&E与IHC特征，可复用于存在空间错位的跨模态图像翻译与配准任务。
VITAL：以视觉编码器为中心的视觉质量评估多模态大模型预训练
VITAL: Vision-Encoder-centered Pre-training for LMMs in Visual Quality Assessment
以视觉编码器为中心的生成式预训练流程，配合机器执行的标注-审查范式构建大规模视觉-语言对，为视觉质量评估等低层感知任务提供可零样本迁移的多模态大模型底座；其解码器仅需极少预热数据即可复现全量训练性能，为视觉-语言模型的高效扩展提供可复用方案。
UniGeoSeg：面向地理空间场景的统一开放世界分割
UniGeoSeg: Towards Unified Open-World Segmentation for Geospatial Scenes
该工作构建了百万级遥感指令驱动分割数据集与统一框架，其任务感知文本增强、潜变量知识记忆与渐进式训练策略可直接迁移到开放世界分割与指代/推理分割任务中，为视觉研究者提供可复用的多任务分割基线与评测基准。
Uni-Hema：面向数字血液病理学的统一模型
Uni-Hema: Unified Model for Digital Hematopathology
Hema-Former 在层级上桥接视觉与语言表征、统一处理检测/分类/分割/形态预测/VQA 的多粒度多任务设计，可迁移到其他需要细胞级多任务推理的显微成像场景；其 46 个数据集、700K 图像与 21K QA 对的整合方式也提供了多源医学数据统一训练的参考。
理解视觉语言模型中的任务迁移
Understanding Task Transfer in Vision-Language Models
给做 VLM 感知微调的人一个可复用的诊断工具：用 PGF 归一化指标量化源任务微调对 13 个感知任务零样本性能的迁移广度与幅度，并据此做数据选择，避免负迁移。
TaskForce：面向多任务优化的协作式多智能体强化学习
TaskForce: Cooperative Multi-agent Reinforcement Learning for Multi-task Optimization
TaskForce 把多任务损失加权建模为协作式多智能体强化学习问题，智能体以梯度 Gram 矩阵和损失值为观测输出各任务的平衡权重；做多任务视觉模型（如 NYU-v2 深度+法向、Cityscapes 检测+分割）时可直接复用该梯度级冲突消解与动态加权机制。
TACO：面向激光雷达定位与3D目标检测联合的任务感知对比学习
TACO: Task-Aware Contrastive Learning for Joint LiDAR Localization and 3D Object Detection
用对比学习显式解耦静态地理特征与目标中心特征，让定位与3D检测共享一个骨干网络并互为监督；做激光雷达定位或多任务BEV感知时，可借鉴这种按任务属性拆分特征空间、过滤动态噪声的思路。
StableMTL：改造潜扩散模型以从部分标注的合成数据集进行多任务学习
StableMTL: Repurposing Latent Diffusion Models for Multi-Task Learning from Partially Annotated Synthetic Datasets
把预训练潜扩散模型改造成多任务密集预测的潜回归器，用统一潜损失替代逐任务损失、用任务注意力把 N-to-N 交互降为 N-to-one，为视觉研究者提供了一条免调损失权重、可随任务数扩展的多任务训练范式。
检索即复原：基于检索式退化库的高效一体化图像复原
Retrieve-to-Restore: Efficient All-in-One Image Restoration with a Retrieval-Based Degradation Bank
把退化知识外置成一个可检索的先验库，用退化匹配在推理时调制骨干网络特征，为多退化统一复原提供了一条解耦「退化适应」与「重建能力」的轻量思路，可直接迁移到去噪、去雨、去雾等多任务联合训练场景。
OmniGen2：迈向指令对齐的多模态生成
OmniGen2: Towards Instruction-Aligned Multimodal Generation
两阶段范式（先构建世界知识基础模型，再用渐进式多任务强化学习对齐）可直接迁移到任何需要细粒度指令遵循的视觉生成任务；解耦解码架构与新型位置编码方案为统一多模态生成器的效率设计提供参考。
Omni2Sound：迈向统一的视频-文本到音频生成
Omni2Sound: Towards Unified Video-Text-to-Audio Generation
提出三阶段多任务渐进训练调度，将视频到音频与文本到音频的跨任务竞争转化为联合优化，并缓解VT2A任务中的模态偏置；该调度策略可迁移到其他多模态条件扩散生成任务（如视频配音、音效生成）中平衡异构条件。
MoRE：三维视觉几何重建遇上混合专家
MoRE: 3D Visual Geometry Reconstruction Meets Mixture-of-Experts
用 MoE 动态路由把深度、法线等几何任务分派给专家，并配一个基于置信度的深度细化模块，可作为构建可扩展稠密几何基础模型、在多任务间共享骨干网络时的架构与损失设计参考。
MedGRPO：面向异构医学视频理解的多任务强化学习
MedGRPO: Multi-Task Reinforcement Learning for Heterogeneous Medical Video Understanding
针对医学视频理解中多数据集奖励尺度不平衡导致RL训练崩溃的问题，提出跨数据集奖励归一化方法，将各数据集的中位性能映射到统一奖励值，使多任务强化学习稳定；同时引入医学LLM评判器从五个临床维度评估描述质量，为视觉-语言模型在专业领域的多任务RL微调提供可复用方案。
MakeAnything：利用扩散 Transformer 进行多领域过程序列生成
MakeAnything: Harnessing Diffusion Transformers for Multi-Domain Procedural Sequence Generation
提出非对称 LoRA 微调策略（冻结编码器、自适应调整解码器）以平衡泛化与任务性能，可复用于其他基于 DiT 的生成任务；同时利用时空一致性约束实现从静态图像生成过程序列，为视觉生成中的时序建模提供思路。
HyperNAS：通过超网络增强 NAS 预测器的架构表征
HyperNAS: Enhancing Architecture Representation for NAS Predictor via Hypernetwork
对做视觉模型选型的人，HyperNAS 提供了一种用共享超网络作为辅助任务来增强架构编码、从而在极少代理样本下预测 ViT/CNN 精度的方法，可直接用于低预算的架构筛选与搜索。
H^2A^2：面向统一室内 3D 目标检测的同质感知与异质感知特征提取
H^2A^2: Homogeneity-Aware and Heterogeneity-Aware Feature Perception for Unified Indoor 3D Object Detection
针对室内 3D 检测的跨场景训练，提出结构特征感知的核选择与梯度归一化策略，可复用于点云检测器的跨域泛化与多任务优化。
几何作为上下文：在场景一致视频生成中调制显式3D以构建几何上下文
Geometry-as-context: Modulating Explicit 3D in Scene-consistent Video Generation to Geometry Context
将显式3D几何作为上下文信号，通过自回归视频生成模型迭代完成几何估计与新视角恢复，为场景一致视频生成提供可复用框架；相机门控注意力模块可增强相机位姿控制。
GeoCoT：面向可靠遥感推理的流形视角方法
GeoCoT: Towards Reliable Remote Sensing Reasoning with Manifold Perspective
提出基于局部流形映射的稀疏专家路由机制，可复用于视觉语言模型的多任务适配，降低高维视觉token冗余；同时引入RSV-GRPO强化结构化推理训练，为遥感视觉语言模型提供可借鉴的优化策略。
面向参数高效多任务学习的频率切换机制
Frequency Switching Mechanism for Parameter-Efficient Multi-Task Learning
把正弦频率调制叠加在低秩+卷积先验的单一核上，用极少量可训练参数（6.53M）实现多任务权重特化，可直接替换视觉骨干网络中的 LoRA/Adapter 做多任务稠密预测的联合微调。
FAAR：通过自动秩选择的高效频率感知多任务微调
FAAR: Efficient Frequency-Aware Multi-Task Fine-Tuning via Automatic Rank Selection
提出频率感知的自动秩选择方法，可复用于视觉多任务微调，在减少参数量的同时提升密集预测任务性能。
双原型引导的多任务学习用于无监督异常检测与分类
Dual-Prototype-Guided Multi-task Learning for Unsupervised Anomaly Detection and Classification
对做工业/医学异常检测的人，这篇提供了用正常原型与类别原型做显式特征解耦、并用差分门控交互与几何正则缓解多任务梯度冲突的框架，可直接迁移到需要同时定位异常区域并判别异常类型的视觉检测系统。
DriverGaze360：面向目标级引导的全向驾驶员注意力
DriverGaze360: OmniDirectional Driver Attention with Object-Level Guidance
把驾驶员注意力预测从窄前视扩展到360°全景输入，并用辅助语义分割头把注意力图与所注视目标绑定；做车载感知或多任务注意力建模的可以借鉴这种「注意力图+目标级监督」的联合学习范式，以及其全景数据采集与标注流程。
发现自适应任务依赖以实现高效多任务表征压缩
Discovering Adaptive Task Dependencies for Efficient Multi-Task Representation Compression
对做多任务视觉表征学习的人，这篇给出了用可学习相关矩阵推断任务间可预测性、再按动态 DAG 条件编码来去除任务间冗余的思路，可迁移到多任务特征存储与传输、以及多任务模型的特征共享结构设计上。
DetAny4D：在流式 RGB 视频中时序检测任意 4D 目标
DetAny4D: Detect Anything 4D Temporally in a Streaming RGB Video
把预训练基础模型的多模态特征与几何感知的时空解码器结合，在流式 RGB 视频上端到端直接回归 3D 边界框，为视频 3D 检测提供了可复用的时序一致性建模方案，可缓解逐帧预测带来的抖动问题。
DC-Merge：利用方向一致性改进模型合并
DC-Merge: Improving Model Merging with Directional Consistency
对做多任务/多领域视觉模型部署的人，DC-Merge 提供了一种无需额外训练、仅靠奇异值平滑与共享正交子空间投影就能把多个微调模型（含 LoRA）合并成一个的通用后处理手段，可直接用于把多个视觉任务适配器压成单模型。
CycleManip：通过有效历史感知与理解实现基于周期的操作
CycleManip: Enabling Cycle-based Manipulation via Effective History Perception and Understanding
面向视觉-语言-动作（VLA）模仿策略的即插即用历史感知模块：用代价感知采样挑选历史帧、用多任务学习增强历史理解，可直接嵌入现有 VLA 策略以处理需要精确终止时刻的周期性操作任务。
面向冷冻电子断层成像联合复原的监督式多任务框架：由生成式物理仿真驱动
A Supervised Multi-task Framework for Joint cryo-ET Restoration Enabled by Generative Physical Simulation
用真实结构（EMDB）驱动的物理成像仿真生成带干净真值的断层图，把「缺真值」的低层复原任务转成全监督多任务学习；这套仿真-监督范式可迁移到其他缺乏 GT 的退化成像复原（如低剂量 CT、显微去噪）。
面向稠密场景理解的跨视角关联三维感知多任务学习
3D-Aware Multi-Task Learning with Cross-View Correlations for Dense Scene Understanding
把跨视角代价体作为几何一致性先验注入多任务编码器，为分割/深度等稠密任务提供 3D 感知的跨任务关联；该模块与架构无关，可直接插到现有 MTL 网络中复用。