Tag · 8 篇

神经架构搜索

分布高效模型与推理加速7自监督与表征学习1

What Matters in Practical Learned Image Compression

论文把感知质量与端侧运行时延作为联合优化目标，并用数百万骨干网络配置的感知性能神经架构搜索来寻找帕累托前沿，这套「感知指标驱动的 NAS + 时延约束」流程可直接迁移到超分、去噪等底层视觉模型的端侧部署设计。

Vision-Oriented Lightweight Neural Architecture Search with Budget-Adaptive Evaluation

用六个训练开销极小的微型视觉任务作为代理信号来给候选架构排序，可在接近免训练方法的成本下获得基于训练的可靠性，适合直接替换现有 NAS 流程中的评估器。

TAS-LoRA: Transformer Architecture Search with Mixture-of-LoRA Experts

将低秩适配（LoRA）作为子网专属参数引入Transformer架构搜索，配合混合专家路由，可缓解超网特征坍缩问题；该思路可迁移到视觉Transformer的轻量化搜索与参数高效微调场景。

Progressive Neural Architecture Generation

对做视觉模型设计的读者，PNAG 提供了一种用多尺度子架构量化加逐步一致性约束来直接生成有效架构的范式，可替代贝叶斯优化中的随机采样环节，把架构搜索的生成时间降低约 1300 倍，并可直接生成 Transformer 类视觉骨干。

InTrain: Intrinsic Trainability for Zero-Cost Neural Architecture Search

对做视觉骨干网络选型的人，InTrain 提供了一个无需训练即可给候选架构打分的统一代理：用激活协方差特征谱的参与率衡量表征有效维度、用逐层梯度健康度衡量深层反传稳定性，可直接嵌入 NAS 搜索循环替代昂贵的训练式评估。

HyperNAS: Enhancing Architecture Representation for NAS Predictor via Hypernetwork

对做视觉模型选型的人，HyperNAS 提供了一种用共享超网络作为辅助任务来增强架构编码、从而在极少代理样本下预测 ViT/CNN 精度的方法，可直接用于低预算的架构筛选与搜索。

Fast-FoundationStereo: Real-Time Zero-Shot Stereo Matching

把基础模型（FoundationStereo）的零样本能力通过知识蒸馏+分块 NAS+结构化剪枝压到实时帧率，这套「大模型→单学生骨干+延迟预算下搜索代价滤波+剪枝迭代精化」的加速流水线可直接复用到其他稠密预测基础模型（深度、光流、分割）的实时化。

CHEEM: Continual Learning by Reuse, New, Adapt and Skip - A Hierarchical Exploration-Exploitation Approach

把神经架构搜索当作持续学习中的内部记忆：每个新任务通过 reuse/new/adapt/skip 四种原语动态改写骨干网络结构，视觉研究者可将其作为免样本类增量学习下替代 prompt 微调的骨干自适应方案，并复用其任务质心外部记忆做任务 ID 推理。