Tag · 3 篇
零阶优化
分布 高效模型与推理加速2鲁棒性与安全1
01 02 03
一次预热，本地重编程：黑盒服务模型适配的高效替代方案
Prime Once, then Reprogram Locally: An Efficient Alternative to Black-Box Service Model Adaptation
对做视觉模型部署与迁移的研究者，这篇给出了一个可复用的范式：先用少量 API 调用把本地预训练编码器「预热」成可接收黑盒模型知识的代理，再在本地做白盒重编程，从而把黑盒适配的调用成本压到近乎为零；其轻量层预热 + 本地重编程的两阶段流程可直接套用到 VLM 或标准视觉模型的下游任务适配中。
FOZO：面向测试时自适应的纯前向零阶提示词优化
FOZO: Forward-Only Zeroth-Order Prompt Optimization for Test-Time Adaptation
提供了一种无需反向传播、仅靠前向计算与零阶梯度估计即可在测试时优化提示词的方案，可直接用于低端设备或 INT8 量化模型上的在线域适应，避免修改模型权重。
面向显存高效测试时自适应的曲率感知零阶优化
Curvature-Aware Zeroth-Order Optimization for Memory-Efficient Test-Time Adaptation
用仅前向的零阶梯度估计替代反向传播来做测试时自适应，并借助对角 Hessian 的滑动平均构造各向异性扰动协方差，为显存受限的端侧视觉模型提供了一条可复用的免 BP 适配路径。