视觉个性化图灵测试
Visual Personalization Turing Test
提出以「感知不可区分」而非身份复刻来评判个性化生成,并给出仅用文本的 VPTT Score 作为可扩展代理指标;做个性化生成(如 DreamBooth 类)或需要自动评测生成内容「像不像某人所为」的视觉研究者,可直接复用其基准与评分协议替代昂贵的人工评测。
原文依据 a text-only metric calibrated against human and VLM judgments
摘要译文
由模型翻译 · 术语统一 · 请对照原文核对关键结论我们提出视觉个性化图灵测试(VPTT),一种基于感知不可区分性而非身份复刻来评估上下文视觉个性化的新范式。若模型的输出(图像、视频、3D 资产等)在人类或经校准的 VLM 评判者看来,与给定人物可能合理创作或分享的内容无法区分,则该模型通过 VPTT。为使 VPTT 可操作化,我们提出 VPTT 框架,整合了一个万人级人物设定基准(VPTT-Bench)、一个视觉检索增强生成器(VPRAG),以及 VPTT Score——一个仅依赖文本、并针对人类与 VLM 判断进行校准的指标。我们展示了人类、VLM 与 VPTT 评估之间的高度相关性,验证了 VPTT Score 作为可靠感知代理指标的有效性。实验表明,VPRAG 实现了最佳的对齐—原创性平衡,为个性化生成式 AI 提供了可扩展且隐私安全的基础。
英文原文摘要 909 字符
We introduce the Visual Personalization Turing Test (VPTT), a new paradigm for evaluating contextual visual personalization based on perceptual indistinguishability, rather than identity replication. A model passes the VPTT if its output (image, video, 3D asset, etc.) is indistinguishable to a human or calibrated VLM judge from content a given person might plausibly create or share. To operationalize VPTT, we present the VPTT Framework, integrating a 10k-persona benchmark (VPTT-Bench), a visual retrieval-augmented generator (VPRAG), and the VPTT Score, a text-only metric calibrated against human and VLM judgments. We show high correlation across human, VLM, and VPTT evaluations, validating the VPTT Score as a reliable perceptual proxy. Experiments demonstrate that VPRAG achieves the best alignment-originality balance, offering a scalable and privacy-safe foundation for personalized generative AI.