Tag · 4 篇
大语言模型智能体
RunawayEvil:越狱图像到视频生成模型
RunawayEvil: Jailbreaking the Image-to-Video Generative Models
针对图像到视频生成模型,给出一种可复用的多模态越狱攻击范式:用强化学习与 LLM 自动搜索文本指令与图像篡改的协同组合,可作为评估 I2V 系统安全对齐的自动化红队工具,也提示防御方需同时约束视觉与文本两条条件通路。
RAAS:基于 GRPO 的大语言模型智能体系统架构搜索
RAAS: LLM Agentic System Architecture Search with GRPO
论文提出的「同查询候选群组对比 + 多试验聚合」稳定评估思路,可直接迁移到视觉智能体(如视觉工具调用、多模态推理流水线)的架构搜索与自动设计,缓解绝对分数受任务难度干扰的问题。
ProFocus:视觉语言导航中的主动感知与聚焦推理
ProFocus: Proactive Perception and Focused Reasoning in Vision-and-Language Navigation
将全景观测转成结构化自我中心语义地图,并由 LLM 编排智能体主动发起带焦点区域的视觉查询,这一「主动感知 + 定向取景」的闭环可直接迁移到任何需要从冗余全景/多视角输入中按需取景的具身导航或主动视觉任务;BD-MCTS 从大量历史候选中筛出 top-k 高价值路点再做聚焦推理,也为长时序视觉历史的高效利用提供了可复用策略。
从历史到未来:以经验与思考演化智能体实现零样本视觉语言导航
History to Future: Evolving Agent with Experience and Thought for Zero-shot Vision-and-Language Navigation
把 LLM 的未来动作/地标预测(F-CoT)与历史轨迹经验总结(H-CoE)组合成可演化的零样本导航决策回路,可直接迁移到视觉导航、具身探索等需要在线纠错的序列决策任务中。