视觉语言模型 / CVPR2026
SafeGRPO:通过规则约束的策略优化实现自奖励多模态安全对齐
SafeGRPO: Self-Rewarded Multimodal Safety Alignment via Rule-Governed Policy Optimization
对做多模态大模型安全对齐的研究者,这篇给出了可复用的配方:用带视觉/文本/组合安全标签的数据集构造规则化可验证奖励,再接入 GRPO 做自奖励强化学习,并配合分步安全思维链约束推理轨迹;可直接迁移到其他 VLM 的安全微调或推理时风险感知训练。
多模态安全对齐规则奖励设计组相对策略优化