Tag · 10 篇

多模态情感分析

分布 视觉语言模型9视频理解与时序1
01
视觉语言模型 / CVPR2026

面向多模态情感分析的三子空间解耦

Tri-Subspaces Disentanglement for Multimodal Sentiment Analysis

把多模态特征显式拆成全局共享、模态对共享、模态私有三类子空间,并用解耦监督加结构化正则保持纯度,这套「按共享范围分层解耦」的思路可直接迁移到视觉-语言任务(如VQA、图文检索)的表征融合环节,替代笼统的共享/私有二分。

多模态情感分析子空间解耦交叉注意力融合
02
视觉语言模型 / CVPR2026

原型即提示:多模态情感原型赋予大语言模型执行多模态情感分析的能力

Prototype-as-Prompt: Multimodal Sentiment Prototypes Endowing Large Language Models the Capability to Perform Multimodal Sentiment Analysis

将视觉-音频特征压缩为可解释的多模态情感原型,并作为软提示注入LLM,为视觉-语言模型提供了一种参数高效且语义明确的条件控制方式,可复用于其他多模态理解任务。

多模态情感分析软提示原型学习
03
视觉语言模型 / CVPR2026

Nano-EmoX:从感知到共情的多模态情感智能统一

Nano-EmoX: Unifying Multimodal Emotional Intelligence from Perception to Empathy

对做视觉研究的人而言,可复用点在于用异构适配器把面部编码器、融合编码器等全模态编码器输出投影进统一语言空间,并以课程式训练(先对齐快速感知、再引入思维链推理)让轻量语言模型同时处理多任务;这套「编码器+适配器+课程」的范式可直接迁移到面部表情、情感识别等视觉任务的多任务统一建模。

多模态情感分析课程学习思维链推理
04
视觉语言模型 / CVPR2026

基于聚类的多度量表征学习策略用于细粒度多模态情感分析

Multi-Metric Representation Learning Strategy Based on Clustering for Fine-Grained Multimodal Sentiment Analysis

把多模态表征按情感类别聚类后,在全局与簇内局部两套度量下做投影与决策级融合,这一「聚类+多度量」思路可直接迁移到视觉-语言模型中的细粒度情感/意图判别与跨模态对齐。

多模态情感分析度量学习聚类
05
视频理解与时序 / CVPR2026

面向弱监督时序情感定位的人脸引导情感边界增强

Face-Guided Sentiment Boundary Enhancement for Weakly-Supervised Temporal Sentiment Localization

将细粒度人脸特征作为情感刺激线索引入多模态交互,并用点级对比学习与边界感知伪标签生成来缓解弱监督下的边界模糊问题,为视频时序定位中的弱监督边界增强提供了可复用的思路。

弱监督时序定位多模态情感分析对比学习
06
视觉语言模型 / CVPR2026

先增强后平衡的模态协作框架用于鲁棒多模态情感分析

Enhance-then-Balance Modality Collaboration for Robust Multimodal Sentiment Analysis

对做多模态融合的视觉研究者,这篇提供了处理「视觉/音频弱模态被文本主导」的可复用思路:用能量势建模各模态贡献并做隐式梯度重平衡,再用样本级可靠性估计自适应调融合权重,可直接迁移到视觉-语言融合、缺失模态鲁棒性等场景。

多模态情感分析模态不平衡跨模态互补增强
07
视觉语言模型 / CVPR2026

EmoThinker:通过结构化词元选择与思维链推理推进视觉-声学情感分析

EmoThinker: Advancing Visual-Acoustic Emotion Analysis via Structural Token Selection and Chain-of-Thought Reasoning

其结构化词元选择机制可迁移到任意视觉-语言任务中做显著区域筛选与背景上下文精炼,而构建的思维链标注范式为多模态推理数据构造提供了可复用模板。

多模态情感分析思维链推理词元选择
08
视觉语言模型 / CVPR2026

面向多模态情感分析的冲突感知自适应交叉重建

Conflict-Aware Adaptive Cross-Reconstruction for Multimodal Sentiment Analysis

对做多模态(视觉-音频-文本)融合的视觉研究者,这篇提供了用「跨模态重建」替代相似度损失来做共享表征隐式对齐的思路,并给出按模态冲突程度自适应加权、抑制冲突模态的具体机制,可直接迁移到视觉主导的多模态融合任务中。

多模态情感分析跨模态重建模态解耦
09
视觉语言模型 / CVPR2026

CICA:耦合置信度感知预训练与置信度引导注意力,实现鲁棒的多模态情感分析

CICA: Coupling Confidence-Aware Pretraining with Confidence-Informed Attention for Robust Multimodal Sentiment Analysis

把「每个模态编码器自估置信度」作为预训练目标,再用置信度加权注意力做融合,这套机制可直接迁移到视觉-语言任务中处理图像/文本模态噪声或缺失的场景(如噪声图文检索、缺失模态的VQA)。

多模态情感分析模态可靠性估计注意力融合
10
视觉语言模型 / CVPR2026

主动感知推理:一种受皮层-丘脑启发的动态嵌套循环网络用于不完整数据下的多模态情感分析

Active Perceptual Inference: A Corticothalamic-Inspired Dynamic Nested Recurrent Network for Multimodal Sentiment Analysis with Incomplete Data

提出一种受皮层-丘脑启发的动态嵌套循环网络,通过局部循环补全和全局循环置信度加权,实现从被动补全到主动感知推理的范式转变,可复用于视觉-语言任务中的缺失模态补全与动态融合。

多模态情感分析循环神经网络缺失数据补全