Tag · 1 篇
Demo2Tutorial: From Human Experience to Multimodal Software Tutorials
论文将屏幕录制与交互日志转化为结构化图文教程，其多模态动作解析与步骤规划思路可迁移到视觉-语言模型中的指令生成与GUI智能体训练，为利用无标注人类交互数据提供了一种可复用的表征蒸馏方法。