声明
严正声明：本站非期刊官网，非中介代理。
本站仅提供学术规范服务：快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。
国内刊号：21-1137/TP
国际刊号：1002-0446
发布日期:
作者：莫秀云, 陈俊洪, 杨振国, 刘文印
关键词：视频命令学习, 细粒度视频描述, 机器人学习, 双流I3D网络（双流膨胀3D卷积网络）, 双向LSTM（长短期记忆）
为了提高机器人学习技能的能力，免除人工示教过程，本文基于对无特殊标记的人类演示视频的观察，提出了一种基于序列到序列模式的机器人指令自动生成框架。首先，使用Mask R-CNN（区域卷积神经网络）来缩小操作区域的范围，并采用双流I3D网络（膨胀3D卷积网络）从视频中提取光流特征和RGB特征；其次，引入双向LSTM（长短期记忆）网络从先前提取的特征中获取上下文信息；最后，使用自我注意力机制和全局注意力机制，学习视频帧序列和命令序列的关联性，序列到序列模型最终输出机器人的命令。在扩展后的MPII烹饪活动2数据集和IIT-V2C数据集上进行了大量的实验，与现有的方法进行比较，本文提出的方法在BLEU_4（0.705）和METEOR（0.462）等指标上达到目前最先进性能水平。结果表明，该方法能够从人类演示视频中学习操作任务。此外，本框架成功应用于Baxter机器人。
来源：2022年第2期
《机器人》期刊编辑部
严正声明：本站非期刊官网，非中介代理。
本站仅提供学术规范服务：快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。