一种人机交互场景下的注意对象预测方法技术

本发明专利技术公开了一种人机交互场景下的注意对象预测方法，包括：构建外界刺激信息特征提取模型、任务注意力指导模型及构建解码器图像上采样模型，并基于三个模型获得任务注意力神经网络；构建任务注意力神经网络的损失函数，损失函数包括注意力损失函数、权重交叉函数、VAE模型损失函数及任务预测损失函数；基于损失函数对任务注意力神经网络进行监督训练，基于训练后的任务注意力神经网络对目标图像进行处理，获得目标图像每一个像素点的分类类别。本发明专利技术从第三视角预测了人的注意力，有效地增强了人机交互方向的应用可能。还构建了人类在日常活动中各种任务以及相应的次级任务中的注意力模型，更有利于挖掘不同任务之间的区别和深层特征。区别和深层特征。区别和深层特征。

【技术实现步骤摘要】
一种人机交互场景下的注意对象预测方法


[0001]本专利技术属于计算机视觉领域，特别是涉及一种人机交互场景下的注意对象预测方法。

技术介绍

[0002]注意力机制是人机交互中必不可少的一种模型结构。如何设计更好的注意力机制模型，让机器去识别人想做的事情往往是很困难的。在二十世纪中期，著名的认知科学家Broadbent将注意力描述为一种“早期选择”机制，它就像一个过滤器，可以选择相关的信息并抛弃不相关的信息。与“早期选择”理论相反，Deutsch等人提出了“晚期选择”模型，认为所有的信息都是在早期阶段获得的，相关的信息是在晚期阶段选择的。20世纪80年代，著名的“特征整合”理论由Treisman和Gelade提出一个物体通过颜色、大小和方向等特征的整合来吸引人类的注意力。现在的计算领域通常采用不同的角度看待这个问题，分为：1)“自底向上”和“自顶而下”，2)像素级和实物级，以及3)第一人称视角和第三人称视角。
[0003]相关工作的详细情况如下：
[0004]1)“自底向上”和“自顶而下”：“自底向上”的注意假设显眼的视觉特征从背本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人机交互场景下的注意对象预测方法，其特征在于，包括以下步骤：构建外界刺激信息特征提取模型、任务注意力指导模型及构建解码器图像上采样模型；基于所述外界刺激信息特征提取模型、所述任务注意力指导模型与所述解码器图像上采样模型获得任务注意力神经网络；构建所述任务注意力神经网络的损失函数；所述损失函数包括注意力损失函数、权重交叉函数、VAE模型损失函数及任务预测损失函数；基于所述损失函数对所述任务注意力神经网络进行监督训练，基于训练后的任务注意力神经网络对目标图像进行处理，获得目标图像每一个像素点的分类类别。2.根据权利要求1所述的人机交互场景下的注意对象预测方法，其特征在于，所述外界刺激信息特征提取模型包括：获取人物目标图像的实时图像，对所述实时图像进行处理，获得二值图像与行为特征图像，对所述实时图像、所述二值图像与所述行为特征图像进行特征提取，并将提取的特征进行融合，获得图像融合特征。3.根据权利要求2所述的人机交互场景下的注意对象预测方法，其特征在于，所述任务注意力指导模型包括：将人机交互任务的标签编码为相应的特征，融合获得任务融合特征，采用平均池化法对所述图像融合特征进行处理后，与所述任务融合特征进行融合，获得浅层任务分类特征，基于所述浅层行动特征与VAE模型获得深层任务分类特征，将所述浅层任务分类特征与所述深层任务分类特征进行特征重构...

【专利技术属性】
技术研发人员：张富春，南智雄，马宗楠，高崇金，
申请(专利权)人：延安大学，
类型：发明
国别省市：