基于视觉注意力表示的健忘症检测装置制造方法及图纸

本发明专利技术公开了一种基于视觉注意力表示的健忘症检测装置，装置包括：构建数据集及提取视觉模态特征模块，构建数据集、提取短视频的静态局部特征和动态全局特征；搭建基于视觉注意力表示的短视频记忆性预测网络模块，包括：空间注意力单元、特征融合单元、语义引导的注意力单元和具有互补决策的损失函数单元；将提取好的特征输入搭建好的基于视觉注意力表示的短视频记忆性预测网络模块中进行训练。本发明专利技术达到了高精度的短视频记忆性预测。明达到了高精度的短视频记忆性预测。明达到了高精度的短视频记忆性预测。

【技术实现步骤摘要】
基于视觉注意力表示的健忘症检测装置


[0001]本专利技术涉及视频记忆性预测领域，尤其涉及基于视觉注意力表示的健忘症检测装置。

技术介绍

[0002]视觉记忆性作为一种具有代表性的抽象语义，是衡量不同观察者在一段时间后对视觉实例的记忆程度的指标。基于视觉实例的记忆性分数与时间无关且不受个体判断影响的这一发现的证实，让视觉记忆性得到了明确的定义，并且可以被客观地测量。
[0003]视频记忆性的研究在很大程度上遵循图像的记忆性研究。视频包含视觉、听觉、文本和运动信息的合成，通常比图像传达更丰富的媒体内容。仅使用静态视觉特征，例如：颜色和对象统计信息，通常不足以描述丰富的视频内容，完全依赖低级视觉特征的预测模型可能会获得不令人满意的结果。低级特征的有限描述能力与人类感知的高级语义的丰富性之间的固有差距是推断视觉记忆性的关键瓶颈。
[0004]目前，关于视频记忆性的研究还处于初级阶段。Han等人，利用脑功能磁共振成像建立计算模型，进行了视频记忆性预测的第一次尝试(Han J,Chen C,Shao L,et al.Learning co本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉注意力表示的健忘症检测装置，其特征在于，所述装置包括：构建数据集及提取视觉模态特征模块，构建数据集、提取短视频的静态局部特征和动态全局特征；搭建基于视觉注意力表示的短视频记忆性预测网络模块，包括：空间注意力单元、特征融合单元、语义引导的注意力单元和具有互补决策的损失函数单元；将提取好的特征输入搭建好的基于视觉注意力表示的短视频记忆性预测网络模块中进行训练。2.根据权利要求1所述的一种基于视觉注意力表示的健忘症检测装置，其特征在于，所述动态全局特征为：利用3D ResNet中的卷积块res3，res4和res5，提取出三个层次的视频语义特征；通过TPN对视频语义特征的语义和时间尺度进行建模，对输出特征进行max pooling和concatenate操作，输出特征G
n
＝f
dynamic
(V
n
)∈R
L
×
D
其中，f
dynamic
(
·
)表示动态特征提取器，是第l层的语义表示向量，L和D是动态全局特征的语义层数量和特征维度，R表示实数域，V
n
表示短视频。3.根据权利要求1所述的一种基于视觉注意力表示的健忘症检测装置，其特征在于，所述空间注意力单元由空间注意力部分，GRUs部分和静态回归网络部分组成，将全部GRUs步骤的状态向量输入到由两层全连接网络和average pooling组成的静态回归网络中，得到静态记忆性分数，如下：其中，T...

【专利技术属性】
技术研发人员：吕卫，翟羽佳，褚晶辉，
申请(专利权)人：天津大学，
类型：发明
国别省市：