一种用于运动图像处理装置、方法及存储介质制造方法及图纸

本申请涉及图像处理领域，其具体地公开了一种用于运动图像处理装置、方法及存储介质，其通过采用基于深度学习的神经网络模型挖掘出人员监控视频中关于电梯内人员的行为语义理解特征信息，以此来准确地进行电梯内人员的行为语义理解，从而判断电梯内人员的行为和状况，并在发现异常时及时发出预警提示和相关措施建议，保证电梯的安全和顺畅运行。保证电梯的安全和顺畅运行。保证电梯的安全和顺畅运行。

【技术实现步骤摘要】
一种用于运动图像处理装置、方法及存储介质


[0001]本申请涉及图像处理领域，且更为具体地，涉及一种用于运动图像处理装置、方法及存储介质。

技术介绍

[0002]图像处理技术是用计算机对图像信息进行处理的技术，主要包括图像数字化、图像增强和复原、图像数据编码、图像分割和图像识别等。随着图像处理技术发展和人工智能技术的进步，智能化的图像处理技术已经成熟的应用到生活、工业和工程、军事和公安、文化与艺术等方面。
[0003]如申请号为201720911253.3的中国专利公开了一种运动车辆检测图像处理系统，包括通过通信接口模块依次连接的接收器、图像处理器、控制器以及传送器，其中：接收器用于接收获取数字图像；图像处理器包括图像预处理模块以及图像识别模块，用于对数字图像进行初步处理和对数字图像进行识别、提取、分割；控制器包括图像二值化模块以及图像检测模块，通过算法对数字图像进行二值化处理以及检测道路边缘信息并且对数字图像边缘进行锐化增强处理；传送器用于将检测后的数字图像进行传输发送。该车辆检测图像处理系统结构简单，提高了图像的质量，保证了图像效果，降低了成本，增强了运动车辆检测结果的准确度。
[0004]再如，申请号为202210517704.0的中国专利公开了一种基于机器视觉的图像处理式运动监测系统，属于运动监测
，包括运动图像获取模块，所述运动图像获取模块用于获取运动图像。该专利技术中，通过设计的边缘优化单元，在提取运动图像的运动区域轮廓后，快速分割待运动识别区域，以异或运算为基础，屏蔽运动图像帧与帧之间的相同点，实现对运动特征的运动帧之间运动图像的精确定位，有效降低采集图像的运动延迟和采集模糊，同时通过对运动图像的降噪处理以及后续的运动帧划分，有利于通过运动帧之间对比帧提高运动图像中运动区域的快速定位处理，并且通过深度学习单元对待识别的运动特征进行深度学习，从而能够提高运动特征在对比后对比识别效率。
[0005]但是类似上述图像处理技术运用到电梯内的运动图像识别时，尚存在一定的不足，主要是因为电梯内异常图像较多，现有的图像识别技术无法快速识别出电梯内的人员数量和行为特征，同样也就无法进行电梯内人员的异常行为检测，导致电梯的安全性和效率得不到保障。
[0006]因此，期望一种优化的运动图像处理装置。

技术实现思路

[0007]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种用于运动图像处理装置、方法及存储介质，其通过采用基于深度学习的神经网络模型挖掘出人员监控视频中关于电梯内人员的行为语义理解特征信息，以此来准确地进行电梯内人员的行为语义理解，从而判断电梯内人员的行为和状况，并在发现异常时及时发出预警提示和相关措
施建议，保证电梯的安全和顺畅运行。
[0008]根据本申请的一个方面，提供了一种运动图像处理装置，其包括：视频采集模块，用于获取由摄像头采集的人员监控视频；关键帧提取模块，用于从所述人员监控视频提取多个人员监控关键帧；人员行为空间特征提取模块，用于将所述多个人员监控关键帧通过基于三维卷积神经网络模型的行为空间维度特征提取器以得到人员行为空间特征图；光流图像提取模块，用于使用光流图像提取网络从所述多个人员监控关键帧提取光流图像的序列；人员行为时间特征提取模块，用于将所述光流图像的序列通过基于三维卷积神经网络模型的行为时间维度特征提取器以得到人员行为时间特征图；特征融合模块，用于融合所述人员行为空间特征图和所述人员行为时间特征图以得到分类特征图；特征优化模块，用于对所述分类特征图进行特征分布优化以得到优化分类特征图；以及预警提示模块，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否产生异常预警提示。
[0009]在上述运动图像处理装置中，所述人员行为空间特征提取模块，用于使用所述基于三维卷积神经网络模型的行为空间维度特征提取器的各层在层的正向传递中分别对输入数据进行如下处理：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述基于三维卷积神经网络模型的行为空间维度特征提取器的最后一层的输出为所述人员行为空间特征图，所述基于三维卷积神经网络模型的行为时间维度特征提取器的第一层的输入为所述人员监控关键帧。
[0010]在上述运动图像处理装置中，所述人员行为时间特征提取模块，用于使用所述基于三维卷积神经网络模型的行为空间维度特征提取器的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及对所述池化特征图进行非线性激活以得到激活特征图；其中，所述基于三维卷积神经网络模型的行为时间维度特征提取器的最后一层的输出为所述人员行为时间特征图，所述基于三维卷积神经网络模型的行为时间维度特征提取器的第一层的输入为所述光流图像的序列。
[0011]在上述运动图像处理装置中，所述特征融合模块，用于以如下级联公式来融合所述人员行为空间特征图和所述人员行为时间特征图以得到分类特征图；其中，所述公式为：，其中，表示所述人员行为空间特征图，表示所述人员行为时间特征图，表示级联函数，表示所述分类特征图。
[0012]在上述运动图像处理装置中，所述特征优化模块，包括：优化因数计算单元，用于计算所述分类特征图中各个位置特征值的位置信息图式场景注意力无偏估计因数以得到多个位置信息图式场景注意力无偏估计因数；以及，加权优化单元，用于以所述多个位置信息图式场景注意力无偏估计因数作为加权系数对所述分类特征图的各个位置特征值进行加权优化以得到所述优化分类特征图。
[0013]在上述运动图像处理装置中，所述特征优化模块，用于以如下优化公式计算所述分类特征图中各个位置特征值的位置信息图式场景注意力无偏估计因数以得到所述多个位置信息图式场景注意力无偏估计因数；其中，所述优化公式为：
[0014]其中，是所述分类特征图中各个位置特征值，为所述分类特征图的各个位置特征值的位置坐标，且是所述分类特征图的所有特征值的全局均值，和分别代表将二维实数和三维实数映射为一维实数的函数，、和分别是所述分类特征图的宽度、高度和通道数，表示以2为底的对数函数值，表示所述多个位置信息图式场景注意力无偏估计因数中的各个位置信息图式场景注意力无偏估计因数。
[0015]在上述运动图像处理装置中，所述预警提示模块，包括：展开单元，用于将所述优化分类特征图基于行向量或列向量展开为分类特征向量；全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及分类结果生成单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
[0016]根据本申请的另一方面，提供了一种运动图像处理方法，其包括：获取由摄像头采集的人员监控视频；从所述人员监控视频提取多个人员监控关键帧；将所述多个人员监控关键帧通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种运动图像处理装置，其特征在于，包括：视频采集模块，用于获取由摄像头采集的人员监控视频；关键帧提取模块，用于从所述人员监控视频提取多个人员监控关键帧；人员行为空间特征提取模块，用于将所述多个人员监控关键帧通过基于三维卷积神经网络模型的行为空间维度特征提取器以得到人员行为空间特征图；光流图像提取模块，用于使用光流图像提取网络从所述多个人员监控关键帧提取光流图像的序列；人员行为时间特征提取模块，用于将所述光流图像的序列通过基于三维卷积神经网络模型的行为时间维度特征提取器以得到人员行为时间特征图；特征融合模块，用于融合所述人员行为空间特征图和所述人员行为时间特征图以得到分类特征图；特征优化模块，用于对所述分类特征图进行特征分布优化以得到优化分类特征图；以及预警提示模块，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否产生异常预警提示。2.根据权利要求1所述的运动图像处理装置，其特征在于，所述人员行为空间特征提取模块，用于：使用所述基于三维卷积神经网络模型的行为空间维度特征提取器的各层在层的正向传递中分别对输入数据进行如下处理：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及对所述池化特征图进行非线性激活以得到激活特征图；其中，所述基于三维卷积神经网络模型的行为空间维度特征提取器的最后一层的输出为所述人员行为空间特征图，所述基于三维卷积神经网络模型的行为时间维度特征提取器的第一层的输入为所述人员监控关键帧。3.根据权利要求2所述的运动图像处理装置，其特征在于，所述人员行为时间特征提取模块，用于使用所述基于三维卷积神经网络模型的行为空间维度特征提取器的各层在层的正向传递中分别对输入数据进行如下处理：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及对所述池化特征图进行非线性激活以得到激活特征图；其中，所述基于三维卷积神经网络模型的行为时间维度特征提取器的最后一层的输出为所述人员行为时间特征图，所述基于三维卷积神经网络模型的行为时间维度特征提取器的第一层的输入为所述光流图像的序列。4.根据权利要求3所述的运动图像处理装置，其特征在于，所述特征融合模块，用于以如下级联公式来融合所述人员行为空间特征图和所述人员行为时间特征图以得到分类特征图；其中，所述公式为：；其中，表示所述人员行为空间特征图，表示所述人员行为时间特征图，表示级联函数，表示所述分类特征图。
5.根据权利要求4所述的运动图像处理装置，其特征在于，所述特征优化模块，包括：优化因数计算单元，用于计算所述分类特征图中各个位置特征值的位置信息图式场景注意力无偏估计因数以得到多个位置信息图式场景注意力无偏估计因数；以及加权优化单元，用于以所述多个位置信息图式场景注意力无偏估计...

【专利技术属性】
技术研发人员：黄剑，李佩剑，伍强，
申请(专利权)人：成都睿瞳科技有限责任公司，
类型：发明
国别省市：