一种图像处理的方法、设备及存储介质技术

本发明专利技术实施例公开了一种图像处理的方法、设备及存储介质；该方法可以包括：基于设定的手部训练数据以及卷积神经网络CNN模型对视频的检测图像帧中的至少一个手部对象进行检测，并获取各手部对象的描述属性值；当所述各手部对象的描述属性值满足设定的触发条件时，基于设定的对象特征以及跟踪算法，对所述检测图像帧之后设定数量的跟踪图像帧中的手部对象进行跟踪。本发明专利技术实施例的技术方案通过将检测算法和跟踪算法进行融合，减少了在手部检测时所需的卷积计算次数，从而减少手部检测时计算代价，降低检测过程中所消耗的时间。

【技术实现步骤摘要】
一种图像处理的方法、设备及存储介质
本专利技术涉及家电
，尤其涉及一种图像处理的方法、设备及存储介质。
技术介绍
随着计算机技术以及信号处理技术的发展，越来越多的家电设备除了具有传统的按键操作控制之外，还能够根据用户的声音或者手势进行控制。通过手势对家电设备进行控制，那就需要对手部进行检测。目前相关的手部检测方案中，通常采用的是基于深度卷积神经网络(CNN，ConvolutionalNeuralNetwork)的手部检测方案，该方案设计了一个包含卷积层、池化层以及全连接层的深度卷积神经网络，对第一视角的RGB图像进行手部检测。由于该方案设置了深度较大的神经网络层，并且检测过程中需要对整个图像进行全卷积处理，因此，该方案的检测精度较高，但同时增加了计算代价，也就增加了方案在检测过程中所消耗的时间。
技术实现思路
为解决上述技术问题，本专利技术实施例期望提供一种图像处理的方法、设备及存储介质；能够减少计算代价，降低检测过程中所消耗的时间。本专利技术的技术方案是这样实现的：第一方面，本专利技术实施例提供了一种图像处理的方法，所述方法包括：基于设定的手部训练数据以及卷积神经网络CNN模型对视频的检测图像帧中的至少一个手部对象进行检测，并获取各手部对象的描述属性值；当所述各手部对象的描述属性值满足设定的触发条件时，基于设定的对象特征以及跟踪算法，对所述检测图像帧之后设定数量的跟踪图像帧中的手部对象进行跟踪。第二方面，本专利技术实施例提供了一种图像处理设备，所述设备包括：拍摄装置、存储器和处理器；其中，所述拍摄装置，配置为采集视频；所述存储器，配置为存储能够在所述处理器上运行的计算机程序；所述处理器，配置为在运行所述计算机程序时，执行第一方面所述方法的步骤。第三方面，本专利技术实施例提供了一种计算机可读介质，所述计算机可读介质存储有图像处理程序，所述图像处理程序被至少一个处理器执行时实现第一方面所述方法的步骤。本专利技术实施例提供了一种图像处理的方法、设备及存储介质；基于相邻帧图片的相似性，将检测算法和跟踪算法进行融合，减少了在手部检测时所需的卷积计算次数，从而减少手部检测时计算代价，降低检测过程中所消耗的时间。附图说明图1为本专利技术实施例提供的一种图像处理的方法流程示意图；图2为本专利技术实施例提供的一种手部对象检测流程示意图；图3为本专利技术实施例提供的一种视频帧示意图；图4为本专利技术实施例提供的一种构建CNN模型的流程示意图；图5为本专利技术实施例提供的一种CNN网络搭建示意图；图6为本专利技术实施例提供的一种图像处理的方法具体示例流程示意图；图7为本专利技术实施例提供的一种图像处理设备的组成示意图；图8为本专利技术实施例提供的另一种图像处理设备的组成示意图；图9为为本专利技术实施例提供的一种图像处理设备的具体硬件结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。采用深度CNN网络进行手部检测时，尽管能够实现较高地检测精度，但是需要对采集视频中的每个视频帧均进行卷积运算，所以会增加计算代价，造成检测所消耗的时间增加，无法达到实时检测的效果。进一步来说，通常智能家电设备中所配置的诸如处理芯片、ROM或RAM等运算器件相较于智能手机或个人计算机等终端设备中运算器件在运算处理能力上具有较大的差距，因此，需要平衡检测精度与检测速度之间的关系。基于此，本专利技术通过以下实施例进行阐述。实施例一参见图1，其示出了本专利技术实施例提供的一种图像处理的方法，该方法可以应用于任一需要进行手部检测的家电设备中，该方法可以包括：S101：基于设定的手部训练数据以及卷积神经网络CNN模型对视频的检测图像帧中的至少一个手部对象进行检测，并获取各手部对象的描述属性值；S102：当所述各手部对象的描述属性值满足设定的触发条件时，基于设定的对象特征以及跟踪算法，对所述检测图像帧之后设定数量的跟踪图像帧中的手部对象进行跟踪。需要说明的是，由于在一段视频内相邻视频帧之间的变化比较小，因此在对视频内的手部对象进行检测的过程中，无需对视频中的每个视频帧均按照CNN模型进行手部对象的检测，图1所示的技术方案中，在通过CNN模型对视频帧中的手部对象进行检测之后，可以按照跟踪算法对检测图像帧之后的视频帧图像进行手部对象的跟踪，由于跟踪算法无需对视频帧图像进行卷积，所以，图1所示的技术方案与相关的手部检测方案相比，能够降低手部检测时计算代价，降低检测过程中所消耗的时间。对于图1所示的技术方案，需要说明的是，步骤S101可以从视频中的任一视频帧图像开始执行，由此可以得知，视频中执行步骤S101的视频帧图像称之为检测图像帧，而对检测图像帧基于设定的手部训练数据以及CNN模型进行手部检测之后，可以从检测图像帧中得到至少一个手部对象，以及各手部对象的描述属性值，手部对象的描述属性值可以包括：手部对象在检测图像帧中的位置、手部对象在检测图像帧中的尺寸、手部对象的类别以及手部对象检测的置信度。具体来说，手部对象在检测图像帧中的位置可以是手部对象的坐标，手部对象在检测图像帧中的尺寸可以是手部对象在检测图像帧中的宽度和高度。而设定的手部训练数据可以在执行步骤S101之前通过对收集到的已有的手势数据进行训练得到，由于图1所示的技术方案应用与家电设备领域，因此，可以预先收集家居场景下的常用手势数据，并对手势数据通过训练来获取手部训练数据，从而能够结合CNN模型对检测图像帧中的手部对象进行检测。对于步骤S101，可以通过图2所示的非典型性的手部对象检测流程进行具体实现，如图2所示，手部对象检测环境可以包括应用程序APP部分以及部署在芯片系统中的手势检测Gesture软件开发工具包(SDK，SoftwareDevelopmentKit)部分；GestureSDK可以通过开源计算机视觉库(例如：OpenCV，OpenSourceComputerVisionLibrary、SimpleCV、JavaCV等)来实现，其中包括有CNN模型Model、第三方ThirdParty的图像处理算法等。视频通过设置在家电设备中的拍摄装置，例如摄像头Camera通过调用拍摄驱动Driver进行图像采集，并将采集到的图像ImageCapture通过调用GestureSDK进行预处理Pre-processing，比如去噪、增强清晰度等，随后调用GestureSDK中的CNN模型进行手部对象检测Detection，检测之后，通过调用GestureSDK对手部对象进行跟踪定位Tracking&Alignment，在根据GestureSDK进行识别验证Recognitionverification之后，调用API传输至APP中的监控器Monitor，从而在APP中输出手部对象的检测结果，具体的检测结果可以包括手部对象的数量以及各手部对象的描述属性值。在图2所示的流程中，实线箭头表示数据的传输路径，虚线箭头表示处理数据过程中的调用路径，参见图2下方的图例所示。需要说明的是，在执行完步骤S101之后，就能够得到检测图像帧中的手部对象数量以及各手部对象的描述属性值。在步骤S101之后，就可以对检测图像帧后续的视频图像帧进行手部对象的跟踪。也就是由检测阶段转向跟踪阶段。因此，图1所示的技术方案将检测图像帧本文档来自技高网...

【技术保护点】
1.一种图像处理的方法，其特征在于，所述方法包括：基于设定的手部训练数据以及卷积神经网络CNN模型对视频的检测图像帧中的至少一个手部对象进行检测，并获取各手部对象的描述属性值；当所述各手部对象的描述属性值满足设定的触发条件时，基于设定的对象特征以及跟踪算法，对所述检测图像帧之后设定数量的跟踪图像帧中的手部对象进行跟踪。

【技术特征摘要】
1.一种图像处理的方法，其特征在于，所述方法包括：基于设定的手部训练数据以及卷积神经网络CNN模型对视频的检测图像帧中的至少一个手部对象进行检测，并获取各手部对象的描述属性值；当所述各手部对象的描述属性值满足设定的触发条件时，基于设定的对象特征以及跟踪算法，对所述检测图像帧之后设定数量的跟踪图像帧中的手部对象进行跟踪。2.根据权利要求1所述的方法，其特征在于，所述手部对象的描述属性值包括：手部对象在检测图像帧中的位置、手部对象在检测图像帧中的尺寸、手部对象的类别以及手部对象检测的置信度。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：预先收集家居场景下的常用手势数据，并对所述手势数据通过训练来获取所述手部训练数据。4.根据权利要求1所述的方法，其特征在于，当所述各手部对象的描述属性值满足设定的触发条件时，基于设定的对象特征以及跟踪算法，对所述检测图像帧之后设定数量的跟踪图像帧中的手部对象进行跟踪，包括：当手部对象的数量小于设定个数时，基于设定的对象特征以及跟踪算法，对所述跟踪图像帧中的手部对象进行跟踪；当手部对象的数量大于或等于设定个数时，基于所述手部训练数据以及所述CNN模型，对所述检测图像帧的后一帧图像中的至少一个手部对象进行检测，并获取各手部对象的描述属性值。5.根据权利要求1所述的方法，其特征在于，当所述各手部对象的描述属性值满足设定的触发条件时，所述方法还包括：将各手部对象的描述属性值设置为跟踪初始值，其中，所述各手部对象的跟踪初始值包括各手部对象在检测图像帧中的位置、各手部对象在检测图像帧中的尺寸以及各手部对象的类别。6.根据权利要求1所述的方法，其特征在于，所述对象特征包括方向梯度直方图HOG特征，或者灰度Gray特征；所述跟踪算法包括核相关滤波(KCF，KernelizedCorrelationFilters)算法。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：针对各手部对象设置对应的跟踪峰值peak_value；当各手部对象对应的跟踪峰值peak_value中至少一个跟踪峰值低于设定的跟踪峰值下限时，或者，当跟踪图像帧数量超出所述设定数量时，基于所述手部训练数据以及所述CNN模型，对当前跟踪图像帧的后一帧图像中的至少一个手部对象进行检测，并获取所述各手部对象的描述属性值。8.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：构建卷积神经网络，所述卷积神经网络至少包括四个网络层：图像输入层、至少一个卷积层、至少一个池化层和至少一个全连接层；当待检测物体数量低于预设阈值时，缩减所述CNN中卷积核的数量；将所述图像输入层输入的图像按照设定的边界判定策略划分为至少一个利用连续内存存储的内存数据段，并利用设定的连续内存拷贝函数对各内存数据段进行数据拷贝；按照设定的合并策略将批量正则化层中的原始参数与所述卷积层或所述全连接层的参数进行合并，将合并后的参数作为批量正则化层的新参数；其中，所述批量正则化层在所述卷积层或所述全连接层之后。9.根据权利要求8所述的方法，其特征在于，当待检测物体数量低于预设阈值时，缩减所述CNN中卷积核的数量，包括：当...

【专利技术属性】
技术研发人员：俞大海，陈术义，王欣博，周均扬，阮志锋，
申请(专利权)人：美的集团股份有限公司，
类型：发明
国别省市：广东,44