一种基于肤色分割的近景异常行为检测方法及装置制造方法及图纸

本发明专利技术提出了一种基于肤色分割的近景异常行为检测方法及装置，可完成对视频中的人体近景行为进行检测，所述方法包括：采用基于深度学习的肤色分割算法对视频进行背景去除，以保留当前图像中的肤色区域。另外通过手掌几何特征对肤色区域进行建模，以获得手掌位置。最后通过光流能量模型对运动的手部进行能量判断以实现行为异常与否的判断。本发明专利技术基于肤色分割可以有效的过滤背景中的干扰信息，对近景人体行为进行检测。

A close range anomaly detection method and device based on skin color segmentation

The invention proposes a method and device for detecting close-range abnormal behavior based on skin color segmentation, which can detect the close-range behavior of human body in video. The method includes: removing the background of video by skin color segmentation algorithm based on depth learning to preserve the skin color region in the current image. In addition, the skin area is modeled by palm geometry features to obtain palm position. Finally, the energy of the moving hand is judged by the energy model of optical flow to realize the judgment of abnormal behavior. Based on skin color segmentation, the invention can effectively filter the interference information in the background and detect the close-range human behavior.

【技术实现步骤摘要】
一种基于肤色分割的近景异常行为检测方法及装置
本专利技术涉及人工智能领域，尤其涉及图像处理方法和深度学习方法。
技术介绍
异常行为检测是计算机视觉领域的研究热点之一，也是智能安防的重要组成部分。随着视频拍摄设备的普及，越来越多的以行为人或者行为人的手部为焦点的视频出现在网络中。与传统的远景异常行为检测不同，这些近景的视频主要的关注点在图像中特定的人员或者该特定人员的手部。现有方法主要有以下的缺点：一、在肤色分割方面，传统的肤色分割方法，例如颜色空间法，贝叶斯法，高斯模型法等，易受到人员变化，肤色变化以及类肤色物体的影响，而不能满足视频中肤色多样性的要求。二、现有的行为检测方法多关注于远景异常行为检测，即视频拍摄位置与行为人之间的距离超过10米，行为检测方法以行为人为单位进行检测和分析。且大部分模型需要对监控的背景进行建模，不能满足近景异常行为检查中场景多样性的要求。
技术实现思路
为了实现近景的异常行为检测，本专利技术提供了一种基于肤色分割的近景异常行为检测方法及装置，旨在实现对近景视频中的人体行为进行有效的检测。为了实现上述目的，本专利技术采取如下技术方案：一种基于肤色分割的近景异常行为检测方法，所述方法包括以下主要步骤：S1、构建肤色数据集：收集带有噪点信息的肤色数据与非肤色数据；S2、深度自编码器训练：将深度自编码器在构建的肤色数据集上进行训练和验证；S3、手部几何模型建立：采用肤色信息，手掌信息和指尖信息构建手部的二维几何模型；S4、手部追踪：追踪手部运动轨迹；S5、光流能量计算：对运动的手部进行光流能量计算，判断其能量值是否异常。另一方面，本专利技术还提供了一种基于肤色分割的近景异常行为检测装置，所述装置包括：肤色数据集构建模块，用于收集带有噪点信息的肤色数据与非肤色数据；深度自编码器训练模块，用于将深度自编码器在构建的肤色数据集上进行训练和验证；手部几何模型建立模块，用于采用肤色信息，手掌信息和指尖信息构建手部的二维几何模型；手部追踪模块，用于追踪手部运动轨迹；光流能量计算模块，用于对运动的手部进行光流能量计算，判断其能量值是否异常。本专利技术的有益效果是：本专利技术的方法可以应对视频中肤色多样性的问题，在去除背景干扰信息的同时，保留当前场景下的运动肤色区域。通过在肤色分割后的图像上进行手掌几何模型建模，运动轨迹追踪和光流能量计算，实现近景的异常行为检测。从方法先进性层面，本专利技术有效的克服的场景变化，人员变化带来的视频分析难题。通过结合肤色特征，几何特征和光流能量特征，对进行异常行为的能量进行的判断，有效的弥补了远景异常行为检测在这方面的不足。附图说明图1是本专利技术的方法流程图。具体实施方式下面结合附图说明及具体实施方式对本专利技术进一步说明。请参阅图1，本专利技术的基于肤色分割的近景异常行为检测方法的各个步骤具体实施方式如下。构建肤色数据集：正例样本块采集来自人体的额头、手臂，腿部、脸部等区域，而负样本则是从背景中随机选取。在正例样本中，部分肤色块包含有非肤色信息，但是这部分非肤色信息在当前块中占据面积比肤色信息小。同样的，负例样本中也包含一部分带有肤色信息的非肤色块。在这些肤色块中，本专利技术可采用尺寸更小的滑动窗口对其进行随机采样，生成最终用于网络训练和测试的数据块。通过这种方式，为了方便训练模型，本专利技术生成一个包含135000正例样本数据块和240000负例样本数据块的数据集。深度自编码器训练：将深度自编码器在物体分类数据集上进行预训练。深度自编码器是采用堆叠的方式，将若干个自编码器进行融合后形成的一个具有多层网络结构的自编码器。自编码器每一层神经元的数目和最后网络分类的种类都会根据不同的学习任务进行特殊的设计。预训练过程采用逐层训练、整体微调的策略。在预训练每一层自编码器的时候，采用无监督的训练方式。当整个自编码器完成预训练后，将上一步骤构建的肤色数据集用于深度自编码器的有监督微调。手部几何模型建立：经过肤色分割后，图像中大部分干扰信息被去除掉，剩下几个肤色联通区域。本专利技术通过边缘检测获得手掌轮廓及其边缘点。由于指尖点有着曲率大的特点，因此经过曲率过滤可以获得边缘点中的候选指尖点。然后在利用向量积方向来判断指尖点和指根点。通过距离变换，肤色区域中的手指部分会被过滤掉；在剩余的肤色区域进行质心检测用于表示手掌质心所在位置。结合指尖点和手掌质心即可完成手掌几何模型的建立。手掌追踪：采用camshift算法对识别到的手掌位置进行追踪。光流能量计算：传统的光流能量模型是对整幅图像进行光流能量计算。由于其借助的是密集光流信息，因此传统的光流能量模型计算非常耗时。本专利技术只在追踪的手掌周围进行光流能量计算，通过能量值的大小判断该行为是否异常。在本专利技术所提供的实施例中，应该理解到，所揭露的装置和系统，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。另外，在本专利技术中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本专利技术各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。以上内容是结合具体的优选实施方式对本专利技术所作的进一步详细说明，不能认定本专利技术的具体实施只局限于这些说明。对于本专利技术所属
的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本专利技术的保护范围。本文档来自技高网...

【技术保护点】
1.一种基于肤色分割的近景异常行为检测方法，其特征在于：所述方法包括以下步骤：S1、构建肤色数据集：收集带有噪点信息的肤色数据与非肤色数据；S2、深度自编码器训练：将深度自编码器在构建的肤色数据集上进行训练和验证；S3、手部几何模型建立：采用肤色信息、手掌信息和指尖信息构建手部的二维几何模型；S4、手部追踪：追踪手部运动轨迹；S5、光流能量计算：对运动的手部进行光流能量计算，判断其能量值是否异常。

【技术特征摘要】
1.一种基于肤色分割的近景异常行为检测方法，其特征在于：所述方法包括以下步骤：S1、构建肤色数据集：收集带有噪点信息的肤色数据与非肤色数据；S2、深度自编码器训练：将深度自编码器在构建的肤色数据集上进行训练和验证；S3、手部几何模型建立：采用肤色信息、手掌信息和指尖信息构建手部的二维几何模型；S4、手部追踪：追踪手部运动轨迹；S5、光流能量计算：对运动的手部进行光流能量计算，判断其能量值是否异常。2.根据权利要求1所述的方法，其特征在于：所述步骤S2中，将深度自编码器在物体分类数据集上进行预训练，预训练过程采用逐层训练的方式；当整个自编码器完成预训练后，将步骤S1构建的肤色数据集用于深度自编码器的监督微调。3.根据权利要求1所述的方法，其特征在于：所述手掌信息和指尖信息包括手掌质心和指尖点。4.根据权利要求1所述的方法，其特征在于：所述步骤S4中采用camshift算法对识别到的手掌位置进行追踪。5.根据权利要求1所述的方法，其特征在于：所述方法只计算运动手部的光流能量，从而加速计算过程。6.一种...

【专利技术属性】
技术研发人员：王鸿鹏，尤磊，陈一夫，张春慨，薛睿，
申请(专利权)人：哈尔滨工业大学深圳研究生院，
类型：发明
国别省市：广东,44