一种基于决策层融合的无色彩场景区域分割方法和装置制造方法及图纸

本发明专利技术提供了一种基于决策层融合的无色彩场景区域分割方法和装置，该方法和装置利用无色彩视频中不同图像帧中像素点的亮度特征值、纹理特征值、轮廓特征值和动态性特征值，并且对特征值维度和特征值值域进行约束，以及该对像素点的动态性的统计时间跨度进行限定以避免统计时间跨度过大而降低动态性统计准确性情况的发生，该方法和装置还解决了对无色彩视频进行场景区域分割是存在的准确性与运算效率低、甚至失效等问题。

A method and device for region segmentation of achromatic scene based on decision level fusion

【技术实现步骤摘要】
一种基于决策层融合的无色彩场景区域分割方法和装置
本专利技术涉及视频处理的
，特别涉及一种基于决策层融合的无色彩场景区域分割方法和装置。
技术介绍
视觉传感器目前在我们生产和生活的诸多领域中扮演了重要角色，对智能视频分析技术的需求也相应地在快速增长。对视频中的视场进行区域分割是智能视频监控中的一项关键底层技术，视场区域分割结果的好坏将直接决定上层的场景异常变化检测，以及对场景内目标物体追踪、识别的可靠性与准确性。相关技术中，将每个像素点的RGB颜色空间的颜色特征向量和HSV颜色空间的颜色特征向量进行串联，生成每个像素点的双颜色空间的颜色特征向量，再将每个像素点的双颜色空间的颜色特征向量、每个像素点的纹理特征以及动态性特征进行融合，最终根据融合后得到的特征对视频中的视场进行区域分割。但是上述技术存在如下缺陷，第一、上述技术不适用于无色彩视频的分析，由于通过黑白单通道相机或者红外相机产生的视频都只有亮度信息而无色彩信息，这使得视频中根本没有颜色特征被提取利用，从而导致上述技术不适用于这类视频；第二、上述技术串联产生的子区域特征维度过长、值域范围过大，使得后续聚类运算量巨大、区域分割耗时过长与实时性较差，以及容易造成信息冗余和增加特征层的融合特征维度；第三、上述技术计算的像素点动态性是针对整个视频时间跨度内的平均值，这导致其并不适合处理时间跨度大的长视频。
技术实现思路
针对现有技术存在的缺陷，本专利技术提供一种基于决策层融合的无色彩场景区域分割方法和装置，该方法和装置利用无色彩视频中不同图像帧中像素点的亮度特征值、纹理特征值、轮廓特征值和动态性特征值，并且对特征值维度和特征值值域进行约束，以及该对像素点的动态性的统计时间跨度进行限定以避免统计时间跨度过大而降低动态性统计准确性情况的发生，该方法和装置还采用基于决策层而非特征层的融合策略对关于不同特征值的场景区域分割处理结果进行处理，此外还引入并行计算模式同时获取亮度特征值、纹理特征值、轮廓特征值和动态性特征值，这样能够显著地提高其整体运算的效率，从而提高对视频复杂场景区域分割的有效性、正确性和运算效率，并且还解决了对无色彩视频进行场景区域分割是存在的准确性与运算效率低、甚至失效等问题。本专利技术提供一种基于决策层融合的无色彩场景区域分割方法，其特征在于，包括如下步骤：步骤S1，获取无色彩视频中某一图像帧的每一个像素点的亮度特征值，并根据所述亮度特征值对所述某一图像帧进行关于亮度的第一场景区域分割处理；步骤S2，通过并行计算模式，同步地获取所述某一图像帧的每一个像素点的复合纹理特征值，并根据所述复合纹理特征值对所述某一图像帧进行关于纹理的第二场景区域分割处理；步骤S3，通过并行计算模式，同步地获取所述某一图像帧的每一个像素点的综合轮廓特征值，并根据所述综合轮廓特征值对所述某一图像帧进行关于轮廓的第三场景区域分割处理；步骤S4，通过并行计算模式，同步地获取所述某一图像帧的每一个像素点的近期动态性特征值，并根据所述近期动态性特征值对所述某一图像帧进行关于动态性的第四场景区域分割处理；步骤S5，对所述第一场景区域分割处理、所述第二场景区域分割处理、所述第三场景区域分割处理和所述第四场景区域分割处理各自的分割结果进行决策层融合处理，以生成关于所述某一图像帧的综合场景区域分割结果；进一步，在所述步骤S1中，获取无色彩视频中某一图像帧的每一个像素点的亮度特征值，并根据所述亮度特征值对所述某一图像帧进行关于亮度的第一场景区域分割处理具体包括，步骤S101，根据下面式(1)，对所述无色彩视频中某一图像帧的所有像素点的亮度值进行归一化和量化处理，以计算得到亮度特征值，在上述式(1)，I(i,j)|t为所述无色彩视频的某一图像帧在坐标(i，j)处的像素点的亮度特征值，I(i，j)为所述无色彩视频的某一图像帧在坐标(i，j)处的像素点的亮度值；步骤S102，对所述某一图像帧的所有像素点的亮度特征值进行聚类分析处理，以确定每一个像素点所属的聚类；步骤S103，将属于同一聚类的像素点划入同一区域，以实现对所述某一图像帧的关于亮度的第一场景区域分割处理；或者，在所述步骤S2中，获取所述某一图像帧的每一个像素点的综合轮廓特征值，并根据所述综合轮廓特征值对所述某一图像帧进行关于轮廓的第三场景区域分割处理具体包括，步骤S201，通过原始LBP算子，计算获得所述某一图像帧在坐标(i，j)处的像素点的LBP纹理值W1(i,j)|t；步骤S202，通过圆形LBP算子，计算获得所述某一图像帧在坐标(i，j)处的像素点的LBP纹理值W2(i,j)|t；步骤S203，根据下面式(2)，获取所述某一图像帧在坐标(i，j)处的像素点的复合纹理特征值W(i,j)|tW(i,j)|t＝0.6×W1(i,j)|t+0.4×W2(i,j)|t(2)；步骤S204，对所述复合纹理特征值W(i,j)|t进行归一化处理，以使其的值域为[0，1]；步骤S205，对所述某一图像帧的所有像素点的复合纹理特征值进行聚类分析处理，以确定每一个像素点所属的聚类；步骤S206，将属于同一聚类的像素点划入同一区域，以实现对所述某一图像帧的关于纹理的第二场景区域分割处理；进一步，在所述步骤S3中，获取所述某一图像帧的每一个像素点的综合轮廓特征值，并根据所述综合轮廓特征值对所述某一图像帧进行关于轮廓的第三场景区域分割处理具体包括，步骤S301，通过Hough变换算法计算所述无色彩视频的某一图像帧的图像轮廓，以得到所述某一图像帧内坐标(i，j)处的像素点的第一轮廓特征值shough(i,j)|t，其中，所述第一轮廓特征值shough(i,j)|t满足下面式(3)步骤S302，通过Canny算子计算所述无色彩视频的某一图像帧的图像轮廓，以得到所述某一图像帧内坐标(i，j)处的像素点的第二轮廓特征值scanny(i，j)︱t，其中，所述第二轮廓特征值scanny(i，j)︱t满足下面式(4)步骤S303，通过IsotropicSobel算子计算所述无色彩视频的某一图像帧的图像轮廓，以得到所述某一图像帧内坐标(i，j)处的像素点的第三轮廓特征值ssobel(i,j)|t，其中，所述第三轮廓特征值ssobel(i,j)|t满足下面式(5)步骤S304，根据下面式(6)，对所述第一轮廓特征值shough(i,j)|t、所述第二轮廓特征值scanny(i，j)︱t和所述第三轮廓特征值ssobel(i,j)|t进行求交集运算处理，以得到第一类轮廓特征值S1(i,j)|t步骤S305，根据下面式(7)，对所述第一轮廓特征值shough(i,j)|t、所述第二轮廓特征值scanny(i，j)︱t和所述第三轮廓特征值ssobel(i,j)|t进行求并集运算处理，以得到第二类轮廓特征值S2(i,j)|t步骤S306本文档来自技高网...

【技术保护点】
1.一种基于决策层融合的无色彩场景区域分割方法，其特征在于，包括如下步骤：/n步骤S1，获取无色彩视频中某一图像帧的每一个像素点的亮度特征值，并根据所述亮度特征值对所述某一图像帧进行关于亮度的第一场景区域分割处理；/n步骤S2，通过并行计算模式，同步地获取所述某一图像帧的每一个像素点的复合纹理特征值，并根据所述复合纹理特征值对所述某一图像帧进行关于纹理的第二场景区域分割处理；/n步骤S3，通过并行计算模式，同步地获取所述某一图像帧的每一个像素点的综合轮廓特征值，并根据所述综合轮廓特征值对所述某一图像帧进行关于轮廓的第三场景区域分割处理；/n步骤S4，通过并行计算模式，同步地获取所述某一图像帧的每一个像素点的近期动态性特征值，并根据所述近期动态性特征值对所述某一图像帧进行关于动态性的第四场景区域分割处理；/n步骤S5，对所述第一场景区域分割处理、所述第二场景区域分割处理、所述第三场景区域分割处理和所述第四场景区域分割处理各自的分割结果进行决策层融合处理，以生成关于所述某一图像帧的综合场景区域分割结果。/n

【技术特征摘要】
1.一种基于决策层融合的无色彩场景区域分割方法，其特征在于，包括如下步骤：
步骤S1，获取无色彩视频中某一图像帧的每一个像素点的亮度特征值，并根据所述亮度特征值对所述某一图像帧进行关于亮度的第一场景区域分割处理；
步骤S2，通过并行计算模式，同步地获取所述某一图像帧的每一个像素点的复合纹理特征值，并根据所述复合纹理特征值对所述某一图像帧进行关于纹理的第二场景区域分割处理；
步骤S3，通过并行计算模式，同步地获取所述某一图像帧的每一个像素点的综合轮廓特征值，并根据所述综合轮廓特征值对所述某一图像帧进行关于轮廓的第三场景区域分割处理；
步骤S4，通过并行计算模式，同步地获取所述某一图像帧的每一个像素点的近期动态性特征值，并根据所述近期动态性特征值对所述某一图像帧进行关于动态性的第四场景区域分割处理；
步骤S5，对所述第一场景区域分割处理、所述第二场景区域分割处理、所述第三场景区域分割处理和所述第四场景区域分割处理各自的分割结果进行决策层融合处理，以生成关于所述某一图像帧的综合场景区域分割结果。


2.如权利要求1所述的基于决策层融合的无色彩场景区域分割方法，其特征在于：
在所述步骤S1中，获取无色彩视频中某一图像帧的每一个像素点的亮度特征值，并根据所述亮度特征值对所述某一图像帧进行关于亮度的第一场景区域分割处理具体包括，
步骤S101，根据下面式(1)，对所述无色彩视频中某一图像帧的所有像素点的亮度值进行归一化和量化处理，以计算得到亮度特征值，



在上述式(1)，I(i,j)|t为所述无色彩视频的某一图像帧在坐标(i，j)处的像素点的亮度特征值，I(i，j)为所述无色彩视频的某一图像帧在坐标(i，j)处的像素点的亮度值；
步骤S102，对所述某一图像帧的所有像素点的亮度特征值进行聚类分析处理，以确定每一个像素点所属的聚类；
步骤S103，将属于同一聚类的像素点划入同一区域，以实现对所述某一图像帧的关于亮度的第一场景区域分割处理；
或者，
在所述步骤S2中，获取所述某一图像帧的每一个像素点的综合轮廓特征值，并根据所述综合轮廓特征值对所述某一图像帧进行关于轮廓的第三场景区域分割处理具体包括，
步骤S201，通过原始LBP算子，计算获得所述某一图像帧在坐标(i，j)处的像素点的LBP纹理值W1(i,j)|t；
步骤S202，通过圆形LBP算子，计算获得所述某一图像帧在坐标(i，j)处的像素点的LBP纹理值W2(i,j)|t；
步骤S203，根据下面式(2)，获取所述某一图像帧在坐标(i，j)处的像素点的复合纹理特征值W(i,j)|t
W(i,j)|t＝0.6×W1(i,j)|t+0.4×W2(i,j)|t(2)；
步骤S204，对所述复合纹理特征值W(i,j)|t进行归一化处理，以使其的值域为[0，1]；
步骤S205，对所述某一图像帧的所有像素点的复合纹理特征值进行聚类分析处理，以确定每一个像素点所属的聚类；
步骤S206，将属于同一聚类的像素点划入同一区域，以实现对所述某一图像帧的关于纹理的第二场景区域分割处理。


3.如权利要求1所述的基于决策层融合的无色彩场景区域分割方法，其特征在于：
在所述步骤S3中，获取所述某一图像帧的每一个像素点的综合轮廓特征值，并根据所述综合轮廓特征值对所述某一图像帧进行关于轮廓的第三场景区域分割处理具体包括，
步骤S301，通过Hough变换算法计算所述无色彩视频的某一图像帧的图像轮廓，以得到所述某一图像帧内坐标(i，j)处的像素点的第一轮廓特征值shough(i,j)|t，其中，所述第一轮廓特征值shough(i,j)|t满足下面式(3)



步骤S302，通过Canny算子计算所述无色彩视频的某一图像帧的图像轮廓，以得到所述某一图像帧内坐标(i，j)处的像素点的第二轮廓特征值scanny(i，j)︱t，其中，所述第二轮廓特征值scanny(i，j)︱t满足下面式(4)



步骤S303，通过IsotropicSobel算子计算所述无色彩视频的某一图像帧的图像轮廓，以得到所述某一图像帧内坐标(i，j)处的像素点的第三轮廓特征值ssobel(i,j)|t，其中，所述第三轮廓特征值ssobel(i,j)|t满足下面式(5)



步骤S304，根据下面式(6)，对所述第一轮廓特征值shough(i,j)|t、所述第二轮廓特征值scanny(i，j)︱t和所述第三轮廓特征值ssobel(i,j)|t进行求交集运算处理，以得到第一类轮廓特征值S1(i,j)|t



步骤S305，根据下面式(7)，对所述第一轮廓特征值shough(i,j)|t、所述第二轮廓特征值scanny(i，j)︱t和所述第三轮廓特征值ssobel(i,j)|t进行求并集运算处理，以得到第二类轮廓特征值S2(i,j)|t



步骤S306，根据下面式(8)，将所述第一类轮廓特征值S1(i,j)|t和所述第二类轮廓特征值S2(i,j)|t组合得到所述综合轮廓特征值S(i,j)|t
S(i,j)|t＝(S1(i,j)|t,S2(i,j)|t)(8)；
步骤S307，对所述某一图像帧的所有像素点的综合轮廓特征值进行聚类分析处理，以确定每一个像素点所属的聚类；
步骤S308，将属于同一聚类的像素点划入同一区域，以实现对所述某一图像帧的关于纹理的第三场景区域分割处理。


4.如权利要求1所述的基于决策层融合的无色彩场景区域分割方法，其特征在于：
在所述步骤S4中，获取所述某一图像帧的每一个像素点的近期动态性特征值，并根据所述近期动态性特征值对所述某一图像帧进行关于动态性的第四场景区域分割处理具体包括，
步骤S401，构建关于所述某一图像帧中每一个像素点的混合高斯背景模型GMM；
步骤S402，统计每一个像素点对应的显著性强度值变化的次数，其中，所述显著性强度值变化是指像素点的强度值变化幅度超出其对应的混合高斯背景模型GMM所限定的强度值正常变化范围；
步骤S403，根据下面式(9)获取每一个像素点的近期动态性特征值



在上述式(9)中，为在上从图像帧k到另一图像帧t之间的时间中处于坐标(i，j)处的像素点对应的显著性强度变化的次数，D(i,j)|t为在上从图像帧k到另一图像帧t之间的时间中处于坐标(i，j)处的像素点对应的显著性强度变化的频率，D(i,j)|t为处于坐标(i，j)处的像素点对应的近期动态性特征值，并且满足100≤t-k≤20000；
步骤S404，根据下面式(10)，对所述近期动态性特征值D(i,j)|t进行量化处理



在上述式(10)中，D(i,j)|t为量化处理后的近期动态性特征值，D(i，j)为步骤S403中计算得到的实际近期动态性特征值；
步骤S405，对所述某一图像帧的所有像素点的近期动态性特征值进行聚类分析处理，以确定每一个像素点所属的聚类；
步骤S406，将属于同一聚类的像素点划入同一区域，以实现对所述某一图像帧的关于动态性的第四场景区域分割处理。


5.如权利要求1所述的基于决策层融合的无色彩场景区域分割方法和装置，其特征在于：
在所述步骤S5中，对所述第一场景区域分割处理、所述第二场景区域分割处理、所述第三场景区域分割处理和所述第四场景区域分割处理各自的分割结果进行决策层融合处理，以生成关于所述某一图像帧的综合场景区域分割结果具体包括，
步骤S501，将所述第一场景区域分割处理、所述第二场景区域分割处理、所述第三场景区域分割处理和所述第四场景区域分割处理各自的分割结果进行逻辑“与”运算，以得到所述决策层融合处理的结果；
步骤S502，根据所述决策层融合处理的结果，生成关于所述某一图像帧中每一个像素点的类别号的四维向量C(i,j)|t，以作为所述综合场景区域分割结果，其中，所述四维向量C(i,j)|t的具体形式如下式(11)
C(i,j)|t＝(CI(i,j)|t,CW(i,j)|t,CS(i,j)|t,CD(i,j)|t)(11)
在上述式(11)中，CI(i,j)|t为所述某一图像帧的处于坐标(i，j)处的像素点关于所述第一场景区域分割处理结构的类别号，CW(i,j)|t为所述某一图像帧的处于坐标(i，j)处的像素点关于所述第二场景区域分割处理结构的类别号，CS(i,j)|t为所述某一图像帧的处于坐标(i，j)处的像素点关于所述第三场景区域分割处理结构的类别号，CD(i,j)|t为所述某一图像帧的处于坐标(i，j)处的像素点关于所述第四场景区域分割处理结构的类别号，其中所述某一图像帧中具有相同类别号的像素点隶属于同一场景区域。


6.一种基于决策层融合的无色彩场景区域分割装置，其特征在于，所述装置包括：
第一特征值获取模块，其用于获取无色彩视频中某一图像帧的每一个像素点的亮度特征值；
第二特征值获取模块，其用于获取所述某一图像帧的每一个像素点的复合纹理特征值；
第三特征值获取模块，其用于获取所...

【专利技术属性】
技术研发人员：张睿，肖俊建，
申请(专利权)人：衢州学院，
类型：发明
国别省市：浙江;33