一种立体视频舒适度评价方法及装置制造方法及图纸

本申请公开了一种立体视频舒适度评价方法及装置。该方法包括：获取立体视频段的视频帧；提取所述立体视频段的视频帧的空域特性和时域特性；根据所述立体视频段的视频帧的空域特性和时域特性，确定所述立体视频段的观看舒适度。采用本发明专利技术可实现对立体视频的舒适度进行评价。

Stereo video comfort degree evaluation method and device

The present invention discloses a stereoscopic video comfort evaluation method and device. The method comprises: acquiring video frames of stereo video segments; spatial characteristics and temporal characteristics are extracted from video frames the stereoscopic video segment; according to the spatial characteristics and temporal characteristics of video frames of the stereoscopic video segment, the segment of the stereo video viewing comfort. The invention can be used to evaluate the comfort of stereoscopic video.

【技术实现步骤摘要】
一种立体视频舒适度评价方法及装置
本专利技术涉及通信领域的视频技术，尤其涉及一种立体视频舒适度评价方法及装置。
技术介绍
立体视频通常有两个视频通道，利用立体眼镜可使左右眼分别看到两幅不同的画面，使眼睛聚焦的点(在屏幕上)与双眼视线汇聚点(屏幕前或后)不在一个平面上，从而产生具有一定景深的3D画面。这种基于双眼视差原理的3D显示技术与人正常观看物体时，聚焦和汇聚在一个点上的生理状态是不同的，因此长时间会导致视觉疲劳。立体视频的舒适性是影响立体视频发展的主要问题之一，改善立体视频观看舒适度的前提是评价立体视频的舒适度。
技术实现思路
本专利技术实施例提供了一种立体视频舒适度评价方法及装置，用以实现对立体视频的舒适度进行评价。第一方面，提供一种立体视频舒适度评价方法，包括：获取立体视频段的视频帧；估计所述立体视频段的视频帧的视差；根据所述立体视频段的视频帧的视差以及运动信息确定所述立体视频段的视频帧的视觉焦点位置；根据所述立体视频段的视频帧的视觉焦点位置确定所述立体视频段的视频帧的可视区域；根据所述立体视频段的视频帧的视差以及所述立体视频段的视频帧的可视区域，提取所述立体视频段的视频帧的空域本文档来自技高网...

【技术保护点】
一种立体视频舒适度评价方法，其特征在于，包括：获取立体视频段的视频帧；估计所述立体视频段的视频帧的视差；根据所述立体视频段的视频帧的视差以及运动信息确定所述立体视频段的视频帧的视觉焦点位置；根据所述立体视频段的视频帧的视觉焦点位置确定所述立体视频段的视频帧的可视区域；根据所述立体视频段的视频帧的视差以及所述立体视频段的视频帧的可视区域，提取所述立体视频段的视频帧的空域特性和时域特性；根据所述立体视频段的视频帧的空域特性和时域特性，确定所述立体视频段的观看舒适度；所述时域特性包括第二观看舒适度影响因子；所述根据所述立体视频段的视频帧的视差以及所述立体视频段的视频帧的可视区域，提取所述立体视频段的...

【技术特征摘要】
1.一种立体视频舒适度评价方法，其特征在于，包括：获取立体视频段的视频帧；估计所述立体视频段的视频帧的视差；根据所述立体视频段的视频帧的视差以及运动信息确定所述立体视频段的视频帧的视觉焦点位置；根据所述立体视频段的视频帧的视觉焦点位置确定所述立体视频段的视频帧的可视区域；根据所述立体视频段的视频帧的视差以及所述立体视频段的视频帧的可视区域，提取所述立体视频段的视频帧的空域特性和时域特性；根据所述立体视频段的视频帧的空域特性和时域特性，确定所述立体视频段的观看舒适度；所述时域特性包括第二观看舒适度影响因子；所述根据所述立体视频段的视频帧的视差以及所述立体视频段的视频帧的可视区域，提取所述立体视频段的视频帧的时域特性，包括：根据所述立体视频段的视频帧的参考视差在时域的变化，和/或所述立体视频段的视频帧的参考视差出现的频率在时域的变化，计算得到所述立体视频段的视频帧的第二观看舒适度影响因子，所述第二观看舒适度影响因子数值的大小表示视频帧的参考视差在深度方向变化的程度。2.如权利要求1所述的方法，其特征在于，所述根据所述立体视频段的视频帧的视差以及运动信息确定所述立体视频段的视频帧的视觉焦点位置，包括：确定所述立体视频段的视频帧内每个像素的权值，将具有最大权值的像素的位置确定为所述立体视频段的视频帧的视觉焦点位置。3.如权利要求2所述的方法，其特征在于，所述像素的权值采用如下公式计算：W＝γ*|mv|+η*|dispcrossed|+λ*|δd|其中，W为坐标为(x,y)的像素的权值，γ、η和λ为加权值；表示所述坐标为(x,y)的像素的平面运动矢量，dx和dy分别为所述坐标为(x,y)的像素的水平位移和垂直位移，所述dx和dy在所述坐标为(x,y)的像素所在视频帧及所述坐标为(x,y)的像素所在的视频帧的相邻视频帧内搜索得到；dispcrossed为交叉视差值；δd为所述立体视频段的视频帧及其相邻视频帧的匹配块的平均视差的差值。4.如权利要求2或3所述的方法，其特征在于，若所述立体视频段的视频帧内具有最大权值的像素有多个，则将所述多个具有最大权值的像素中，距离所述立体视频段的视频帧的图像中心位置最近的像素的位置，确定为所述立体视频段的视频帧的视觉焦点位置。5.如权利要求1-3中任一项所述的方法，其特征在于，所述空域特性包括以下参数之一或任意组合：参考视差、参考视差的百分比和第一观看舒适度影响因子；所述根据所述立体视频段的视频帧的视差以及所述立体视频段的视频帧的可视区域，提取所述立体视频段的视频帧的空域特性，包括：确定所述立体视频段的视频帧对应的视差集合，所述视差集合为所述立体视频段的视频帧可视区域内的像素视差集合，且其中的每个视差值对应的像素数量均大于所述设定阈值；将所述视差集合中的最小视差值确定为所述立体视频段的视频帧的参考视差；计算所述立体视频段的视频帧的可视区域内，视差为所述参考视差的像素的数目与有效像素的数目的比值，得到所述立体视频段的视频帧的参考视差的百分比，所述有效像素是指的视差绝对值小于搜索范围的像素；根据所述立体视频段的视频帧是否存在边框效应以及是否满足下近上远空间布局，确定所述立体视频段的视频帧的第一观看舒适度影响因子，所述第一观看舒适度影响因子在所述立体视频段的视频帧不存在边框效应且满足下近上远空间布局时取第一值，在所述立体视频段的视频帧存在边框效应但满足下近上远空间布局时取第二值，在所述立体视频段的视频帧不存在边框效应但不满足下近上远空间布局时取第三值，在所述立体视频段的视频帧存在边框效应且不满足下近上远空间布局时取第四值，其中，第一值、第二值、第三值和第四值为预设值，且第一值小于第四值，第三值在第一值和第二值之间且与第一值和第二值均不相等；所述边框效应是指对于一个视频帧，如果成像于屏幕边缘的物体的视差为交叉视差，且所述物体的一部分超出了屏幕范围，则存在边框效应；所述下近上远是指一个视频帧对应的成像于屏幕底端的物体的感知深度离观众近、成像于屏幕顶端的物体的感知深度离观众远。6.如权利要求1所述的方法，其特征在于，根据所述立体视频段的视频帧的参考视差在时域的变化，和/或所述立体视频段的视频帧的参考视差出现的频率在时域的变化，计算得到所述立体视频段的视频帧的第二观看舒适度影响因子，包括：将所述立体视频段进行子段划分，同一子段内的视频帧的参考视差单调变化且变化速度相同，根据以下公式计算所述立体视频段的视频帧的参考视差在时域的变化：V1i＝(displast-dispfirst)/(Np-1)根据以下公式计算所述立体视频段的视频帧的参考视差出现的频率在时域的变化：根据以下公式计算所述立体视频段的视频帧的第二观看舒适度影响因子：其中，V1i表示第i帧的参考视差在时域的变化，dispfirst和displast分别为第i帧所属子段的第一帧和最后一帧的参考视差，Np为第i帧所属子段的视频帧数量；表示第i帧的参考视差出现的频率在时域的变化，P(minDispi)和P(minDispi-1)分别为第i帧和第i-1帧的参考视差的百分比；为第i帧的第二观看舒适度影响因子，γ和μ为加权值；所述第i帧为所述立体视频段中的任意视频帧。7.如权利要求1所述的方法，其特征在于，根据所述立体视频段的视频帧的参考视差在时域的变化，和/或所述立体视频段的视频帧的参考视差出现的频率在时域的变化，计算得到所述立体视频段的视频帧的第二观看舒适度影响因子，包括：根据以下公式计算所述立体视频段的视频帧的参考视差在时域的变化：V1i＝minDispi-minDispi-1根据以下公式计算所述立体视频段的视频帧的参考视差出现的频率在时域的变化：根据以下公式计算所述立体视频段的视频帧的第二观看舒适度影响因子：其中，V1i表示第i帧的参考视差在时域的变化，minDispi和minDispi-1分别为第i帧和第i-1帧的参考视差；表示第i帧的参考视差出现的频率在时域的变化，P(minDispi)和P(minDispi-1)分别为第i帧和第i-1帧的参考视差的百分比；为第i帧的第二观看舒适度影响因子，γ和μ为加权值；所述第i帧为所述立体视频段中的任意视频帧。8.如权利要求1-3、6、7中任一项所述的方法，其特征在于，所述根据所述立体视频段的视频帧的空域特性和时域特性，确定所述立体视频段的观看舒适度，包括：根据所述立体视频段的每一个视频帧的空域特性和时域特性，分别计算所述每一个视频帧的观看舒适度；根据所述立体视频段的每一个视频帧的视觉焦点位置，对所述立体视频段进行子段划分，每个子段的视频帧的视觉焦点位置转移量不大于设定转移量阈值；根据每个子段内每个视频帧的观看舒适度，分别计算所述每个子段的观看舒适度；根据每个子段的观看舒适度计算所述立体视频段的观看舒适度。9.如权利要求8所述的方法，其特征在于，根据所述立体视频段的每一个视频帧的空域特性和时域特性，分别计算所述每一个视频帧的观看舒适度，包括：根据以下公式计算所述立体视频段的视频帧的观看舒适度：其中，为第i帧的观看舒适度，Spatial_frame_vci为第i帧的空域特性决定的第i帧的观看舒适度，Temperal_frame_vci为第i帧的时域特性决定的第i帧的观看舒适度，α和β为加权值；dispdistributioni为第i帧的第一观看舒适度影响因子，minDispi为第i帧的参考视差，P(minDispi)为第i帧的参考视差的百分比；为第i帧的第二观看舒适度影响因子；b1、b2和c1为模型参数，所述b1、b2和c1为设定值；所述第i帧为所述立体视频段中的任意视频帧；所述立体视频段的视频帧的参考视差通过以下方式得到：确定所述立体视频段的视频帧对应的视差集合，所述视差集合为所述立体视频段的视频帧可视区域内的像素视差集合，且其中的每个视差值对应的像素数量均大于所述设定阈值；将所述视差集合中的最小视差值确定为所述立体视频段的视频帧的参考视差；所述立体视频段的视频帧的参考视差的百分比为：所述立体视频段的视频帧的可视区域内，视差为所述立体视频段的视频帧参考视差的像素数目与有效像素数目的比值；所述立体视频段的视频帧的第一观看舒适度影响因子根据所述立体视频段的视频帧是否存在边框效应以及是否满足下近上远空间布局来确定；所述边框效应是指对于一个视频帧，如果成像于屏幕边缘的物体的视差为交叉视差，且所述物体的一部分超出了屏幕范围，则存在边框效应；所述下近上远是指一个视频帧对应的成像于屏幕底端的物体的感知深度离观众近、成像于屏幕顶端的物体的感知深度离观众远；所述立体视频段的视频帧的第二观看舒适度影响因子根据所述立体视频段的视频帧的参考视差在时域的变化，和/或所述立体视频段的视频帧的参考视差出现的频率在时域的变化来确定，所述第二观看舒适度影响因子数值的大小表示视频帧的参考视差在深度方向变化的程度。10.如权利要求8所述的方法，其特征在于，根据每个子段内每个视频帧的观看舒适度，分别计算所述每个子段的观看舒适度，包括：根据以下公式计算所述立体视频段的子段的观看舒适度：其中，为第k个子段的舒适程度，为所述第k个子段内的第i帧的观看舒适度，NF为所述第k个子段内视频帧的数目，P1和c2为设定数值，所述第k个子段为所述立体视频段中的任意一个子段。11.如权利要求8所述的方法，其特征在于，根据每个子段的观看舒适度计算所述立体视频段的观看舒适度，包括：根据以下公式计算所述立体视频段的观看舒适度：其中，Q为所述立体视频段的观看舒适度，为所述立体视频段内第k个子段的舒适程度，NS为所述立体视频段内子段的数目，P2和c2为设定值。12.如权利要求1-3、6、7中任一项所述的方法，其特征在于，所述根据所述立体视频段的视频帧的空域特性和时域特性，确定所述立体视频段的观看舒适度，包括：根据所述立体视频段的视频帧的空域特性，计算所述立体视频段的空域特性；根据所述立体视频段的视频帧的时域特性，计算所述立体视频段的时域特性；根据所述立体视频段的空域特性和时域特性，计算所述立体视频段的观看舒适度。13.如权利要求12所述的方法，其特征在于，所述立体视频段的视频帧的空域特性包括以下参数之一或任意组合：所述立体视频段的视频帧的参考视差，参考视差的百分比和第一观看舒适度影响因子；所述立体视频段的视频帧的可视区域内，满足以下条件的像素的视差值为所述立体视频段的视频帧的参考视差：所述立体视频段的视频帧的可视区域内所述参考视差对应的像素的数量大于设定像素数量阈值，且所述参考视差为视差集合中的最小视差值；所述视差集合为所述立体视频段的视频帧可视区域内的像素视差集合，且其中的每个视差值对应的像素数量均大于所述设定阈值；所述立体视频段的视频帧的参考视差的百分比为：所述立体视频段的视频帧的可视区域内，视差为所述立体视频段的视频帧的参考视差的像素数目与有效像素数目的比值；所述立体视频段的视频帧的第一观看舒适度影响因子根据所述立体视频段的视频帧是否存在边框效应以及是否满足下近上远空间布局来确定；所述边框效应是指对于一个视频帧，如果成像于屏幕边缘的物体的视差为交叉视差，且所述物体的一部分超出了屏幕范围，则存在边框效应；所述下近上远是指一个视频帧对应的成像于屏幕底端的物体的感知深度离观众近、成像于屏幕顶端的物体的感知深度离观众远；所述根据所述立体视频段的视频帧的空域特性，计算所述立体视频段的空域特性，包括：根据以下公式计算所述立体视频段中所有视频帧的参考视差的加权平均值：其中，为所述立体视频段中所有视频帧的参考视差的加权平均值，N为所述立体视频段中视频帧的数目，minDispi为第i帧的参考视差，P(minDispi)为第i帧的参考视差的百分比，所述第i帧为所述立体视频段中的任意视频帧；根据以下公式计算所述立体视频段内所有视频帧的第一观看舒适度影响因子的平均值：其中，为所述立体视频段内所有视频帧的第一观看舒适度影响因子的平均值，dispdistributioni为第i帧的第一观看舒适度影响因子，N为所述立体视频段中视频帧的数目，所述第i帧为所述立体视频段中的任意视频帧。14.如权利要求12所述的方法，其特征在于，所述立体视频段的视频帧的时域特性包括：所述立体视频段的视频帧的第二观看舒适度影响因子，所述立体视频段的视频帧的第二观看舒适度影响因子根据所述立体视频段的视频帧的参考视差在时域的变化，和/或所述立体视频段的视频帧的参考视差出现的频率在时域的变化来确定，所述第二观看舒适度影响因子数值的大小表示视频帧的参考视差在深度方向变化的程度；所述根据所述立体视频段的视频帧的时域特性，计算所述立体视频段的时域特性，包括：根据以下公式计算所述立体视频段的第二观看舒适度影响因子：其中，为所述立体视频段的第二观看舒适度影响因子，为所述立体视频段内第i帧的第二观看舒适度印象因子，Pi为设定值，Pi的取值根据V1i和minDispi的符号来确定，N为所述立体视频段中视频帧的数目，所述第i帧为所述立体视频段中的任意视频帧。15.如权利要求12所述的方法，其特征在于，所述立体视频段的观看舒适度采用如下公式计算：VC＝α*Spatial_vc+β*Temperal_vc其中，VC为所述立体视频段的观看舒适度，α和β为加权值...

【专利技术属性】
技术研发人员：杨付正，孙李娜，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44