本发明专利技术公开了基于流媒体的3D视频显示与交互方法与装置，包括：接收双目立体内容，对双目立体内容进行解码与缓存，获得双目立体内容的左视点图像和右视点图像；对每一个视频帧包含的左视点图像、右视点图像进行双目立体匹配，获得对应于该视频帧的视差图；根据用户的控制指令，对视频帧的视差图进行立体效果调整，得到新的立体图像。本发明专利技术提出了利用双目立体内容进行视差图计算的关键技术步骤，利用该步骤为符合人类视觉生理的立体效果调整提供了依据；提出了利用视差图进行立体效果调整的技术步骤：利用该步骤改变了现有技术中只能进行图像平移的现状；通过上述技术点组合的处理，能够有效地提升立体内容调整后的视觉质量。
【技术实现步骤摘要】
本专利技术涉及媒体通信
，尤其涉及基于流媒体的3D视频显示与交互方法与装置。
技术介绍
现有3D视频的显示是通过3D内容生成技术，得到用于显示的3D视频内容，如3D电影、3D电视节目等。在通常的显示情况下(即利用偏振、快门、色差等)，3D内容的立体显示效果(即立体感的强弱等)只能在节目下发之前、内容生成的环节进行调整，而不能在用户端、显示终端上进行调整。由于立体感是一种因人而异的生理感应，因此在内容生成阶段就固化立体效果，不利于3D内容的观看，也不利于3D内容的传播。此问题已引起现有电视机厂商的关注，并试图通过现有技术进行解决。主要技术手段在于通过平移用于立体显示的左、右两视点图像以达到调整的目的。这样的手段与人类立体视觉的生理机制不符，极易造成观看立体节目的过程中头晕、恶心、呕吐等现象，已经成为当前观看立体节目的最主要诟病。本专利技术针对上述问题进行解决，尤其是解决立体效果的调整方法，以适应人类立体视觉机制，避免不良生理反应。
技术实现思路
针对上述问题中存在的不足之处，本专利技术提供基于流媒体的3D视频显示与交互方法与装置。为实现上述目的，本专利技术提供一种基于流媒体的3D视频显示与交互方法，包括：步骤一、接收双目立体内容，对双目立体内容进行解码与缓存，获得双目立体内容的左视点图像和右视点图像；所述双目立体内容至少缓存一个画面组GOP所包含的所有视频帧，每个视频帧包含左视点图像和右视点图像；步骤二、对每一个视频帧包含的左视点图像、右视点图像进行双目立体
匹配，获得对应于该视频帧的视差图；步骤三、根据用户的控制指令，对视频帧的视差图进行立体效果调整，得到新的立体图像；所述控制信令包括调整方向信令和调整幅度信令。作为本专利技术的进一步改进，所述步骤二包括：步骤1、对每一个视频帧进行超像素分割；步骤2、利用双目立体匹配算法对每一个视频帧中左视点图像和右视点图像的每一个超像素进行匹配，得到具有超像素特征的视差图；步骤3、对步骤2具有超像素特征的视差图进行平滑滤波，得到滤波后的视差图；步骤4、基于Canny算子对步骤1中每一个视频帧的左视点图像和右视点图像进行纹理检测，得到纹理信息；步骤5、基于步骤3滤波后的视差图，找出滤波后的视差图与纹理信息的对应关系；步骤6、基于步骤5的对应关系，以纹理周边的错误视差值按照临近视差取值的原则对步骤3滤波后的视差图进行优化，从而获得对应于该视频帧的视差图。作为本专利技术的进一步改进，所述步骤1中，每个超像素所包含像素点的个数不超过20个。作为本专利技术的进一步改进，所述步骤3中，所述平滑滤波包括高斯平滑、中值滤波、均值滤波、双边滤波中的一种。作为本专利技术的进一步改进，所述步骤6中，对滤波后的视差图进行优化的方法为：准确描述滤波后的视差图中的纹理信息，并把纹理周边的错误视差值按照临近视差取值的原则，校正为前景与背景。作为本专利技术的进一步改进，所述步骤三包括：步骤11、接收用户输入的控制信令，所述控制信令还包括：移动图像时的基础图像；所述基础图像包括：左视点图像或右视点图像；步骤12、调整方向信令与调整幅度信令进行乘积，并将乘积结果作为视差调整的方向和幅度；步骤13、将所述视差图的所有视差值与所述乘积结果求和，得到新的视差值；步骤14、基础图像与新的视差值相结合绘制新视点图像；当基础图像为左视点图像时，新视点图像为新右视点图像；当基础图像为右视点图像时，新视点图像为新左视点图像；步骤15、基础图像与新视点图像组合，得到新的立体图像。作为本专利技术的进一步改进，所述调整方向指令分为增强立体效果和减弱立体效果，其中增强立体效果记为正1，减弱立体效果记为负1；所述调整幅度指令采用归一化的值域范围，所述值域范围为[0,255]；当基础图像为左视点图像时，调整方向信令与调整幅度信令的乘积结果为正数时表示放大，负数时表示缩小。作为本专利技术的进一步改进，当基础图像为右视点图像时，调整方向信令与调整幅度信令的乘积结果为负数时表示放大，正数时表示缩小。本专利技术还提供一种基于流媒体的3D视频显示与交互装置，包括：立体视频压缩码流接收单元、立体视频压缩码流解码单元、立体视频缓存单元、视差计算单元、用户交互单元、新视图计算单元和立体视频显示单元；所述立体视频压缩码流接收单元用于接收双目立体内容；所述立体视频压缩码流解码单元与所述立体视频压缩码流接收单元相连，用于对接收的双目立体内容进行解码；所述立体视频缓存单元与所述立体视频压缩码流解码单元相连，用于对解码后的双目立体内容进行缓存，获得双目立体内容的左视点图像和右视点图像；所述视差计算单元与所述立体视频缓存单元相连，用于对左视点图像、右视点图像进行双目立体匹配，获得视频帧的视差图；所述用户交互单元与所述视差计算单元相连，用于接受控制信令；所述新视图计算单元分别与所述用户交互单元和立体视频显示单元相连，用于在控制信令下对视频帧的视差图进行立体效果调整，得到新的立体图像，并将新的立体图像显示在立体视频显示单元上。与现有技术相比，本专利技术的有益效果为：本专利技术公开的基于流媒体的3D视频显示与交互方法与装置，提出了利用双目立体内容进行视差图计算的关键技术步骤，利用该步骤为符合人类视觉生理的立体效果调整提供了依据；提出了利用视差图进行立体效果调整的技
术步骤：利用该步骤改变了现有技术中只能进行图像平移的现状；通过上述技术点组合的处理，能够有效地提升立体内容调整后的视觉质量。附图说明图1为本专利技术一种实施例公开的基于流媒体的3D视频显示与交互方法的流程图；图2为本专利技术一种实施例公开的基于流媒体的3D视频显示与交互装置的框架图。图中：1、立体视频压缩码流接收单元；2、立体视频压缩码流解码单元；3、立体视频缓存单元；4、视差计算单元；5、用户交互单元；6、新视图计算单元；7、立体视频显示单元。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。下面结合附图对本专利技术做进一步的详细描述：实施例1：如图1所示，本专利技术提供一种基于流媒体的3D视频显示与交互方法，包括：S101、接收双目立体内容，对双目立体内容进行解码与缓存，获得双目立体内容的左视点图像和右视点图像；双目立体内容中的每一帧图像本身即包含左、右两个视点的图像，每一帧图像是由这两个视点图像拼接而成，或为左右格式，或为上下格式等。缓存帧数(即时间)与流媒体本身所采用的GOP(GOP为画面组)长度相关，双目立体内容应至少缓存一个GOP所包含的所有帧，否则解码器难以完成重排序的处理流程。S102、对每一个视频帧包含的左视点图像、右视点图像进行双目立体匹配，获得对应于该视频帧的视差图；具体方法为：步骤1、对每一个视频帧进行超像素分割，每个超像素所包含像素点的个
数不超过20个；步骤2、利用双目立体匹配算法对每一个视频帧中左视点图像和右视点图像的每一个超像素进行匹配，得到同样具有超像素特征的视差图；步骤3、对步骤2具有超像素特征的视差图进行平滑滤波，得到滤波本文档来自技高网...
【技术保护点】
一种基于流媒体的3D视频显示与交互方法，其特征在于，包括：步骤一、接收双目立体内容，对双目立体内容进行解码与缓存，获得双目立体内容的左视点图像和右视点图像；所述双目立体内容至少缓存一个画面组GOP所包含的所有视频帧，每个视频帧包含左视点图像和右视点图像；步骤二、对每一个视频帧包含的左视点图像、右视点图像进行双目立体匹配，获得对应于该视频帧的视差图；步骤三、根据用户的控制指令，对视频帧的视差图进行立体效果调整，得到新的立体图像；所述控制信令包括调整方向信令和调整幅度信令。
【技术特征摘要】
1.一种基于流媒体的3D视频显示与交互方法，其特征在于，包括：步骤一、接收双目立体内容，对双目立体内容进行解码与缓存，获得双目立体内容的左视点图像和右视点图像；所述双目立体内容至少缓存一个画面组GOP所包含的所有视频帧，每个视频帧包含左视点图像和右视点图像；步骤二、对每一个视频帧包含的左视点图像、右视点图像进行双目立体匹配，获得对应于该视频帧的视差图；步骤三、根据用户的控制指令，对视频帧的视差图进行立体效果调整，得到新的立体图像；所述控制信令包括调整方向信令和调整幅度信令。2.如权利要求1所述的基于流媒体的3D视频显示与交互方法，其特征在于，所述步骤二包括：步骤1、对每一个视频帧进行超像素分割；步骤2、利用双目立体匹配算法对每一个视频帧中左视点图像和右视点图像的每一个超像素进行匹配，得到具有超像素特征的视差图；步骤3、对步骤2具有超像素特征的视差图进行平滑滤波，得到滤波后的视差图；步骤4、基于Canny算子对步骤1中每一个视频帧的左视点图像和右视点图像进行纹理检测，得到纹理信息；步骤5、基于步骤3滤波后的视差图，找出滤波后的视差图与纹理信息的对应关系；步骤6、基于步骤5的对应关系，以纹理周边的错误视差值按照临近视差取值的原则对步骤3滤波后的视差图进行优化，从而获得对应于该视频帧的视差图。3.如权利要求2所述的基于流媒体的3D视频显示与交互方法，其特征在于，所述步骤1中，每个超像素所包含像素点的个数不超过20个。4.如权利要求2所述的基于流媒体的3D视频显示与交互方法，其特征在于，所述步骤3中，所述平滑滤波包括高斯平滑、中值滤波、均值滤波、双边滤波中的一种。5.如权利要求2所述的基于流媒体的3D视频显示与交互方法，其特征在于，所述步骤6中，对滤波后的视差图进行优化的方法为：准确描述滤波后的视差图中的纹理信息，并把纹理周边的错误视差值按照临近视差取值的
\t原则，校正为前景与背景。6.如权利要求1所述的基于流媒体的3D视频显示与交互方法，其特征在于，所述步骤三包括：步骤11、接收用户输入的控制信令，所述控制信令还包括：移动图像时的基...
【专利技术属性】
技术研发人员：杨铀，朱光喜，
申请(专利权)人：武汉鸿瑞达信息技术有限公司，
类型：发明
国别省市：湖北;42
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。