【技术实现步骤摘要】
本专利技术涉及一种多视点视频系统技术，尤其是涉及。
技术介绍
进入本世纪以来，随着数字2D (二维)视频技术日趋成熟，以及计算机、通信及网络技术的快速发展，引发了人们对新一代视频系统的强烈需求。现行的二维视频系统在表现自然场景时，难以满足用户的立体感和视点交互等的需求。交互式三维视频系统由于能够提供立体感、视点交互性的全新视觉体验，因此越来越受到人们的欢迎，其在无线视频通信、影视娱乐、数字动漫、虚拟战场、旅游观光、远程教学等领域有着广泛的应用前景。对于三维视频编码的性能评价，通常有多个技术指标，如率失真性能、时间可分级、视点可分级、随机接入性能、编码复杂度、解码复杂度、存储需求等等，这些技术指标在一定程度上本身就存在着相互制约，因此根据不同的应用环境，需要侧重不同的技术指标来进行性能评价，并且对某些技术指标做适当的修正。面向用户端的交互式三维视频系统的目的是为了满足用户最大限度的自主性，因此，实现用户端与服务端之间的高效交互操作以满足用户的选择需求是面向用户端的交互式三维视频系统最基本也是最主要的任务。基于面向用户端的交互式三维视频系统考虑，实现高效的交互操作应满足:1)合理的带宽代价，以适应网络传输的要求；2)较低的解码复杂度以及虚拟视点绘制复杂度，能够实时解码及绘制虚拟视点，以降低对用户端系统资源的要求。
技术实现思路
本专利技术所要解决的技术问题是提供，其能够有效地降低交互式三维视频系统对网络带宽和用户端资源的要求，能够满足用户最大限度的自主性。本专利技术解决上述技术问题所采用的技术方案为:，该交互式三维视频系统主要由服务端的三维视频编码模块以及用户端...
【技术保护点】
一种交互式三维视频系统中的信号处理方法，该交互式三维视频系统主要由服务端的三维视频编码模块以及用户端的视点解码模块、任意视点绘制模块和视频显示模块构成，其特征在于该设计方法包括以下步骤：①获取t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像，将t时刻的第k个参考视点的彩色图像记为将t时刻的第k个参考视点的深度图像记为其中，K≥2，1≤k≤K，k的初始值为1，i=1,2,3分别表示YUV颜色空间的三个分量，YUV颜色空间的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V，(x,y)表示彩色图像和深度图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示彩色图像和深度图像的宽度，H表示彩色图像和深度图像的高度，表示t时刻的第k个参考视点的彩色图像中坐标位置为(x,y)的像素点的第i个分量的值，表示t时刻的第k个参考视点的深度图像中坐标位置为(x,y)的像素点的深度值；②将t时刻的K个参考视点中每相邻的两个参考视点作为一对关联参考视点，将每对关联参考视点之间的N个虚拟视点均作为辅助视点，然后采用基于深度图像绘制的方法...
【技术特征摘要】
1.一种交互式三维视频系统中的信号处理方法，该交互式三维视频系统主要由服务端的三维视频编码模块以及用户端的视点解码模块、任意视点绘制模块和视频显示模块构成，其特征在于该设计方法包括以下步骤: ①获取t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像，将t时刻的第k个参考视点的彩色图像记为，将t时刻的第k个参考视点的深度图像记为■{Ai(U)I,其中，K≥2，I≤k≤K，k的初始值为1，i=l，2，3分别表示YUV颜色空间的三个分量，YUV颜色空间的第I个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V，(x, y)表示彩色图像和深度图像中的像素点的坐标位置，l^x^W, l^y^H, W表示彩色图像和深度图像的宽度，H表示彩色图像和深度图像的高度，/^0，_ν)表示t时刻的第k个参考视点的彩色图像中坐标位置为(x，y)的像素点的第i个分量的值，W(U)表示t时刻的第k个参考视点的深度图像丨￡^(^.，)1中坐标位置为(x，y)的像素点的深度值； ②将t时刻的K个参考视点中每相邻的两个参考视点作为一对关联参考视点，将每对关联参考视点之间的N个虚拟视点均作为辅助视点，然后采用基于深度图像绘制的方法，获取t时刻的(K-1) XN个辅助视点各自的残差图像，将t时刻的第I个辅助视点的残差图像记为丨尽办.，}，)丨，其中，N>1，I≤I≤(K-1) XN, I的初始值为1，￡r[,'(x，y)表示t时刻的第I个辅助视点的残差图像(U)I中坐标位置为(x，y)的像素点的第i个分量的值； ③服务端的三维视频编码模块根据设定的编码预测结构，对t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像、t时刻的(K-1) XN个辅助视点各自的残差图像进行编码，再将编码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像、t时刻的(K-1) XN个辅助视点各自的残差图像传输给用户端； ④用户端的视点解码模块对编码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像、t时刻的(K-1) XN个辅助视点各自的残差图像进行解码，得到解码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像、t时刻的(K-1) XN个辅助视点各自的残差图像，将解码后的t时刻的第k个参考视点的彩色图像记为.，将解码后的t时刻的第k个参考视点的深度图像记为■(贫(U)I，将解码后的t时刻的第I个辅助视点的残差图像记为■(思(U)丨，其中，/Α(χ，.ν)表示解码后的t时刻的第k个参考视点的彩色图像中坐标位置为(x，y)的像素点的第i个分量的值，乃,(Xy)表示解码后的t时刻的第k个参考视点的深度图像|贫>.,Μ中坐标位置为(X，y)的像素点的深度值， 表示解码后的t时刻的第I个辅助视点的残差图像中坐标位置为(X，y)的像素点的第i个分量的值；⑤根据用户所选择的视点，用户端的任意视点绘制模块根据解码后的t时刻的K个参考视点的K幅彩色图像和t时刻的(K-1) XN个辅助视点各自的残差图像，快速生成相应的参考视点信号和辅助视点信号，再将生成的参考视点信号和辅助视点信号传输给用户端的视频显示模块进行显示。2.根据权利要求1所述的一种交互式三维视频系统中的信号处理方法，其特征在于所述的步骤②的具体过程为: ②-1、将t时刻的K个参考视点中每相邻的两个参考视点作为一对关联参考视点，共存在(K-1)对关联参考视点，将每对关联参考视点之间的距尚归一化表不为I，将每对关联参考视点之间的N个虚拟视点均作为辅助视点，共存在(K-1) XN个辅助视点，其中，N>1 ； ②-2、将t时刻的(K-1) XN个辅助视点中当前正在处理的辅助视点定义为当前辅助视占.②-3、假设当前辅助视点为t时刻的第k'个参考视点与t时刻的第k' +1个参考视点构成的一对关联参考视点之间的虚拟视点，并假设当前辅助视点为t时刻的(K-1) XN个辅助视点中的第I'个辅助视点，则将当前辅助视...
【专利技术属性】
技术研发人员：邵枫，蒋刚毅，郁梅，李福翠，彭宗举，
申请(专利权)人：宁波大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。