分辨率增强3D视频渲染系统和方法技术方案

本发明专利技术提供了分辨率增强3D视频渲染系统和方法。提供了用于在没有显著地损失分辨率或者增加分辨率的情况下渲染3D图像的系统和方法。用于3D渲染技术的系统和方法可以与包括左眼图像子帧和右眼图像子帧的不同类型的3D数据帧一起工作。3D数据帧使用并排(SXS)渲染、上下(TB)渲染、和帧封装(FB)渲染以及其它渲染例如全高清3D(FHD3D)渲染、帧连续3D渲染、被动式3D渲染等来渲染3D成像。提供了用于创建倒置像素带并且制备包括倒置像素带的3D图像的系统和方法。提供了用于在没有显著分辨率损失的情况下在平面上扩展图像的系统和方法。

【技术实现步骤摘要】
【国外来华专利技术】分辨率增强3D视频渲染系统和方法相关申请的交叉引用本专利申请要求于2011年10月5日提交的美国临时专利申请No.61/543,531的权益，通过具体引用方式将该临时专利申请的全部内容并入本文中。
技术介绍
视频技术的发展已经导致了家庭电视被配置为显示三维(3D)视频。然而，已经发现了，由于用于向观看者生成显示3D成像的图像的算法和视频处理中的问题，所以电视上的3D视频的显示不能提供全分辨率。像这样，在本领域中保持了改进图像和视频的处理的需求，以向电视观看者显示高质量的3D成像。可以在下面的参考文献中发现与3D成像有关的额外信息：2011/0069152；2011/0043540；2010/0309286；2010/0026784；2010/0266198；2010/0225741；2010/0073364；2009/0116732；2009/0322860；2009/0244267；2008/0198920；2008/0150945；2008/0085049；2007/0279412；2007/0146360；2005/0146521；7,7573,475；7,551,770；和6,477,267,通过具体引用方式将这些参考文献的全部内容并入本文中。附图说明图1包括将来自子帧11a的像素行和来自子帧12a的像素行拼接成单个全尺寸图像14,15的拼接过程的示意图；图2包括用于在水平面或者垂直面减少原始图像1的尺寸以产生已经移除像素行6的垂直缩短图像5或者已经移除像素列8的水平缩短图像7以用作用于3D渲染的子帧的技术的示意图；图3示出了用于通过分离水平相邻的像素A和B并且在像素A和B之间放置新像素2、X、Y或者Z来扩展减少的尺寸子帧以获得用于3D渲染的全尺寸子帧的子帧水平面调整尺寸技术；图4示出了用于通过分离垂直相邻的像素A和B并且在像素A和B之间放置新像素X、Y或者Z来扩展减少尺寸的子帧以获得用于3D渲染的全尺寸子帧的子帧垂直面调整尺寸技术；图5包括具有视频源51、2D到3D转换器52和能够显示3D图像的电视53的操作环境50，其中，在该操作环境50中还显示了主动式3D眼镜54和被动式3D眼镜56；图6包括可以为被配置处理本专利技术的计算系统的计算设备600的示意图；图7包括用于将原始图像1转换成合并的子帧图像70并且制备具有重叠像素行的图像75的方法的示意图，其中，合并的子帧图像70被分成左眼子帧71和右眼子帧72；图8包括用于将左眼子帧81和右眼子帧82水平解析成像素行的方法80的示意图；图9A包括用于拼接左眼子帧91和右眼子帧92的像素的已知方法90，该方法当根据并排协议或者上下协议以连续事件显示时渲染3D成像；图9B包括拼接的左眼子帧100和右眼子帧101，使用帧封装协议连续显示该拼接的左眼子帧100和右眼子帧101以渲染3D成像；图9C包括拼接的左眼子帧105和右眼子帧106，使用帧封装协议连续显示该拼接的左眼子帧105和右眼子帧106以渲染3D成像；图10包括用于制备中间倒置像素带的方法，该倒置像素带可以表示倒置像素行或者倒置像素列；图11包括用于使用像素带和根据像素行和倒置像素行制备的重叠像素带来制备不同版本3D图像的方法；图12包括用于将重叠像素行拼接成单个全子帧的拼接方法；图13A包括用于将重叠像素行拼接成单个全子帧的拼接方法；图13B包括用于将重叠像素行拼接成单个全子帧的拼接方法；图14包括用于将左眼子帧和右眼子帧垂直解析成像素列的方法的示意图；图15包括用于使用像素列和根据像素列和倒置像素列制备的重叠像素列来制备不同版本3D图像的方法；图16包括用于将重叠像素列拼接成单个全子帧的拼接方法；图17A包括用于将重叠像素列拼接成单个全子帧的拼接方法；以及图17B包括用于将重叠像素列拼接成单个全子帧的拼接方法；具体实施方式通常，本专利技术提供了用于在没有显著地损失分辨率或者增加分辨率的情况下渲染3D图像或者视频的系统和方法。用于3D渲染技术的系统和方法可以与包括左眼图像子帧和右眼图像子帧的不同类型的3D数据帧一起工作。3D数据帧使用并排(SXS)渲染、上下(TB)渲染、和帧封装(FB)渲染以及其它渲染例如全高清3D(FHD3D)渲染、帧连续3D渲染、被动式3D渲染等来渲染3D成像。本领域的普通技术人员可以将用于生成扩展图像、倒置像素带、倒置像素图像并且渲染3D图像的本专利技术应用于本文所引用或者稍后研发的任何一种3D渲染格式。本专利技术可以避免曲解3D技术。本专利技术可以利用左眼子帧和右眼子帧并创建3D图像帧，该3D图像帧保留显著的分辨率或者提高分辨率，并且在许多情况中基本上没有分辨率损失。在其它情况中，这些系统和方法再分解该图像，使得每个显示的3D图像在被解析成左眼图像子帧和右眼图像子帧之前基本上具有原始图像的全分辨率。本专利技术不仅可以在没有显著分辨率损失的情况下为主动式和被动式3D技术提供高清3D渲染，而且该技术可以通过加权估计来重新创建任何损失的分辨率。如果提供已经损失分辨率的左眼子帧和右眼子帧，则本专利技术可以增加分辨率，并且在一些实例中，提供看起来具有全分辨率的3D图像。图1示出能够对使用被动式3D眼镜技术的显示器进行操作的3D渲染技术(例如上述的并排协议和下述的上下协议)。为了获得被可视为3D图像的图像，将左子帧11和右子帧12被扩展为全尺寸，如全子帧11a(左全子帧11a)和全子帧12a(右全子帧12a)所示。然后，将全尺寸子帧图像11a,12a解析成用于左图像11a的像素行L1至Ln和用于右图像12a的像素行R1至Rn。然后，图像11a,12a每隔一个像素行被一起拼接，以得到全图像14,15；然而，由于拼接技术，所以全图像14,15实质上损失了其分辨率的50％。该拼接技术当与被动式3D眼镜(例如偏光式3D眼镜)一起使用时渲染3D成像。仅显示全图像14或者图像15中的一个图像，所以仅需要生成一个图像。如图1所示，像素行被指定为“L”像素行或者“R”像素行。当渲染3D图像时，L像素行被指定为使用左眼看见的行，并且R像素行被指定为使用右眼看见的行。执行了用于通过分离像素列3并且在分离的两个原始像素列之间插入新的像素列3来在水平面上扩展子帧11,12的扩展技术。先前，每个新像素可以为像素列的相邻像素中的一个像素的副本，并且由此每个新像素可以与分离的原始像素列的左边相邻像素或者右边相邻像素相同，其中，相邻左边或右边像素的一致使用被用于新像素。像这样，当仅将相邻像素用于新像素值时，子帧在水平面上的扩展实质上导致50％的分辨率损失。扩展子帧变为左眼子帧11a和右眼子帧12a，其中左眼像素行是左子帧11a中的所有像素行，并且右眼像素行是右子帧12a中的所有像素行。在水平面扩展了左子帧11和右子帧12的图像之后，然后左子帧11a和右子帧12a被拼接在一起。即在第一子帧14中以左眼像素行为顶行并且在第二子帧15中以右眼像素行为顶行，以交替方式来将左眼像素行以与右眼像素行进行组合。然而，在拼接之前，全尺寸子帧11a,12a中的每一个子帧被解析成在垂直面上像素宽度为n的水平像素行4，其中，n可以为任何整数，n的示例为从1变化到垂直像素的总数的25％。本文参考图2更详细地描述全尺寸子帧11a，12a的解析。实际本文档来自技高网...

【技术保护点】
一种用于制备倒置像素带的方法，所述方法包括： 提供第一全图像的像素的第一像素带； 提供第二全图像的像素的第二像素带，其中，第一像素带和第二像素带在第一全图像和第二全图像中在位置上对应，其中，第一全图像或者第二全图像中的一个全图像为右眼图像并且另一个全图像为左眼图像，其中，第一像素带和第二像素带具有根据第一全图像和第二全图像而渲染的3D图像的对应像素，并且其中，第一像素带的对应像素关于彼此在位置上进行移位；并且 倒置第一像素带或者第二像素带中的一个像素带，使得相关于第一全图像和第二全图像来倒置对应像素带的移位位置。

【技术特征摘要】
【国外来华专利技术】2011.10.05 US 61/543,5311.一种用于制备倒置像素带的方法，所述方法包括：接收第一全图像的第一像素的第一像素带；接收第二全图像的第二像素的第二像素带，其中，第一像素带和第二像素带在第一全图像和第二全图像中在位置上对应，其中，第一全图像或者第二全图像中的一个全图像为右眼图像并且另一个全图像为左眼图像，其中，第一像素带的一个或多个第一像素对应于第二像素带的一个或多个第二像素，其中对应的第一像素和第二像素关于彼此在位置上进行移位以根据第一全图像和第二全图像而渲染3D图像；并且基于一个或多个第一像素关于它们的对应的一个或多个第二像素的移位位置，制备倒置的第二像素带，其中，制备所述倒置的第二像素带包括：确定第二像素关于对应的第一像素的移位方向，其中所述第二像素包括第二像素图像数据；确定所述第二像素关于所述对应的第一像素的移位距离；基于所确定的第一方向，确定与所述第一方向相反的第二方向；以及在具有关于所述第二像素的位置倒置的位置的所倒置的第二像素中包括第二像素图像数据，因为在所述第二方向中所倒置的第二像素关于所述第一像素移位所述移位距离，其中响应于在所述第二方向中所倒置的第二像素关于所述第一像素移位所述移位距离，所述第二像素图像数据被包括在所倒置的第二像素中；重叠所述倒置的第二像素带和所述第一像素带，以形成重叠像素带，所述重叠像素带包括重叠像素，其每个都具有从对应的所倒置的第二像素的倒置的第二像素图像数据获得的以及从对应的第一像素的第一像素图像数据获得的重叠像素数据；以及渲染所述3D图像以包括所述重叠像素带。2.根据权利要求1所述的方法，包括：识别第一像素带的一个或多个第一像素；识别第二像素带的一个或多个第二像素，其在根据第一全图像和所述第二全图像而渲染的3D图像中彼此对应。3.根据权利要求1至2中任一项所述的方法，其中，倒置像素带为用于特定眼睛并且对于特定眼睛而言看起来是倒置的。4.根据权利要求1至2中任一项所述的方法，其中，倒置像素带当使用特定眼睛通过用于特定眼睛的3D眼镜的透镜来观看时看起来是倒置的。5.根据权利要求1至2中任一项所述的方法，其中，倒置像素带当使用特定眼睛通过用于另一个眼睛的3D眼镜的透镜来观看时看起来是正常的即未倒置的。6.根据权利要求1至2中任一项所述的方法，其中，倒置像素带当再次倒置时看起来是正常的即未倒置的。7.根据权利要求1至2中任一项所述的方法，包括：确定用于第一像素带和第二像素带的对应像素的像素带轴向移位的量。8.根据权利要求7所述的方法，其中，像素带轴向移位的量与根据第一图像和第二图像或者其像素带而渲染的3D图像的3D深度有关。9.根据权利要求1至2中任一项所述的方法，包括：当观看3D图像时确定相配的第一像素带和第二像素带的一个或多个像素，并且通过与另一个像素带的像素相比而倒置像素带中的一个像素带的像素的移位来制备倒置像素带。10.根据权利要求1至2中任一项所述的方法，包括：创建倒置像素带，使得所述倒...

【专利技术属性】
技术研发人员：贝赫鲁兹·马利基，萨尔文纳兹·萨克霍什，
申请(专利权)人：比特安尼梅特有限公司，
类型：发明
国别省市：美国;US