一种新型的图像绘制技术制造技术

本发明专利技术公开了一种新型的图像绘制技术，包括以下步骤：3D图像变换；利用图像之间的深度差值来划分绘制不准确区域；设置图像的前景阈值和背景阈值；处理空洞。上述技术方案利用图像之间的深度差值来划分绘制不准确区域，根据图像的实际情况将图像中视觉冲击最明显的区域中的破损区域重新进行绘制，从而让图像的绘制区域变得更加清晰，减少最后一步填充空洞时空洞的个数，从而降低时间复杂度。

【技术实现步骤摘要】
一种新型的图像绘制技术
本专利技术涉及图像质量提升领域，尤其涉及一种新型的图像绘制技术。
技术介绍
有资料显示，目前DIBR是绘制不同视角观察图像的主要方法。根据现有的图像将另一视角的图像进行绘制，从而得到在不同视角下所观察到的图像。该绘制方法中最关键的部分是进行3D-WARPING过程，该过程是将一幅图像先恢复至三维模型，然后在另外一处目标视点附近将该三维模型重新投影到目标平面得到虚拟视点处的图像。目前的DIBR绘制技术中只考虑起始视点处的深度值和像素值，并没有将所绘制视点的深度值。而直接按照DIBR方法中的公式进行绘制会导致绘制后的视点位置重新产生移动，导致很多区域发生重复赋值或者没有进行赋值，从而在图像上形成斑块形状的图案，从视觉上仿佛图像中存在空洞。中国专利文献CN103905813B公开了一种“基于背景提取与分区修复的DIBR空洞填补方法”。首先利用视频序列重建背景图像和背景深度图：利用视频序列和与之对应的深度图序列，比较每个像素点在每帧画面中所对应的深度值，将深度值最大时的像素作为背景图像的像素，通过逐帧比较获得真实的背景图像和与之对应的背景深度图；其次，计算画面中前景图像区域；最后，针对不同区域采取不同策略填补空洞。上述技术方案仅被动地填补空洞，没有在根本上减少空洞数量，耗费大量计算，时间复杂度高。
技术实现思路
本专利技术主要解决原有的DIBR绘制技术未考虑绘制视点的深度值的技术问题，提供一种新型的图像绘制技术，利用图像之间的深度差值来划分绘制不准确区域，根据图像的实际情况将图像中视觉冲击最明显的区域中的破损区域重新进行绘制，从而让图像的绘制区域变得更加清晰，减少最后一步填充空洞时空洞的个数，从而降低时间复杂度。本专利技术的上述技术问题主要是通过下述技术方案得以解决的：本专利技术包括以下步骤：(1)3D图像变换；DIBR技术中最关键的部分为3D图像变换(3DImageWraping)它是一种针对图像像素进行变化的操作。通过三维变换将参考图像像素点映射到目标视图中，从而形成和参考图像相对应的原始目标视图。该方法本质上通过深度信息构建当前视点的三维信息，进而通过映射变换，得到其他视点的三维信息。(2)利用图像之间的深度差值来划分绘制不准确区域；通过两个视点的深度值进行比较，发现当原图的深度图像和目标视图的深度图像对应位置的深度值存在一定程度的倍率差，定义两个视图深度误差为dif，然后根据深度误差dif确定重新针对深度误差较大的区域进行绘制，确定深度误差的阈值δ。(3)设置图像的前景阈值和背景阈值；深度图像中深度值小于αbackgurand区域设为背景区域，大于αforgurand区域设为将两幅深度图像中的背景区域做并逻辑计算，前景区域做并逻辑计算，得到输出视图中的背景区域和前景区域。(4)处理空洞。采用通过空洞周边像素逐步将空洞区域减少的方法进行填充，将这些空洞进行标记，并且将这些孔洞的边缘区域进行标记，填充空洞的顺序是由空洞外侧往空洞内测逐层填充。本质是以像素值之差的最小二范数作为参考依据，选择非空洞区域的像素进行比较，最后找到对应的匹配块并将对应的中心像素填充至修复块中心像素p。然后依次修复每一块空洞边缘像素，直至孔洞填充完毕。作为优选，所述的假设图像像素p坐标为(u，v)，图像平面坐标为(x，y)，图像像素坐标列向量为矩阵P，相机矩阵为Camera。M＝[xy1]TP＝[uv1]T其中f为相机的焦距，fx和fy分别为像素x方向和像素y方向的焦距。u0，v0，主点的实际位置，单位也是像素。将像素坐标和图像平面坐标、相机坐标和实际三维空间的坐标进行互相联系，在像素坐标和图像坐标之间可以通过相机内参矩阵Camera得到运算关系：然后将图像平面坐标转换为以相机为中心的相机坐标(Xc，Yc，Zc)，转换关系如下在本次实验中定义f为：接着根据相机坐标系和普通的空间坐标系(Wx，Wy，Wz)进行进一步转换，转换关系为：其中px，py，pz分别表示相机在空间坐标中在x、y、z方向上的平移量。矩阵R表示相机在空间中的旋转矩阵，通常情况下，R表示为单位矩阵。向量[pxpypz]T表示相机在空间中的平移量。作为优选，所述的定义两个视图深度误差为dif，像素p的深度差计算公式为：dif(p)＝|D原深度图(p)-D目标深度图(p)|其中D指的是深度值，然后根据深度误差dif确定重新针对深度误差较大的区域进行绘制，确定深度误差的阈值δ，当深度误差超过阈值时，也就是dif(p)＞δ时，便对区域重新进行绘制。作为优选，所述的步骤(2)中原图的深度图像和目标视图的深度图像对应位置的深度值存在一定程度的倍率差，根据图像深度值来划分区域并判断是否重新进行赋值。作为优选，所述的步骤(3)根据设置图像的前景阈值和背景阈值来区分图像的前景区域和背景区域，然后对两区域再次进行绘制。作为优选，所述的步骤(3)分别设置背景阈值和前景阈值为αbackgurand和αforgurand，将两幅图像中的背景区域和前景区域做并逻辑计算，得到输出视图中的背景区域和前景区域，将所在区域的空洞部分重新进行绘制。从而使背景区域和前景区域中的绘制不充分区域得到进一步改进。作为优选，所述的步骤(4)使用基于最小熵差的criminisi绘制方法将剩余部分空洞进行填充，将像素匹配块的选取准则调整为以最小熵差的选取方法，即匹配块的选取条件为使用熵差和选取区域像素值总和相乘之积的最小值。根据传统的criminisi的方法会发现运算的过程非常复杂，而且匹配块的选取条件没有考虑到要将图像纹理的细节部分进行结合。因此将匹配块熵差的概念引入。考虑到传统方法中计算量比较复杂，而且没有考虑到图像之间由于色块数量的差异而导致图像填充产生较大的误差。因此需要同时考虑到颜色的相似度和匹配块中像素值的分布。作为优选，所述的步骤(4)根据匹配块误差d(P，Q)最小的范围以及熵差值的范围，把该两种元素的差值调整到0至1之间，H(P)＝-∑p(P)log(p(P))H(Q)＝-∑p(Q)log(p(Q))其中H(P)和H(Q)分别指选取块P的匹配块Q的信息熵。作为优选，所述的步骤(4)填充空洞的顺序是由空洞外侧往空洞内测逐层填充，为了客观表示空洞的填充顺序，采用公式(2.1)来表达填充的顺序PP(p)＝C(p)·D(p)(2.1)其中p表示边缘像素点，C(p)表示像素p的置信度，D(p)表示像素p的数据项，C(p)和D(p)的运算公式如(2.2)，(2.3)所示：其中P表示以p为中心的的待修复块，count(P)表示待修复块中像素个数，q表示非空洞像素区域，表示对点p求梯度后在进行顺时针旋转90度，np表示点p处垂直边界的法向量，α表示归一化因子，由于C(p)的取值范围在[0，1]，因此在本文档来自技高网...

【技术保护点】
1.一种新型的图像绘制技术，其特征在于，包括以下步骤：/n(1)3D图像变换；/n(2)利用图像之间的深度差值来划分绘制不准确区域；/n(3)设置图像的前景阈值和背景阈值；/n(4)处理空洞。/n

【技术特征摘要】
1.一种新型的图像绘制技术，其特征在于，包括以下步骤：
(1)3D图像变换；
(2)利用图像之间的深度差值来划分绘制不准确区域；
(3)设置图像的前景阈值和背景阈值；
(4)处理空洞。


2.根据权利要求1所述的一种新型的图像绘制技术，其特征在于，所述步骤(1)假设图像像素p坐标为(u，v)，图像平面坐标为(x，y)，图像像素坐标列向量为矩阵P，相机矩阵为Camera。
M＝[xy1]T
P＝[uv1]T



其中f为相机的焦距，fx和fy分别为像素x方向和像素y方向的焦距。u0,v0,主点的实际位置，单位也是像素。


3.根据权利要求1所述一种新型的图像绘制技术，其特征在于，所述步骤(2)定义两个视图深度误差为dif,像素p的深度差计算公式为：
dif(p)＝|D原深度图(p)-D目标深度图(p)|
其中D指的是深度值，然后根据深度误差dif确定重新针对深度误差较大的区域进行绘制，确定深度误差的阈值δ，当深度误差超过阈值时，也就是dif(p)＞δ时，便对区域重新进行绘制。


4.根据权利要求3所述一种新型的图像绘制技术，其特征在于，所述步骤(2)中原图的深度图像和目标视图的深度图像对应位置的深度值存在一定程度的倍率差，根据图像深度值来划分区域并判断是否重新进行赋值。


5.根据权利要求1所述一种新型的图像绘制技术，其特征在于，所述步骤(3)根据设置图像的前景阈值和背景阈值来区分图像的前景区域和背景区域，然后对两区域再次进行绘制。


6.根据权利要求5所述一种新型的图像绘制技术，其特征在于，所述步骤(3)分别设置背景阈值和前景阈值为αbackgurand和αforgurand，将两幅图像中的背景区域和前景区域做并逻辑计算，得到输出视图中的背景区域...

【专利技术属性】
技术研发人员：张博文，周洋，梁文青，崔金鹏，陆宇，殷海兵，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33