本发明专利技术公开了一种图像数据解析装置、场景估计装置、3D融合系统，属于视频领域，包括针对多端实景数据异地融合的图像数据解析单元、图像raw数据解析单元、焦栈数据解析单元、相机参数解析单元、场景估计和图像融合，实现实时、多端相机协同、多应用的视频图像异地融合，规避在屏幕端的复杂限制的问题；同时脱离三维渲染引擎，能够将多个异地端的实景数据进行重建，获取正确的3D视觉几何关系，提出了实景融合的解决方案，避免了过渡依赖3D虚拟场景建模操作；且能够实现自由改变视点的同时保持融合数据的一致性表达，本地端视点改变后，融合数据的场景内容跟随本地端视点变化而变化，从而达到异地与本地场景在视觉上的实时无缝融合。到异地与本地场景在视觉上的实时无缝融合。到异地与本地场景在视觉上的实时无缝融合。
【技术实现步骤摘要】
图像数据解析装置、场景估计装置、3D融合系统
[0001]本专利技术涉及视频
，更为具体的，涉及一种图像数据解析装置、场景估计装置、3D视觉融合系统。
技术介绍
[0002]随着视频技术的发展，AR(增强现实)、VR(虚拟现实)、裸眼3D、MR(混合现实)以及XR(extended reality)的应用日趋完善，引爆了各类3D视觉产品及应用的快速成熟，但是这类3D视觉产品的设计初衷均是基于虚实融合方案的技术架构。同时图像融合在学术阶段还停留在场景的颜色、亮度等二维数据融合阶段。
[0003]视频技术发展至今，为满足用户日益增长的体验需求，融合技术常采用的方法是把虚拟物件植入实际拍摄图像序列中来完成三维融合效果，而传统的图像融合很难达到三维层面的技术呈现。
技术实现思路
[0004]本专利技术的目的在于克服现有技术的不足，提供一种图像数据解析装置、场景估计装置、3D视觉融合系统，实现实时、多端相机协同、多应用的视频图像异地融合，规避了现有技术方案中在屏幕端的复杂限制，脱离了三维渲染引擎，能够将多个异地端的实景数据代替虚拟场景，开创性地完成了实景融合实景的解决方案，能够实现自由改变视点的同时保持融合数据的一致性表达，允许主成像端相机位置发生变动，融合数据的内容及场景跟随观察点变化实时地改变，避免了空洞的现象等。
[0005]本专利技术的目的是通过以下方案实现的：一种图像数据解析装置，包括针对多端实景数据异地融合的图像解析单元；具体包括：图像raw数据解析单元；焦栈数据解析单元；相机参数解析单元。
[0006]进一步地，所述图像raw数据解析单元包括如下子单元：计算子单元，用于计算从二维图像中提取的每一帧中的主体数据及其在当前帧下的尺度；量化子单元，用于对图像数据进行量化操作，同一端相机的视频数据进行帧间的相似性判断以及对异端视频数据进行差异性判断；量化操作的方法包括基于图像色彩信息、灰度信息、梯度信息以及频域里振幅数据的方法，并生成不同中间数据；度量子单元，包括同端数据的相似性度量、异端数据的差异性度量；同端数据的相似性度量包括非等距地间隔标记视频帧，以此来判断视频中的动态主体的位置和尺度信息，使主体在后续处理过程中能够保持大小、位置的稳定性；异端数据的差异性度量包括逐帧地估计多端视频中动态主体之间的关系因子，确认关系因子之后用于保证融合后的每帧
数据完成局部一致性；建模子单元，用于将同端数据的相似性度量参数和异端数据的差异性度量参数进行共同建模估计，得到一个全局的度量因子，利用全局的度量因子确保解析出来的视频数据的全局一致。
[0007]进一步地，所述焦栈数据解析单元包括如下子单元：焦栈估计子单元，用于将多端视频的焦栈数据归一化到共同的尺度下，然后在频域中处理每帧图像数据，估计每帧数据所处的焦段位置；焦栈融合子单元，用于在频域中完成所述焦栈估计子单元中处理过的图像数据的焦栈状态转换后，再完成这部分图像数据地融合。
[0008]进一步地，所述相机参数解析单元包括如下子单元：基于图像的相机参数估计子单元，用于对图像raw数据解析单元和焦栈数据解析单元中的数据建立多帧图像数据之间的3D关系，通过重投影过程估计相机的CCD、FOV及物理焦距，从而恢复相机成像的视椎数据；相机物理焦距与图像焦栈数据的映射求解子单元，用于利用焦栈估计子单元获得的每一端设备的离散焦栈范围，结合基于图像的相机参数估计子单元的结果，估算出实际相机焦距范围和焦栈数据之间的映射关系，拟合数据之间的函数变化关系。
[0009]一种场景估计装置，包括三维场景数据重构单元，用于将如上所述的图像数据解析装置解析后的数据进行三维场景数据的重构；具体包括如下子单元：屏幕参数化估计子单元，用于将点阵图像显示在屏幕上，对拍摄的屏幕图像进行点阵的坐标提取，估计出屏幕数据在欧式空间中的参数化函数；场景尺度估计子单元，用于将相机参数解析单元处理后的不同的端的相机成像视椎数据拼接在一起，使得多端相机共同组成一个等效的视觉成像系统，获得场景最终的输出尺度；静态场景重建子单元，用于针对静态场景，结合图像raw数据解析单元得到的尺度数据，同时基于相机视椎构造来模拟多个平面来近似三维静态场景空间；动态场景重建子单元，用于针对动态场景，对动态场景的运动轨迹和其几何结构进行计算，结合图像raw数据解析单元得到的尺度数据，让动态场景的三维数据还原到真实尺度。
[0010]一种3D融合系统，包括融合单元，用于融合如上所述的场景估计装置估计后得到的数据和如上任一项所述的图像数据解析装置解析后得到的数据；具体包括如下子单元：几何融合子单元，用于利用图像信息提取匹配数据，建立3D几何关系，将多端的三维场景数据转换成等效视觉成像系统上的二维图像数据；图像融合子单元，用于将图像数据按几何融合子单元中3D几何关系定义为不同图像块，分别建立每块图像数据的像素数据直方图，计算不同图像块之间的相似程度，然后生成对应的掩码图像以辅助图像块之间的边缘融合；融合一致性处理子单元，用于根据几何融合子单元、图像融合子单元计算出多端视频数据转换到拍摄端下的图像数据，然后根据多端场景估计装置的参数将其投影到显示媒介上。
[0011]进一步地，所述融合一致性处理子单元包括几何一致性处理子单元和图像数据一
致性处理子单元；利用所述几何一致性处理子单元将多端相机的外参数据和主成像端的相机外参数据进行联动，计算相对位姿关系；所述图像数据一致性处理子单元采用色彩映射算法纠正显示媒介上的图像数据。
[0012]本专利技术的有益效果包括：本专利技术提出了一种实时、多端相机协同、多应用的异地融合技术。首先该专利技术规避了现有技术方案中在屏幕端的复杂限制，同时可以应用于任意数量的屏幕，任意形状构造的屏幕，及任意种类的普通屏幕（LED，液晶电视，幕布投影屏幕等）；第二，该专利技术脱离了三维渲染引擎，能够将多个异地端的实景数据代替虚拟场景，开创性地完成了实景融合实景的完美解决方案；第三，该专利技术能够自由改变视点的同时保持融合数据的一致性表达，允许主成像端相机位置发生变动，融合数据的内容及场景跟随观察点变化实时地改变，避免了空洞的现象。
[0013]本专利技术实施例提出了一种针对多端实景数据3D效果融合的二维图像数据解析过程，包括装置，解决了任意端视频的图像raw数据解析、焦栈数据解析和相机参数解析。同时，本专利技术实施例对二维图像数据解析的对象进行了多样化处理，以满足不同的视频产品应用。
[0014]本专利技术实施例提供了一种场景估计装置，能够促进数据融合模块数据融合程度更高，同时尽可能完备地恢复三维场景以此减少显示媒介（显示屏）带来的限制。
[0015]本专利技术实施例提供了一种3D视觉融合系统，与一般图像融合过程不同的是，本专利技术实施例的数据融合流程在首尾分别增加几何融合和融合一致性处理两个过程，按照几何融合、图像融合及融合一致性处理，能够保证异地融合输出数据的合理性和准确性。
附图说明
[0016]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像数据解析装置，其特征在于，包括针对多端实景数据异地融合的图像解析单元；具体包括：图像raw数据解析单元；焦栈数据解析单元；相机参数解析单元。2.根据权利要求1所述的图像数据解析装置，其特征在于，所述图像raw数据解析单元包括如下子单元：计算子单元，用于计算从二维图像中提取的每一帧中的主体数据及其在当前帧下的尺度；量化子单元，用于对图像数据进行量化操作，同一端相机的视频数据进行帧间的相似性判断以及对异端视频数据进行差异性判断；量化操作的方法包括基于图像色彩信息、灰度信息、梯度信息以及频域里振幅数据的方法，并生成不同中间数据；度量子单元，包括同端数据的相似性度量、异端数据的差异性度量；同端数据的相似性度量包括非等距地间隔标记视频帧，以此来判断视频中的动态主体的位置和尺度信息，使主体在后续处理过程中能够保持大小、位置的稳定性；异端数据的差异性度量包括逐帧地估计多端视频中动态主体之间的关系因子，确认关系因子之后用于保证融合后的每帧数据完成局部一致性；建模子单元，用于将同端数据的相似性度量参数和异端数据的差异性度量参数进行共同建模估计，得到一个全局的度量因子，利用全局的度量因子确保解析出来的视频数据的全局一致。3.根据权利要求1或2所述的图像数据解析装置，其特征在于，所述焦栈数据解析单元包括如下子单元：焦栈估计子单元，用于将多端视频的焦栈数据归一化到共同的尺度下，然后在频域中处理每帧图像数据，估计每帧数据所处的焦段位置；焦栈融合子单元，用于在频域中完成所述焦栈估计子单元中处理过的图像数据的焦栈状态转换后，再完成这部分图像数据地融合。4.根据权利要求3所述的图像数据解析装置，其特征在于，所述相机参数解析单元包括如下子单元：基于图像的相机参数估计子单元，用于对图像raw数据解析单元和焦栈数据解析单元中的数据建立多帧图像数据之间的3D关系，通过重投影过程估计相机的CCD、FOV及物理焦距，从而恢复相机成像的视椎数据；相机物理焦距与图像焦栈数据的映射求解子单元，用于利用焦栈估计子单元获得的每一端设备的离散焦栈范围，结合基于图像的相机参数估计子单元的结果，估算出实...
【专利技术属性】
技术研发人员：袁霞，何金龙，温序铭，
申请(专利权)人：成都索贝数码科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。