一种多视频流融合的实时图像分析方法技术

本发明专利技术提供了一种多视频流融合的实时图像分析方法，本发明专利技术对视频图像的参数进行实时跟踪；之后根据视频图像的参数计算视频图像在三维空间中对应的视锥体，在此基础上计算出主视频视点下可见的视频图像，调度这些可见视频图像；然后计算每个可见视频图像与三维场景中虚拟对象的关联关系，根据该关联关系将视频图像与三维场景中的虚拟对象进行融合；最后在虚拟环境中将融合结果进行可视化，获得融合后的视频。具有实时性强，融合速度快的优点。融合速度快的优点。

【技术实现步骤摘要】
一种多视频流融合的实时图像分析方法


[0001]本专利技术涉及多视频流融合
，尤其涉及一种多视频流融合的实时图像分析方法。

技术介绍

[0002]随着科学技术的进步，人们对视频图像的要求越来越高，尤其是在医学、遥感、监控以及军事等领域，均要求视频图像所包含的信息越丰富越好。在这种情况下，传统的单一传感器无法满足这一要求。例如，可见光成像传感器在白天可以得到颜色及细节信息比较丰富的图像，然而在夜间却得不到理想的图像，红外成像传感器在夜间成像效果好但该类型的传感器分辨率不高并且只能得到灰度图像，没有丰富的颜色信息，可见，单一的成像传感器都无法提供信息量丰富的场景图像，因此我们需要图像融合技术来把多幅具有信息互补的图像融合成为一幅图像，便于后续的处理。
[0003]与此同时，随着大数据以及人工智能算法的发展，图像识别在越来越多的领域得到应用，图像识别是利用计算机或者嵌入式设备对传感器采集的图像进行融合、分析和理解，以认识各种不同模式的目标和对象的技术。图像融合是把多个成像传感器所得到的多幅图像融合成为一幅图像的技术。由于视频图像融合的数据量很大，对硬件要求非常高；再有，目前的图像融合系统需要处理几路视频，其数据量非常大，且在对多幅图像进行图像融合前还需要对输入的视频图像进行配准，整个视频图像融合算法的复杂度比较高。
[0004]目前采用的普遍方法是，将多路高清实时的图像分别先以图片的格式存入缓存器或者存储器中，存满一幅图片后再读取缓存器中的数据进行融合，当数据源很多时，这样存储及传输的机制严重降低了嵌入式系统的融合速度，特别是FPGA并行融合的特性，这种存储机制会使得并行处理器会大量时间处于空闲状态，等待所有的数据存储满一幅图像后才进行融合，这严重限制了多视频图像的融合速度和实时性。

技术实现思路

[0005]针对现有技术中所存在的不足，本专利技术提供了一种多视频流融合的实时图像分析方法，其解决了现有技术中存在的多视频图像融合速度和实时性不佳的问题。
[0006]根据本专利技术的实施例，一种多视频流融合的实时图像分析方法，包括如下步骤：
[0007]S1、获取多个原始视频图像，选取其中一个图像参数覆盖最多的视频为主视频，计算视频图像的参数信息，参数信息用于调度视频图像与主视频进行融合；
[0008]S2、根据视频图像的参数信息计算视频在三维空间中对应的视锥体，该视锥体是视频被拍摄时的真实环境的空间范围在虚拟环境的近似或精确表达；根据主视频图像在虚拟环境中的视点位置和方向，计算当前对主视频视角可见的视频集合，调度可见主视频视角的视频图像；
[0009]S3、对可见集合中的视频图像，根据参数信息计算其视频图像与三维场景中虚拟对象间的关联关系，利用该关联关系将视频图像与主视频图像进行融合；
[0010]S4、在虚拟的环境中将全部视频图像与主视频图像的融合结果进行可视化。
[0011]进一步的，对于步骤S2中的每一个视频，根据其采集时的参数信息计算视频图像在三维空间中对应的视锥体，视锥体限定了视频图像在虚拟环境中的观察范围，该范围与视频图像被拍摄时的真实地理空间相对应；之后根据视频图像当前视点的位置和方向，计算每个视频视锥体与主视频观察区域的相交情况，并根据以下的规则判断视频图像的可见性：
[0012]如果视频图像的位置与主视频的视点位置超过一定距离，则认为相机不可见；如果视频图像位置与主视频视点位置在一定距离内，并且满足视频图像视锥与不在主视频视点区域内或视频图像光轴方向与视点方向夹角超过一定角度，则认为视频图像不可见；
[0013]如果视频图像位置与主视频视点位置在一定距离内，并且满足以下条件：视频图像视锥与主视频区域相交或在主视频区域内，且视频图像光轴方向与主视频视点方向夹角不大于一定角度，则认为视频图像可见；
[0014]以上对视频图像可见性的判断过程进行加速，通过将视频图像根据位置分布进行分组，计算时根据主视频视点查找附近分组从而减少计算量；计算出视频图像的可见性后，更新使用中的可见视频图像列表U。
[0015]进一步的，采用如下步骤更新可见视频图像U：
[0016]S2.1、保存上次计算得到视频图像可见性结果，清空退出列表Q和待加入列表J，置可见性列表V中的视频图像标志位为
‑
1；其中，视频图像的标志位为1表示视频图像可见，标志位为0表示视频图像不可见，
‑
1表示未知；进入步骤S2.2；
[0017]S2.2、对列表V中每个视频图像，若其位置离开当前视点超过一定距离，认为视频图像不可见，将其标志置为0；否则进入步骤S2.3；
[0018]S2.3、如果视频图像的位置与主视频视点距离在一定范围内：计算视频图像视锥体的包围盒，计算主视频图像在当前视点的观察区域，若包围盒与观察区域不相交则认为视频图像不可见，将视频图像的标志位置为0；计算视频图像光轴方向与主视频视点方向的夹角，若夹角大于一定角度，将视频图像的标志位置为0；否则进入步骤S2.4；
[0019]S2.4、若视频图像视锥体的包围盒与主视频观察区域相交或者在主视频观察区域内，并且视频图像光轴方向与主视频视点方向的夹角不大于一定角度则认为视频图像可见，将视频图像的标志位置为1；将本次计算得到的可见性列表与上次计算得到的可见性列表进行比较，若视频图像本次可见而上次不可见则将其送入待加入列表J，若视频图像本次不可见上次可见则将其送入到退出列表Q；进入步骤S2.5；
[0020]S2.5、将待加入列表J中的视频图像取出送入候选列表C；根据需求，从C中选择合适数量的视频图像送入使用中的可见视频图像列表U；从候选列表C和使用中列表U移除与退出列表Q中相同的视频图像并释放相关的参数；根据应用需求，通过时间戳参数对列表U中各视频图像进行同步处理。
[0021]进一步的，步骤S1使用一个或多个视频图像，视频图像的参数是连续的，参数信息包括位置、朝向、焦距、时间戳；参数信息与视频图像一起实时编码传输或保存。
[0022]进一步的，步骤S3对场景中每个可见的视频图像，根据视频图像的参数信息计算其内容与三维场景中虚拟对象间的关联关系，在视频图像参数未发生变化的情况下只用计算一次即可；之后根据关联关系将多幅视频图像通过视频投影的方法与三维场景中虚拟对
象进行融合，对象包括点、线、面以及三者的组合体；多幅视频图像的内容可以与同一个对象进行融合，视频图像的交叉部分通过特征匹配、透明通道、加权平均方法进行处理；融合时需要考虑对象间的遮挡关系，通过深度图方法快速判断对象间的遮挡关系，被遮挡部分使用原始纹理或根据具体需求指定，未被遮挡部分与视频图像进行融合。
[0023]进一步的，步骤S4将视频图像与三维场景的融合结果在虚拟环境中进行可视化，并根据需求追加显示原始三维场景、原始视频图像、主视频视点下的融合效果。
[0024]相比于现有技术，本专利技术具有如下有益效果：
[0025]1、融合计算可动态更新，采集的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多视频流融合的实时图像分析方法，其特征在于，包括如下步骤：S1、获取多个原始视频图像，选取其中一个图像参数覆盖最多的视频为主视频，计算视频图像的参数信息，参数信息用于调度视频图像与主视频进行融合；S2、根据视频图像的参数信息计算视频在三维空间中对应的视锥体，该视锥体是视频被拍摄时的真实环境的空间范围在虚拟环境的近似或精确表达；根据主视频图像在虚拟环境中的视点位置和方向，计算当前对主视频视角可见的视频集合，调度可见主视频视角的视频图像；S3、对可见集合中的视频图像，根据参数信息计算其视频图像与三维场景中虚拟对象间的关联关系，利用该关联关系将视频图像与主视频图像进行融合；S4、在虚拟的环境中将全部视频图像与主视频图像的融合结果进行可视化。2.如权利要求1所述的一种多视频流融合的实时图像分析方法，其特征在于：对于步骤S2中的每一个视频，根据其采集时的参数信息计算视频图像在三维空间中对应的视锥体，视锥体限定了视频图像在虚拟环境中的观察范围，该范围与视频图像被拍摄时的真实地理空间相对应；之后根据视频图像当前视点的位置和方向，计算每个视频视锥体与主视频观察区域的相交情况，并根据以下的规则判断视频图像的可见性：如果视频图像的位置与主视频的视点位置超过一定距离，则认为相机不可见；如果视频图像位置与主视频视点位置在一定距离内，并且满足视频图像视锥与不在主视频视点区域内或视频图像光轴方向与视点方向夹角超过一定角度，则认为视频图像不可见；如果视频图像位置与主视频视点位置在一定距离内，并且满足以下条件：视频图像视锥与主视频区域相交或在主视频区域内，且视频图像光轴方向与主视频视点方向夹角不大于一定角度，则认为视频图像可见；以上对视频图像可见性的判断过程进行加速，通过将视频图像根据位置分布进行分组，计算时根据主视频视点查找附近分组从而减少计算量；计算出视频图像的可见性后，更新使用中的可见视频图像列表U。3.如权利要求2所述的一种多视频流融合的实时图像分析方法，其特征在于，采用如下步骤更新可见视频图像U：S2.1、保存上次计算得到视频图像可见性结果，清空退出列表Q和待加入列表J，置可见性列表V中的视频图像标志位为
‑
1；其中，视频图像的标志位为1表示视频图像可见，标志位为0表示视频图像不可见，
‑
1表示未知；进入步骤S2.2；S2.2、对列表V中每个视频图像，若其位置离开当...

【专利技术属性】
技术研发人员：张光磊，
申请(专利权)人：湖北智旅云科技有限公司，
类型：发明
国别省市：