雷达视频数据的融合方法及相关设备技术

本申请公开了一种雷达视频数据的融合方法、电子设备及计算机可读存储介质，融合方法包括：进行视频数据采集和雷达数据采集，获取视频帧和雷达帧；确定与当前视频帧的时间最接近的雷达帧，将所确定的雷达帧作为匹配雷达帧；对当前视频帧和匹配雷达帧进行融合。本申请能够提高雷达数据和视频数据的时间同步性。请能够提高雷达数据和视频数据的时间同步性。请能够提高雷达数据和视频数据的时间同步性。

【技术实现步骤摘要】
雷达视频数据的融合方法及相关设备


[0001]本申请涉及数据处理领域，特别是涉及一种雷达视频数据的融合方法、电子设备及计算机可读存储介质。

技术介绍

[0002]在很多电子化应用领域，都涉及到对数据的融合处理。例如在视频监控领域，存在多维感知，即除了对场景的视频采集进行图像感知，还需要对目标进行测距、测速等雷达数据的感知。继而会涉及到多维数据的融合。
[0003]不同数据采集的频率不同，因而在进行融合时会出现时间不同步的问题。

技术实现思路

[0004]本申请提供一种雷达视频数据的融合方法、电子设备及计算机可读存储介质，可以解决现有技术中雷达帧和视频帧时差较大，融合后的数据处理难度大的问题。
[0005]为达到上述目的，本申请提供一种雷达视频数据的融合方法，该方法包括：进行视频数据采集和雷达数据采集，获取视频帧和雷达帧；确定与当前视频帧的时间最接近的雷达帧，将所确定的雷达帧作为匹配雷达帧；对所述当前视频帧和所述匹配雷达帧进行融合。
[0006]其中，所述确定与当前视频帧的时间最接近的雷达帧，包括：确定与所述当前视频帧的时间最接近，且时间差小于或等于时间阈值的雷达帧，所述时间阈值为最大雷达帧间隔的一半。
[0007]其中，所述进行视频数据采集和雷达数据采集，获取视频帧和雷达帧，包括：进行视频数据采集和雷达数据采集，获取视频帧和视频帧时间戳，以及雷达帧和雷达帧时间戳；所述确定与所述当前视频帧的时间最接近，且时间差小于或等于时间阈值的雷达帧，包括：获取所述当前视频帧的视频帧时间，所述视频帧时间为视频帧时间戳减采集时间延迟；获取与所述当前视频帧的时间最接近的雷达帧的雷达帧时间，所述雷达帧时间为雷达帧时间戳减帧率波动时间偏差；计算所述视频帧时间和所述雷达帧时间的差值；若所述差值小于等于时间阈值，则确定与所述当前视频帧的时间最接近雷达帧为匹配雷达帧。
[0008]其中，若差值大于时间阈值；则先执行对所述当前视频帧进行处理，再执行所述获取与当前视频帧的时间最接近的雷达帧的雷达帧时间；其中，所述视频帧时间为视频帧时间戳减采集时间延迟，并减处理时间。
[0009]其中，所述先执行对所述当前视频帧进行处理，再执行所述获取与当前视频帧的时间最接近的雷达帧的雷达帧时间，包括：对所述视频帧进行编码处理；判断编码处理时间与时间阈值的关系；若编码处理时间大于或等于时间阈值，则执行所述获取与当前视频帧的时间最接近的雷达帧的雷达帧时间；若编码处理时间小于时间阈值，则再对所述视频帧进行业务处理，业务处理后再执行所述获取与当前视频帧的时间最接近的雷达帧的雷达帧时间。
[0010]其中，所述若编码处理时间小于时间阈值，则再对所述视频帧进行业务处理，业务
处理后再执行所述获取与当前视频帧的时间最接近的雷达帧的雷达帧时间，包括：若编码处理时间小于时间阈值，且与时间阈值的差值小于或等于预设差值，则再对所述视频帧进行业务处理，业务处理后再执行所述获取与当前视频帧的时间最接近的雷达帧的雷达帧时间；若编码处理时间小于时间阈值，且与时间阈值的差值大于预设差值，则调整雷达帧率。
[0011]其中，所述融合方法还包括：在所述确定与当前视频帧的时间最接近的雷达帧的步骤同时，对雷达帧进行雷达算法分析，得到雷达计算帧；对所述当前视频帧进行处理，得到视频处理帧；所述对所述当前视频帧和所述匹配雷达帧进行融合，包括：对所述雷达计算帧和所述视频处理帧进行融合。
[0012]其中，所述确定与当前视频帧的时间最接近的雷达帧，将所确定的雷达帧作为匹配雷达帧，包括：确定与当前视频帧的时间最接近的雷达帧，并获取所确定的雷达帧的雷达帧号；所述对所述雷达计算帧和所述视频处理帧进行融合，包括：根据所述雷达帧号寻找所述雷达计算帧；将找到的所述雷达计算帧和所述视频处理帧进行融合。
[0013]为达到上述目的，本申请还提供一种电子设备，该电子设备包括处理器；处理器用于执行指令以实现上述方法。
[0014]为达到上述目的，本申请还提供一种计算机可读存储介质，其用于存储指令/程序数据，指令/程序数据能够被执行以实现上述方法。
[0015]本申请用于对雷达数据和视频数据进行融合，首先进行雷达数据和视频数据的采集，获得雷达帧和视频帧；再确定与当前视频帧的时间最接近的雷达帧，将所确定的雷达帧作为匹配雷达帧；对当前视频帧和匹配雷达帧进行融合；即基于视频帧寻找雷达帧，然后再将找到的雷达帧融合到视频帧中，所寻找的雷达帧与视频帧的时间最接近，因而能够提高所融合的雷达数据和视频数据的时间同步性。
附图说明
[0016]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0017]图1是本申请雷达视频数据的融合方法第一实施例的流程示意图；
[0018]图2是本申请雷达视频数据的融合方法第二实施例的流程示意图；
[0019]图3是雷达数据的采样时刻及生成时刻的示意图；
[0020]图4是雷达帧和视频帧同步匹配的示意图；
[0021]图5是图2所示融合方法第二实施例应用到硬件设备中的第一功能流程图；
[0022]图6是图2所示融合方法第二实施例应用到硬件设备中的第二功能流程图；
[0023]图7是本申请电子设备一实施方式的结构示意图；
[0024]图8是本申请计算机可读存储介质一实施方式的结构示意图。
具体实施方式
[0025]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。另外，除非另外指明(例如，“或另外”或“或在替代方案
中”)，否则如本文所使用的术语“或”指代非排他性的“或”(即，“和/或”)。并且，本文所描述的各种实施例不一定相互排斥，因为一些实施例可以与一个或多个其它实施例组合以形成新的实施例。
[0026]请参阅图1，图1是本申请雷达视频数据的融合方法第一实施例的流程示意图，本实施例融合方法包括以下步骤。
[0027]S11：进行视频数据采集和雷达数据采集，获取视频帧和雷达帧。
[0028]本实施例是为了实现视频数据和雷达数据的融合，融合步骤是在获取视频数据和雷达数据的过程中进行的，即对每次获取到的视频帧和雷达帧进行融合。
[0029]本步骤中视频数据具体可通过图像传感器来进行采集，雷达数据则可利用雷达传感器来采集、在进行数据采集时，图像传感器和雷达传感器分别有各自的采集帧率，可以是相同，也可以不同。
[0030]由于视频帧和雷达帧的采集帧率可能不同，数据延迟可能不同，因而在融合时两者的时间并不是一一对应的，简单的将最新的视频帧和雷达帧进行融合，会造成时间不同步的问题。因此本实施例在以下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种雷达视频数据的融合方法，其特征在于，所述融合方法包括：进行视频数据采集和雷达数据采集，获取视频帧和雷达帧；确定与当前视频帧的时间最接近的雷达帧，将所确定的雷达帧作为匹配雷达帧；对所述当前视频帧和所述匹配雷达帧进行融合。2.根据权利要求1所述的融合方法，其特征在于，所述确定与当前视频帧的时间最接近的雷达帧，包括：确定与所述当前视频帧的时间最接近，且时间差小于或等于时间阈值的雷达帧，所述时间阈值为最大雷达帧间隔的一半。3.根据权利要求2所述的融合方法，其特征在于，所述进行视频数据采集和雷达数据采集，获取视频帧和雷达帧，包括：进行视频数据采集和雷达数据采集，获取视频帧和视频帧时间戳，以及雷达帧和雷达帧时间戳；所述确定与所述当前视频帧的时间最接近，且时间差小于或等于时间阈值的雷达帧，包括：获取所述当前视频帧的视频帧时间，所述视频帧时间为视频帧时间戳减采集时间延迟；获取与所述当前视频帧的时间最接近的雷达帧的雷达帧时间，所述雷达帧时间为雷达帧时间戳减帧率波动时间偏差；计算所述视频帧时间和所述雷达帧时间的差值；若所述差值小于等于时间阈值，则确定与所述当前视频帧的时间最接近雷达帧为匹配雷达帧。4.根据权利要求3所述的融合方法，其特征在于，若差值大于时间阈值；则先执行对所述当前视频帧进行处理，再执行所述获取与当前视频帧的时间最接近的雷达帧的雷达帧时间；其中，所述视频帧时间为视频帧时间戳减采集时间延迟，并减处理时间。5.根据权利要求4所述的融合方法，其特征在于，所述先执行对所述当前视频帧进行处理，再执行所述获取与当前视频帧的时间最接近的雷达帧的雷达帧时间，包括：对所述视频帧进行编码处理；判断编码处理时间与时间阈值的关系；若编码处理时间大于或等于时间阈值，则执行所述获取与当前视频帧的时间最接近的雷达帧的雷达帧时间；...

【专利技术属性】
技术研发人员：苏昭行，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：