一种基于SEI的多相机同步信息传输与存储方法技术

本发明专利技术公开了一种基于SEI的多相机同步信息传输与存储方法，利用H264或H265的SEI类型消息来存放多个同步相机的同步信息，每个相机只需要一个视频文件，不再需要额外的同步文件即可实现多个视频的同步解析，获取图片的唯一编号信息，并实现多个相机的图片对齐。本发明专利技术为H264或H265等视频文件与视频流的传输与存储提供了便捷的技术方案，特别是针对多个同步相机的视频流或文件。相机的视频流或文件。相机的视频流或文件。

【技术实现步骤摘要】
一种基于SEI的多相机同步信息传输与存储方法


[0001]视频编解码，多相机传输

技术介绍

[0002]目前的多相机同步信息是保存在单独的文件中，与视频文件相分离，给网络传输与后续的应用带来了很多不便。特别是3D重建中需要用到多视角的图片，如果这些图片不是多个相机同一个时刻拍摄的，会给3D重建造成极大的破坏，甚至无法进行3D重建。3D重建对多相机的同步有十分严格的要求，当前的技术是将同步信息与图片信息分开存储与传输，很容易造成图片错位或同步信息丢失。另一方面，视频压缩算法H264或H265主要解决单个视频流的压缩与解压，而没有考虑多相机的同步问题。本专利技术对H264 or H265算法的SEI消息进行定制，将相机的同步信息保存到SEI消息中，从而实现图片与同步信息一起存储与传输，从而解决了图片错位或同步信息丢失的问题。

技术实现思路

[0003]本专利技术包括两大部分，图片与同步信息的编码部分和图片与同步信息的解码部分。
[0004]1)编码部分主要负责从相机中获取图片流并进行图片格式转换；获取同步信息(CameraID，FrameID，TimeStamp)，并与通过相机标定获得的相机参数一起进行SEI预处理。然后将图片信息与SEI信息一起送到H264 or H265编码器进行视频编码生成视频流。最后将视频流通过网络传输或者保存到文件中。
[0005]2)解码部分主要负责将网络或文件中的视频流利用H264 or H265解码器分离出图片信息和SEI消息，再通过SEI解析，获得相机参数和同步信息。
[0006]系统工作原理
[0007]1.多个相机的同步通过同步信号发生器来进行触发控制，相机收到一个触发信号进行一次拍照，并且FrameID加1，若FrameID达到了最大值，则FrameID会变为0；并且每个相机都有一个唯一的CameraID。通过CameraID，FrameID和TimeStamp可以将多个相机的图片进行对齐。
[0008]2.在真正开始图片采集前，需要通过相机标定方法来获得各个相机的参数，包括相机内参和外参。
[0009]3.系统开始图片采集时，同步信号发生器会以一个固定的频率产生同步触发信号。
[0010]4.相机每接收到一个同步信号，就会进行一次拍摄，并对FrameID加1。
[0011]5.采集程序通过相机的SDK来获取到图片信息，CameraID，FrameID，TimeStamp等信息。
[0012]6.将CameraID用2个字节表示，如果是SDK提供相机的序列号，需要通过一张映射表将序列号转化为相机编号，2个字节最多可以表示65536个相机。将FrameID用8个字节表
示，C语言中的long long类型。TimeStamp用8个字节表示，即C语言的long long类型。相机参数每个图片只传输4个字节，用2个字节表示数据在相机参数中的偏移值。通过多个连续的图片来传输完整的相机参数，每5分钟或10分钟传输一次完整的相机参数。以每秒60fps的视频流为例子，10分钟会产生的图片数量为10*60*60＝36000，即做一个计数器，当传输图片的数量达到36000张时开始传输一次完整的相机参数，然后将计数器清零，重新开始计算。
[0013]7.由于相机的CameraID和相机参数在拍摄过程中一般是不发生变化的，所以每10分钟或5分钟传输一次即可。CameraID占用2个字节，相机参数占用6个字节，一共8个字节，这个8个字节不是每张图片都有的，是可选的。FrameID占用8个字节，TimeStamp占用8个字节，一共16个字节，是每张图片都有的。因此，SEI的内容长度可以是16个字节，也可以是24个字节(16+8)。
[0014]8.将这16或24个字节作为SEI的参数，并与从相机获取到的图片信息通过H264 or H265进行视频编码。
[0015]9.将编码后的视频流进行网络传输或保存到文件中。
[0016]10.将网络收到的视频流或从文件读取的视频信息通过H264 or H265进行视频解码，得到图片信息与SEI消息。SEI消息的长度可能是16或24字节，如果是16个字节，则只包含8个字节的FrameID和TimeStamp；如果是24个字节，则包括了8个字节的FrameID，8个字节的TimeStamp，2个字节的CameraID，2个字节的相机参数偏移地址，4个字节的相机参数。如果包含了相加参数，需要通过连续多个帧的积累，才能把所有相机参数搜集起来。
[0017]技术要求
[0018]1.采用的相机具有外触发拍照功能，且SDK提供图片信息、CameraID，FrameID，TimeStamp等信息。一般工业相机都具备有这些功能。
[0019]2.采用的H264 or H265编码器需要具有可以设置SEI的接口功能，一般的编码器都有这个功能。同理，H264 or H265的视频解码器需要能输出SEI的消息。
附图说明
[0020]附图1是基于SEI的多相机同步信息传输与存储方法视频编码功能图，描述了系统的关键构成、主要原理和主要方法。
[0021]附图2是基于SEI的多相机同步信息传输与存储方法视频解码功能图，描述了如何获取SEI消息并对SEI进行解析。
[0022]技术方案优点
[0023]本专利技术一种基于SEI的多相机同步信息传输与存储方法，提供了多相机同步信息与图片信息一起传输与存储的技术方案，解决了多个相机图片的同步信息丢失或者错位的问题。对于计算机视觉的3D重建具有至关重要的作用，同时充分利用了现有的H264 or H265视频编解码功能，具有广泛的应用价值。
具体实施方式
[0024]1)采用工业相机来进行同步，以便获取CameraID，FrameID，TimeStamp等信息。
[0025]2)采用英伟达Nvidia提供的H264 or H265视频编解码软件，能充分利用GPU的计
算能力来加速视频的编解码。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于SEI的多相机同步信息传输与存储方法，通过SEI消息将相机同步信息与图片信息一起进行H264 or H265进行编解码，以便于进行网络传输与文件保存，解决了相机同步信息与图片信息同步传输的问题。2.根据权利要求1所述的数据采集方法，其特征在于，利用SEI来传输相机同步信息，包括CameraID，FrameID，...

【专利技术属性】
技术研发人员：蒋现新，
申请(专利权)人：首都体育学院，
类型：发明
国别省市：