一种多路数据组合方法、系统及智能可穿戴设备技术方案

本发明专利技术公开了一种多路数据组合方法、系统及智能可穿戴设备，分别获取多个摄像头输出的每帧图像数据及传感器芯片输出的每帧传感器数据；在获取每帧图像数据时均生成图像时间戳，并在获取每帧传感器数据时均生成传感器时间戳；将多个摄像头各自输出的当前帧图像数据进行合并，得到图像合并数据，之后将对应的图像时间戳、传感器时间戳及传感器数据嵌入到图像合并数据中，最终得到待运算数据。可见，本申请将多路数据经合并重组后得到一路数据供后续运算处理，从而缩小了电路面积，降低了系统功耗，提高了系统抗干扰能力；而且，本申请在图像数据和传感器数据中均加入时间戳，使图像数据和传感器数据在时间上实现统一，有助于提升后续算法处理效果。后续算法处理效果。后续算法处理效果。

【技术实现步骤摘要】
一种多路数据组合方法、系统及智能可穿戴设备


[0001]本专利技术涉及智能穿戴领域，特别是涉及一种多路数据组合方法、系统及智能可穿戴设备。

技术介绍

[0002]随着智能可穿戴设备逐渐向小型化、轻量化、低功耗及智能化方向发展，对智能可穿戴设备的软硬件设计提出较高要求。比如，智能眼镜的SLAM(simultaneous localization and mapping，即时定位与地图构建)功能的实现要求同时采集两路图像数据和一路运动数据，具体由两个摄像头分别采集两路图像数据并传输、一个运动传感器采集一路运动数据并传输，之后由处理器对这些数据进行算法处理，以实现具体应用。
[0003]目前，为了便于处理器处理多路图像数据，多路图像数据传输往往使用并行接口，这就难免会增大电路面积和功耗，同时也不利于电路抗电磁干扰，容易导致图像错乱；而且，图像数据和运动数据往往分开传输，这就需要额外的传输线路，同时也不利于图像数据和运动数据在时间上的统一，影响后续算法处理效果。
[0004]因此，如何提供一种解决上述技术问题的方案是本领域的技术人员目前需要解决的问题。

技术实现思路

[0005]本专利技术的目的是提供一种多路数据组合方法、系统及智能可穿戴设备，将多路数据经合并重组后得到一路数据供后续运算处理，从而缩小了电路面积，降低了系统功耗，提高了系统抗干扰能力；而且，本申请在图像数据和传感器数据中均加入时间戳，使图像数据和传感器数据在时间上实现统一，有助于提升后续算法处理效果。
[0006]为解决上述技术问题，本专利技术提供了一种多路数据组合方法，应用于包含多个摄像头和传感器芯片的设备，包括：
[0007]在多个摄像头和传感器芯片进入指定的工作模式后，分别获取多个摄像头输出的每帧图像数据及所述传感器芯片输出的每帧传感器数据；
[0008]在获取每帧图像数据时，均生成表征当前帧图像数据的生成时间的图像时间戳，并在获取每帧传感器数据时，均生成表征当前帧传感器数据的生成时间的传感器时间戳；
[0009]将多个摄像头各自输出的当前帧图像数据进行合并，得到图像合并数据，之后将对应的图像时间戳、传感器时间戳及传感器数据嵌入到所述图像合并数据中，最终得到待运算数据。
[0010]优选地，将多个摄像头各自输出的当前帧图像数据进行合并，得到图像合并数据的过程，包括：
[0011]在获取任一摄像头输出的帧图像数据时，均将所述帧图像数据转换为图像并行数据，并将所述图像并行数据写入此摄像头对应的第一FIFO队列中；
[0012]待多个摄像头一一对应的第一FIFO队列均为非空队列时，轮询读取每个第一FIFO
队列中的一个像素数据，并写入总FIFO队列中；
[0013]从所述总FIFO队列中读取像素数据，待所述像素数据的读取量到达多个摄像头各自输出的当前帧图像数据合并后的数据量时，得到图像合并数据。
[0014]优选地，对于多个第一FIFO队列，读时钟频率＝图像数据的总路数
×
写时钟频率。
[0015]优选地，将对应的图像时间戳、传感器时间戳及传感器数据嵌入到所述图像合并数据中，最终得到待运算数据的过程，包括：
[0016]在获取每帧传感器数据时，将每帧传感器数据及其对应的传感器时间戳均写入第二FIFO队列中；
[0017]在得到所述图像合并数据时，从所述第二FIFO队列中读取与所述图像合并数据对应的传感器时间戳及传感器数据，并将对应的图像时间戳、传感器时间戳及传感器数据嵌入到所述图像合并数据中，得到待运算数据。
[0018]优选地，将对应的图像时间戳、传感器时间戳及传感器数据嵌入到所述图像合并数据中，得到待运算数据的过程，包括：
[0019]将所述图像合并数据对应的图像时间戳、传感器时间戳及传感器数据替换掉所述图像合并数据的边缘位置数据，得到待运算数据。
[0020]优选地，在多个摄像头和传感器芯片进入指定的工作模式后，分别获取多个摄像头输出的每帧图像数据及所述传感器芯片输出的每帧传感器数据的过程，包括：
[0021]预先根据多个摄像头输出数据的帧率和传感器芯片输出数据的帧率，确定每帧图像数据对应嵌入的传感器数据的总帧数值，并基于一帧图像数据正好能够携带与所述总帧数值相同的传感器数据的条件，确定一帧图像数据刚输出时对应的传感器数据的目标帧数值；
[0022]在多个摄像头和传感器芯片进入指定的工作模式后，获取所述传感器芯片输出的每帧传感器数据，并累计获取的传感器数据的帧数值；
[0023]当所述帧数值等于所述目标帧数值时，触发各摄像头输出一帧图像数据，并分别获取多个摄像头各自输出的单帧图像数据；
[0024]当所述帧数值等于所述总帧数值时，将累计的帧数值清零，以重新累计获取的传感器数据的帧数值；
[0025]相应的，将所述图像合并数据对应的图像时间戳、传感器时间戳及传感器数据替换掉所述图像合并数据的边缘位置数据，得到待运算数据的过程，包括：
[0026]当所述帧数值等于所述总帧数值时，将所述图像合并数据对应的图像时间戳、传感器时间戳及传感器数据替换掉所述图像合并数据的边缘位置数据，得到待运算数据。
[0027]优选地，所述多路数据组合方法还包括：
[0028]在得到待运算数据之后，将所述待运算数据转换为标准MIPI格式数据，供后续运算处理。
[0029]为解决上述技术问题，本专利技术还提供了一种多路数据组合系统，包括：
[0030]数据获取模块，用于在多个摄像头和传感器芯片进入指定的工作模式后，分别获取多个摄像头输出的每帧图像数据及所述传感器芯片输出的每帧传感器数据；
[0031]时间戳生成模块，用于在获取每帧图像数据时，均生成表征当前帧图像数据的生成时间的图像时间戳，并在获取每帧传感器数据时，均生成表征当前帧传感器数据的生成
时间的传感器时间戳；
[0032]数据组合模块，用于将多个摄像头各自输出的当前帧图像数据进行合并，得到图像合并数据，之后将对应的图像时间戳、传感器时间戳及传感器数据嵌入到所述图像合并数据中，最终得到待运算数据。
[0033]为解决上述技术问题，本专利技术还提供了一种智能可穿戴设备，包括多个摄像头和传感器芯片，还包括：
[0034]分别与所述多个摄像头和传感器芯片连接的处理器，用于在执行自身所存储的计算机程序时实现上述任一种多路数据组合方法的步骤。
[0035]优选地，所述处理器为FPGA芯片。
[0036]本专利技术提供了一种多路数据组合方法，在多个摄像头和传感器芯片进入指定的工作模式后，分别获取多个摄像头输出的每帧图像数据及传感器芯片输出的每帧传感器数据；在获取每帧图像数据时，均生成表征当前帧图像数据的生成时间的图像时间戳，并在获取每帧传感器数据时，均生成表征当前帧传感器数据的生成时间的传感器时间戳；将多个摄像头各自输出的当前帧图像数据进行合并，得到图像合并数据，之后将对应的图像时间戳本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多路数据组合方法，其特征在于，应用于包含多个摄像头和传感器芯片的设备，包括：在多个摄像头和传感器芯片进入指定的工作模式后，分别获取多个摄像头输出的每帧图像数据及所述传感器芯片输出的每帧传感器数据；在获取每帧图像数据时，均生成表征当前帧图像数据的生成时间的图像时间戳，并在获取每帧传感器数据时，均生成表征当前帧传感器数据的生成时间的传感器时间戳；将多个摄像头各自输出的当前帧图像数据进行合并，得到图像合并数据，之后将对应的图像时间戳、传感器时间戳及传感器数据嵌入到所述图像合并数据中，最终得到待运算数据。2.如权利要求1所述的多路数据组合方法，其特征在于，将多个摄像头各自输出的当前帧图像数据进行合并，得到图像合并数据的过程，包括：在获取任一摄像头输出的帧图像数据时，均将所述帧图像数据转换为图像并行数据，并将所述图像并行数据写入此摄像头对应的第一FIFO队列中；待多个摄像头一一对应的第一FIFO队列均为非空队列时，轮询读取每个第一FIFO队列中的一个像素数据，并写入总FIFO队列中；从所述总FIFO队列中读取像素数据，待所述像素数据的读取量到达多个摄像头各自输出的当前帧图像数据合并后的数据量时，得到图像合并数据。3.如权利要求2所述的多路数据组合方法，其特征在于，对于多个第一FIFO队列，读时钟频率＝图像数据的总路数
×
写时钟频率。4.如权利要求1所述的多路数据组合方法，其特征在于，将对应的图像时间戳、传感器时间戳及传感器数据嵌入到所述图像合并数据中，最终得到待运算数据的过程，包括：在获取每帧传感器数据时，将每帧传感器数据及其对应的传感器时间戳均写入第二FIFO队列中；在得到所述图像合并数据时，从所述第二FIFO队列中读取与所述图像合并数据对应的传感器时间戳及传感器数据，并将对应的图像时间戳、传感器时间戳及传感器数据嵌入到所述图像合并数据中，得到待运算数据。5.如权利要求4所述的多路数据组合方法，其特征在于，将对应的图像时间戳、传感器时间戳及传感器数据嵌入到所述图像合并数据中，得到待运算数据的过程，包括：将所述图像合并数据对应的图像时间戳、传感器时间戳及传感器数据替换掉所述图像合并数据的边缘位置数据，得到待运算数据。6.如权利要求5所述的多路数据组合方法，其特征在于，在多个摄像头和传...

【专利技术属性】
技术研发人员：韩向超，游立锦，张卓鹏，魏一振，
申请(专利权)人：杭州光粒科技有限公司，
类型：发明
国别省市：