一种基于目标识别的视频融合方法及装置制造方法及图纸

本发明专利技术公开了一种基于目标识别的视频融合方法及装置，包括以下步骤：S1、获取X光机扫描包裹发送的X光机视频流；S2、基于所述X光机视频流，进行新包裹判定，若所述X光机视频流包含新包裹图片，则执行步骤S3；若所述X光机视频流不包含新包裹图片，则执行步骤S5；S3、基于所述新包裹图片对应的视频帧图片，获取新包裹的位置信息A以及新包裹的移动速度C，以及新包裹图片；S4、将所述新包裹图片进行检测处理，获得新包裹图片中对应于目标的位置信息B；S5、对所述目标的跟踪。本发明专利技术通过识别与判定处理进行新包裹检测，可以很好的完成对于X光视频图像中目标的实时性跟踪，特别地，可具有较高的目标跟踪准确率。标跟踪准确率。标跟踪准确率。

【技术实现步骤摘要】
一种基于目标识别的视频融合方法及装置


[0001]本专利技术涉及智慧安检
，具体涉及一种基于目标识别的视频融合方法及装置。

技术介绍

[0002]在现有安检点的设备中，其中，X光机用来安检包裹，乘客在进站的时候会把包裹放在上面接受X光机的检查，X光机在此过程中输出X光成像视频；智能识图盒子负责对X光成像视频中的违禁品进行识别，获取到违禁品信息。随后，智能识图盒子把处理后的包裹信息发给开包台、本地终端等设备；智能识图盒子配置终端是可插拔的一个客户端，负责对智能识图盒子进行配置。
[0003]在这个过程中，X光机输出的X光成像视频是原始视频，视频里面展示的X光成像会从左到右或者从右到左移动，和X光机里面的传送带方向保持一致。
[0004]X光机将原始视频信号输出给智能识图盒子，智能识图盒子对视频中的违禁品进行识别，但是AI中的目标识别通常是对图片进行识别，识别图片上面的物目标(在地铁安检场景下为识别违禁品)，视频需要被处理成图片后才能进行违禁品的识别，识别出来的结果是一个结构化的数据，比如A图片中，在像素(0,0,100,100)的位置有菜刀违禁品，然而在A图的本地识图模块和开包台模块，被识别出来的违禁品结构化数据需要标记在原始视频上，将标注框配置在违禁品区域，并用文字在视频上进行说明，同时，标注框和文字还需要跟随着包裹中违禁品的移动而移动。然而，部署在安检点上的智能识图盒子计算能力比较弱，没有办法对视频的每一帧画面都进行违禁品识别处理，所以在这里，就需要一个视频融合方案，一次性识别，并让识别出来的方框和文字画面跟随原始视频进行移动，从而实现视频融合。

技术实现思路

[0005]本专利技术的目的在于提供一种基于目标识别的视频融合方法及装置，采取识别与去重处理进行新包裹判定，对含有新包裹的视频帧图片进行切图处理，获得新包裹图片并用来检测，将检测获得的标注框提取出位置信息B，并根据新包裹的位置信息A、新包裹移动的速度C预测下一视频帧图片中新包裹中目标可能出现的区域，将所述标注框提取出位置信息B配置在该区域，用以解决现有的安检识图对计算资源需要高的问题。
[0006]一种基于目标识别的视频融合方法，具体包括以下步骤：
[0007]S1、获取X光机扫描包裹发送的X光机视频流；
[0008]S2、基于所述X光机视频流，进行新包裹判定，若所述X光机视频流包含新包裹，则执行步骤S3；若所述X光机视频流不包含新包裹，则执行步骤S5；
[0009]S3、基于所述新包裹对应的视频帧图片，获取新包裹的位置信息A以及新包裹的移动速度C，以及新包裹图片；
[0010]S4、将所述新包裹图片进行检测处理，获得新包裹图片中对应于目标的位置信息
B；
[0011]S5、基于当前新包裹的位置信息A、当前新包裹移动的速度C以及当前新包裹图片中对应于目标的位置信息B获得所述目标在下一帧视频帧图片中的预测区域，基于所述预测区域进行配置，以实现对所述目标的跟踪。
[0012]进一步地，所述新包裹图片具体由以下步骤得到：
[0013]从所述X光机视频流中选取待识别的视频帧图片；
[0014]以所述待识别的视频帧图片为基准图片，遍历所述X光机视频流中所述基准图片之后的每一帧视频帧图片，将所述基准图片与当前遍历的视频帧图片进行识别与判定处理；
[0015]以及在判定为新包裹时从当前遍历的视频帧图片中提取新包裹的位置信息A；
[0016]基于新包裹的位置信息A对所述当前遍历的视频帧图片进行切图处理，获得新包裹图片。
[0017]进一步地，所述识别与判定处理具体包括以下步骤：
[0018]对所述基准图片进行包裹识别，获得所述基准图片中对应于各个包裹的区域信息；
[0019]基于所述各个包裹的区域信息，选取与起始侧之间距离最小的区域信息为基准区域信息，所述起始侧为包裹像素在视频帧图片中最先出现的一侧；
[0020]基于所述基准区域信息，获得去重区间；
[0021]对所述当前遍历的视频帧图片进行包裹识别，获得所述当前遍历的视频帧图片中对应于各个包裹的区域信息；
[0022]基于所述当前遍历的视频帧图片中对应于各个包裹的区域信息，判定去重区间以内的是否存在区域信息，若存在则将当前遍历的视频帧图片判定为包含新包裹图片，并将所述去重区间以内区域信息确定为新包裹的位置信息A。
[0023]进一步地，所述区域信息包各个包裹在视频帧图片中外边框的坐标信息，所述基准区域信息为Y轴坐标ry。
[0024]进一步地，所述去重区间通过以下步骤获得：
[0025]计算新包裹的移动速度C；
[0026]将所述Y轴坐标的最大值yk减去包裹移动的像素C*n,即ry＝yk
‑
C*n；
[0027]将Y轴坐标(ry+α，w
‑
β)之间的区间作为去重区间，所述α、β为补偿量。
[0028]进一步地，所述新包裹的移动速度C具体通过以下步骤获得：
[0029]以新包裹的图片对应的视频帧图片为第0帧图片，前i帧图片为第i帧图片(i∈[1,N])，计算第j(j＝1，2，
…
，N)帧图片与第j
‑
1帧图片内包裹的水平位移dxj；
[0030]根据所述水平位移dxj获得水平位移的平均值
[0031]基于所述水平位移的平均值与帧间时间ΔT，计算所述新包裹的移动速度
[0032]进一步地，所述步骤S3具体包括以下步骤：
[0033]将所述新包裹图片输入到目标识别模型中，以通过所述目标识别模型对从所述新
包裹图片中识别出的目标进行标注；
[0034]获取所述目标识别模型输出的标注结果，其中，所述标注结果中标注框的坐标信息，将所述标注框的坐标信息确定为新包裹图片中对应于目标的位置信息B。
[0035]进一步地，一种基于目标识别的视频融合装置，包括：
[0036]一个辅助机处理器与智能识图盒子处理器；
[0037]存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据所述的一种基于目标识别的视频融合方法，所述一个或多个程序包括：
[0038]由辅助机处理器执行的：获取X光机扫描包裹发送的X光机视频流；
[0039]由辅助机处理器执行的：基于所述X光机视频流，进行新包裹判定，若所述X光机视频流包含新包裹，则执行步骤S3；若所述X光机视频流不包含新包裹，则执行步骤S5；
[0040]由辅助机处理器执行的：步骤S3，基于所述新包裹图片对应的视频帧图片，获取新包裹的位置信息A以及新包裹的移动速度C，以及新包裹图片；
[0041]由智能识图盒子处理器执行的：将所述新包裹图片进行检测处理，获得新包裹图片中对应于目标的位置信息B；
[0042]由辅助机处理器执行的：步骤S5，基于当前新包裹的位置信息A、当前本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标识别的视频融合方法，其特征在于，具体包括以下步骤：S1、获取X光机扫描包裹发送的X光机视频流；S2、基于所述X光机视频流，进行新包裹判定，若所述X光机视频流包含新包裹，则执行步骤S3；若所述X光机视频流不包含新包裹，则执行步骤S5；S3、基于所述新包裹对应的视频帧图片，获取新包裹的位置信息A以及新包裹的移动速度C，以及新包裹图片；S4、将所述新包裹图片进行检测处理，获得新包裹图片中对应于目标的位置信息B；S5、基于当前新包裹的位置信息A、当前新包裹移动的速度C以及当前新包裹图片中对应于目标的位置信息B获得所述目标在下一帧视频帧图片中的预测区域，基于所述预测区域进行配置，以实现对所述目标的跟踪。2.根据权利要求1所述的一种基于目标识别的视频融合方法，其特征在于，所述新包裹图片具体由以下步骤得到：从所述X光机视频流中选取待识别的视频帧图片；以所述待识别的视频帧图片为基准图片，遍历所述X光机视频流中所述基准图片之后的每一帧视频帧图片，将所述基准图片与当前遍历的视频帧图片进行识别与判定处理；以及在判定为新包裹时从当前遍历的视频帧图片中提取新包裹的位置信息A；基于新包裹的位置信息A对所述当前遍历的视频帧图片进行切图处理，获得新包裹图片。3.根据权利要求2所述的一种基于目标识别的视频融合方法，其特征在于，所述识别与判定处理具体包括以下步骤：对所述基准图片进行包裹识别，获得所述基准图片中对应于各个包裹的区域信息；基于所述各个包裹的区域信息，选取与起始侧之间距离最小的区域信息为基准区域信息，所述起始侧为包裹像素在视频帧图片中最先出现的一侧；基于所述基准区域信息，获得去重区间；对所述当前遍历的视频帧图片进行包裹识别，获得所述当前遍历的视频帧图片中对应于各个包裹的区域信息；基于所述当前遍历的视频帧图片中对应于各个包裹的区域信息，判定去重区间以内的是否存在区域信息，若存在则将当前遍历的视频帧图片判定为包含新包裹图片，并将所述去重区间以内区域信息确定为新包裹的位置信息A。4.根据权利要求3所述的一种基于目标识别的视频融合方法，其特征在于，所述区域信息包各个包裹在视频帧图片中外边框的坐标信息，所述基准区域信息为Y轴坐标ry。5.根据权利要求4所述的一种基于目标识别的视频融合方法，其特征在于，所述去重区间通过以下步骤获得：计算新包裹的移动速度C；将所述Y轴坐标的最大值yk减去包裹移动的像素C*n,即ry＝yk
‑
C*n；将Y轴坐标(ry+α，w
‑
β)之间的区间作为去重区间，所述α、β为补偿量。6.根据权利要求5所述的一种基于目标识别的视频融合方法，其特征在于，所述新包裹的移动速度C具体通过以下步骤获得：以新包裹的图片对应的视频帧图片为第0帧图片，前i帧图片为第i帧图片(i∈[1,N])，
计算第j(j＝1，2，
…
，...

【专利技术属性】
技术研发人员：邓波，邓秋雄，拜正斌，姜旭，胡靖，连天友，杨征宇，
申请(专利权)人：成都智元汇信息技术股份有限公司，
类型：发明
国别省市：