一种基于轨迹预测与尺寸决策的实时视频识别的方法技术

本发明专利技术提供了一种基于轨迹预测与尺寸决策的实时视频识别的方法，该方法包括：利用视频识别算法识别视频拍摄工具抓取的物体特征，输出识别出的目标信息；检查识别出的目标信息是否符合预设的置信度要求；进行稳定性检查；然后预测目标物体运动的轨迹；当目标物体运动轨迹、缓存数量以及识别结果的置信度符合预设的业务触发条件，则综合当前识别结果与系统中缓存的结果，优选出最终的稳定识别结果作为输出。本发明专利技术在不改变视频识别核心算法的基础上，利用多次识别结果的优选方法提升了识别结果稳定性和准确性，提高了视频监控与出入口管理的高效性和准确性。

A Real-time Video Recognition Method Based on Trajectory Prediction and Size Decision

【技术实现步骤摘要】
一种基于轨迹预测与尺寸决策的实时视频识别的方法
本专利技术涉及实时视频识别系统输出结果的优化，尤其涉及一种基于轨迹预测与尺寸决策的实时视频识别的方法。
技术介绍
随着人工智能相关技术的迅猛发展，在传统视频监控行业中出现了越来越多的智能化的嵌入式视频前端。这些视频前端不仅负责视频数据采集，同时也开始充当起物体感知、智能识别的角色。在嵌入式的视频监控设备中，通常包含目标物体识别的算法模块、识别结果的缓存管理模块、识别结果的本地存储模块、支持识别结果提交的通讯模块。在这些模块中，目标物体识别的算法模块负责分析视频数据，实现对目标物体的跟踪和特征识别。识别结果的缓存管理模块负责缓存算法模块识别到的结果，并依据相关策略，将识别结果通过通讯模块传递给相关的管理系统或者上位机，或者通过本地存储模块保持到设备的本地存储设备中。作为监控设备中最关键的模块，目标物体识别的算法模块决定了设备的整体识别能力，是相关设备成功的关键。但是，无论算法理论如何发展以及算法模块如何优化与改进，都无法实现对目标物体的百分之百的精确识别。为了提高识别结果的精确度，在专利《CN201510779639-一种时空约束的监控视频行人重识别结果的二次优化方法》中，通过重识别计算多个相机之间所有路径组合的联合概率来提高识别的准确率。该方法需要能够同时操作N台设备视频信息与识别结果，不涉及单台设备关于识别结果的改进和提升。在专利《CN201510443499-一种车牌识别的方法和装置》中提出将算法模块识别出的车牌信息与设备中存储的白名单信息进行比较，通过预设的白名单来提高车牌识别的准确率。但是，在相当多的监控场景中不存在白名单信息，例如公路卡口的车牌识别、布防区域的入侵检测。在监控设备所覆盖的视频范围内，进入范围内的被监控物体往往会被监控设备识别多次。由于视频监控设备的存储资源限制和通讯资源的限制，设备不会将所有结果上报给上位机或者业务管理服务器，只能根据预设的参数选择性的上报识别结果。因此，如何利用前端设备的计算资源与识别结果，从所有捕获的结果中选举出精度更好的识别结果，对整个监控设备的成功具有非常重要的影响。通过前端设备对识别的优化处理，可以提高整个设备的识别准确度。
技术实现思路
本专利技术的目的在于提供一种基于轨迹预测与尺寸决策的实时视频识别的方法。针对现有视频监控的前端设备，在现有计算资源和识别结果的基础上，提出了一种识别结果的优选方法，即利用目标物体的移动轨迹，预测物体在视频画面中移动的方向，选择出最佳的识别位置和识别尺寸。在此基础上，综合已有识别结果，选择出最佳的识别结果。在实时视频监控的前端设备中，该方法解决了智能识别结果的优选问题，实现了最佳识别位置的预测与定位，能够提高设备的识别准确率，并能满足工程应用的实时性要求。为了达到上述目的，本专利技术的技术方案是：一种基于轨迹预测与尺寸决策的实时视频识别的方法，包括如下步骤：1)利用视频识别算法识别视频拍摄工具抓取的物体特征，输出识别出的目标信息，其中包括识别时间、目标特征信息以及目标在当前画面中的位置信息；2)检查步骤1)识别出的目标信息是否符合预设的置信度要求，不符合，则直接抛弃；否则依据时间先后顺序缓存所识别的目标信息，并将该信息标记为未提交状态；3)依据系统原始存在的识别结果与经过步骤2)得到的缓存中的处于未提交状态的识别结果进行稳定性检查；检查缓存数量是否达到预设的阈值要求，并且检查物体形态是否符合预设要求；当达到阈值要求，则触发识别结果的提交流程，向业务通报识别结果，并将对应信息标记为已提交状态；否则进入步骤4)；4)依据系统原始存在的识别结果以及经步骤3)处理后还存在缓存中的处于未提交状态的识别结果，获得目标对象的位置信息，并预测目标物体运动的轨迹；5)利用步骤4)预测的物体运动轨迹，当目标物体运动轨迹符合预设的业务触发条件，则触发识别结果的提交流程，向业务通报识别结果，并将对应信息标记为已提交状态；当目标相关特征信息不符合预设的业务触发条件，则进入步骤6)处理；6)周期性的检测缓存队列中没有提交的的识别条目，当某个识别条目不符合业务直接触发条件，但是其满足步骤2-5所预设的基本要求，并且缓存时间超过了预设的时间阈值，则触发识别结果的提交流程，向业务通报识别结果，并将对应信息标记为已提交状态。所述的步骤1)中的位置信息包括目标相对于屏幕左上角的坐标信息以及目标的尺寸信息。所述步骤2)中依据时间先后顺序缓存所识别的目标信息，并将该信息标记为未提交状态的具体步骤为：(1)对最新的目标识别信息，搜索缓存队列中是否存在符合阈值要求的识别条目；(2)当缓存队列中存在符合阈值要求的识别条目，则比较两者的识别时间；当时间差超过了预设的阈值范围，则缓存最新的目标识别信息，并标记为未识别；当时间差没有超过预设的阈值，则进入下一步；(3)检查缓存条目中的标记，当缓存条目处于提交状态，则将最新的结果直接抛弃；当缓存条目处于未提交状态，则将最新的识别信息也标记为未识别，并缓存最新的识别信息。所述步骤3)中检查缓存数量是为了通过多次识别提高识别结果的准确率，对于识别到的物体，其形态值按照如下等式进行计算：Dimension＝w1*W+w2H+w3*Area即目标的形态是目标的宽度W、高度H以及目标面积Area的加权和，w1、w2和w3分别为预设的权重值。所述步骤4)的具体步骤如下：a)对每个识别条目，搜集条目的位置信息；位置信息采用目标物体的中心坐标或者是目标物体的左上角或者右下角坐标；b)利用目标信息识别时的时间，对目标物体的位置信息做函数的最小二乘拟合；c)利用拟合的函数，预测目标物体后续的位置信息，形成运动轨迹。所述步骤5)中目标物体运动轨迹符合预设的业务触发条件，所述的业务触发条件是指目标物体后续可能会出现在指定的范围或者脱离视频范围之外；视频画面将被划分出若干个虚拟的布防区域，对每个布防区域设置一定的稳定性阈值，所述步骤6)中标记为已提交状态的操作包括缓存中所有和该条目一致的早期识别结果。所述的触发识别结果提交流程，向业务通报识别结果中的结果就为稳定识别结果，所述的触发操作是以综合当前系统原始存在的识别结果以及缓存中的识别结果，选出最优的识别结果为前提再进行提交，所提交的结果定义为稳定识别结果；稳定识别结果的决策步骤为：(a)选举出将提交的特征数量；检查每个条目中的特征数量，选择其中的众数作为将提交的特征数量值；当众数有多个，则以距离当前时间最近的众数作为将提交的特征值长度；(b)对特征数量进行循环，选举出每个位置的具体特征值；将统计每个条目中对应位置上具体的特征值，选择其中的众数作为将提交的特征值；当众数有多个，则以距离当前时间最近的众数作为将提交的特征值。本专利技术的有益效果为：本专利技术针对现有视频监控前端设备在识别结果的输出问题，提出了一种识别结果的优选方法。在预测最佳识别位置和尺寸的基础上，综合已有识别结果，决策出最优的稳定识别结果。本专利技术方法协助视频前端避免了监控画面中距离较远、物体尺寸较小的目标对象的识别，降低了识别算法模块的错误的可能性，提高了视频前端识别的准确率，并能满足视频前端设备的实时性要求。附图说明图1为本专利技术实施例在车牌识别摄像机上的应用示意图，图中白色的框表示候选的车牌位本文档来自技高网...

【技术保护点】
1.一种基于轨迹预测与尺寸决策的实时视频识别的方法，其特征在于：包括如下步骤：1)利用视频识别算法识别视频拍摄工具抓取的物体特征，输出识别出的目标信息，其中包括识别时间、目标特征信息以及目标在当前画面中的位置信息；2)检查步骤1)识别出的目标信息是否符合预设的置信度要求，不符合，则直接抛弃；否则依据时间先后顺序缓存所识别的目标信息，并将该信息标记为未提交状态；3)依据系统原始存在的识别结果与经过步骤2)得到的缓存中的处于未提交状态的识别结果进行稳定性检查；检查缓存数量是否达到预设的阈值要求，并且检查物体形态是否符合预设要求；当缓存数量达到阈值要求，则触发识别结果的提交流程，向业务通报识别结果，并将对应信息标记为已提交状态；否则进入步骤4)；4)依据系统原始存在的识别结果以及经步骤3)处理后还存在缓存中的处于未提交状态的识别结果，获得目标对象的位置信息，并预测目标物体运动的轨迹；5)利用步骤4)预测的物体运动轨迹，当目标物体运动轨迹符合预设的业务触发条件，则触发识别结果的提交流程，向业务通报识别结果，并将对应信息标记为已提交状态；当目标相关特征信息不符合预设的业务触发条件，则进入步骤6)处理；6)周期性的检测缓存队列中没有提交的的识别条目，当某个识别条目不符合业务直接触发条件，但是其满足步骤2‑5所预设的基本要求，并且缓存时间超过了预设的时间阈值，则触发识别结果的提交流程，向业务通报识别结果，并将对应信息标记为已提交状态。...

【技术特征摘要】
1.一种基于轨迹预测与尺寸决策的实时视频识别的方法，其特征在于：包括如下步骤：1)利用视频识别算法识别视频拍摄工具抓取的物体特征，输出识别出的目标信息，其中包括识别时间、目标特征信息以及目标在当前画面中的位置信息；2)检查步骤1)识别出的目标信息是否符合预设的置信度要求，不符合，则直接抛弃；否则依据时间先后顺序缓存所识别的目标信息，并将该信息标记为未提交状态；3)依据系统原始存在的识别结果与经过步骤2)得到的缓存中的处于未提交状态的识别结果进行稳定性检查；检查缓存数量是否达到预设的阈值要求，并且检查物体形态是否符合预设要求；当缓存数量达到阈值要求，则触发识别结果的提交流程，向业务通报识别结果，并将对应信息标记为已提交状态；否则进入步骤4)；4)依据系统原始存在的识别结果以及经步骤3)处理后还存在缓存中的处于未提交状态的识别结果，获得目标对象的位置信息，并预测目标物体运动的轨迹；5)利用步骤4)预测的物体运动轨迹，当目标物体运动轨迹符合预设的业务触发条件，则触发识别结果的提交流程，向业务通报识别结果，并将对应信息标记为已提交状态；当目标相关特征信息不符合预设的业务触发条件，则进入步骤6)处理；6)周期性的检测缓存队列中没有提交的的识别条目，当某个识别条目不符合业务直接触发条件，但是其满足步骤2-5所预设的基本要求，并且缓存时间超过了预设的时间阈值，则触发识别结果的提交流程，向业务通报识别结果，并将对应信息标记为已提交状态。2.根据权利要求1所述的一种基于轨迹预测与尺寸决策的实时视频识别的方法，其特征在于：所述的步骤1)中的位置信息包括目标相对于屏幕左上角的坐标信息以及目标的尺寸信息。3.根据权利要求1所述的一种基于轨迹预测与目标尺寸决策的实时视频识别的输出方法，其特征在于：所述步骤2)中、依据时间先后顺序缓存所识别的目标信息，并将该信息标记为未提交状态的具体步骤为：(1)对最新的目标识别信息，搜索缓存队列中是否存在符合阈值要求的识别条目；(2)当缓存队列中存在符合阈值要求的识别条目，则比较两者的识别时间；当时间差超过了预设的阈值范围，则缓存最新的目标识别信息，并标记为未识别；当时间差没有超过预设的阈值，则进入下一步；(3)检查缓存条目中的标记，当缓存条目处于提交状态，则将最新的结果直接抛...

【专利技术属性】
技术研发人员：王忠，
申请(专利权)人：浙江传媒学院，
类型：发明
国别省市：浙江,33