视频模式中的异步对象ROI检测方法及系统技术方案

一种视频模式中的异步对象ROI检测方法及系统，包括：接收若干帧的帧图像数据；接收若干控制规则组，其中每条控制规则对应一帧图像数据且该规则定义若干处理区域中的一个以及若干对象探测器中的一个；通过位置和类别识别每帧中的感兴趣区域，即采用控制规则定义的对象探测器应用于控制规则定义的处理区域的图像数据中；根据识别到的感兴趣区域确定最终感兴趣区域并输出。

ROI Detection Method and System for Asynchronous Objects in Video Mode

【技术实现步骤摘要】
视频模式中的异步对象ROI检测方法及系统本申请请求：2017年11月6日提交的名称为“AsynchronousObjectROIDetectioninVideoMode(视频模式中的异步对象ROI检测)”的美国临时专利申请申请号US62/582,310之优先权。
本专利技术涉及的是一种图像处理领域的技术，具体是一种基于人工智能的图像数据处理方法和用于执行该处理的图像数据传感系统。
技术介绍
感兴趣区域(ROI)是为特定目的而识别的图像像素的子集。这个概念通常用于图像和视觉相关的应用中。通常，从单个场景需要几个对象，以及它们在图像中的位置。例如，在监视系统中，系统通常集中在几个特定的主题，例如车辆牌照、脸部等。现有多种用于ROI提取的机器学习方法，包括支持向量机(SVM)、Adaboost和卷积神经网络(CNN)。但暂时没有一种通用方法可以检测具有相同参数的所有类型的对象。现有一种通用直接的“同时推测”的ROI提取技术，通过在同一帧内应用不同的目标探测器(使用不同的方法或具有不同参数的相同方法)，一次从一个帧中探测所有需要的ROI，但该技术需要长处理时间、大功率控制和高输出传输带宽。
技术实现思路
本专利技术针对现有技术存在的上述不足，提出一种视频模式中的异步对象ROI检测方法及系统。本专利技术是通过以下技术方案实现的：本专利技术涉及一种图像数据处理方法，包括：接收若干帧的帧图像数据；接收若干控制规则组，其中每条控制规则对应一帧图像数据且该规则定义若干处理区域中的一个以及若干对象探测器中的一个；通过位置和类别识别每帧中的感兴趣区域，即采用控制规则定义的对象探测器应用于控制规则定义的处理区域的图像数据中；根据识别到的感兴趣区域确定最终感兴趣区域并输出。本方法在具体实现时进一步优选包括至少一个以下特征：所述的确定最终感兴趣区域包括：根据识别到的感兴趣区域的位置确定最终感兴趣区域的最终位置。所述的识别每帧中的感兴趣区域包括：通过识别类别置信度值实现，该类别置信度值表示已识别类别的置信度。所述的确定最终感兴趣区域进一步包括：从感兴趣区域的类别组中确定一组最终感兴趣区域的类别。所述的确定一组最终感兴趣区域的类别优选为：根据类别置信度值从类别组中选择一个类别。所述的从类别组中选择一个类别优选为：选择类别组中具有最高类别置信度值的类别。本专利技术涉及一种图像数据传感系统，包括：图像采集单元；用于从图像采集单元接收帧图像数据的帧输入单元；用于接收若干控制规则组的规则输入单元，该控制规则组包括每帧对应的控制规则，其中每个规则定义若干处理区域中的一个以及若干对象探测器中的一个；用于通过位置和类别来识别每帧中的感兴趣区域的处理单元，该处理单元具体将控制规则定义的对象探测器应用于控制规则定义的处理区域的图像数据中；用于从识别到的感兴趣区域中确定最终感兴趣区域的投票单元；以及用于输出最终感兴趣区域的报告单元。所述的图像数据传感系统优选进一步包括：所述的投票单元进一步根据所述的感兴趣区域的位置确定最终感兴趣区域的最终位置。所述的处理单元进一步实现识别类别置信度值，该类别置信度值表示所有已识别类别的置信度。所述的投票单元进一步从感兴趣区域的类别组中确定最终感兴趣区域的类别。为了确定最终感兴趣区域的类别，所述的投票单元进一步根据类别置信度值从类别组中选择一个类别。为了从类别组中选择一个类别，所述的投票单元进一步从类别组中选择具有最高类别置信度值一个类别。本专利技术涉及一种基于硬件处理器可执行的指令进行编码的非暂时性机器可读存储介质，包括：供硬件处理器执行图像数据处理的指令，该图像数据处理包括：从图像采集单元获得帧图像数据；接收控制规则组，其中每条控制规则对应一帧图像数据且该规则定义一个处理区域及一个对象探测器；通过位置和类别识别每帧中的感兴趣区域，即采用控制规则定义的对象探测器应用于控制规则定义的处理区域的图像数据中；根据识别到的感兴趣区域确定最终感兴趣区域并输出。所述的介质优选进一步包括：所述的确定最终感兴趣区域包括：根据识别到的感兴趣区域的位置确定最终感兴趣区域的最终位置。所述的识别每帧中的感兴趣区域包括：通过识别类别置信度值实现，该类别置信度值表示已识别类别的置信度。所述的确定最终感兴趣区域进一步包括：从感兴趣区域的类别组中确定一组最终感兴趣区域的类别。所述的确定一组最终感兴趣区域的类别优选为：根据类别置信度值从类别组中选择一个类别。所述的从类别组中选择一个类别优选为：选择类别组中具有最高类别置信度值的类别。附图说明图1为实施例中的用于传送由基于人工智能(AI)的图像传感器捕获的视频帧图像数据的系统示意图；图2为用于从单个图像进行ROI检测的常规过程示意图；图3为实施例中的用于从帧序列中检测异步对象ROI的基于AI的图像数据传感系统中的数据流示意图；图4为实施例中的用于从帧序列进行异步ROI检测的数据处理流程示意图；图5为ROI检测中同步探测的示例输出示意图；图6为实施例中的对象ROIS检测中异步推测的示例图；图7为实施例中的图像数据处理方法的流程图；图8为实施例中的用于实现基于AI的图像数据传感系统的至少一个功能的计算机系统的框图。具体实施方式本实施例涉及探测视频帧中的对象的感兴趣区域(ROI)。特别地，当要在视频中确定多个对象的ROI时，本专利技术从若干帧中探测得多个局部ROI，而不是从每帧中同时探测所有结果，从而具备包括减少处理时间、功耗和传输带宽等优点。本专利技术采用异步推测技术，从视频中的每帧探测得到多个局部ROI，并在不同的对象探测器之间进行切换控制。每个局部ROI取自一个预定义类型的对象类别、一个预定义的处理区域或其组合。该技术利用了所需对象在视频中的连续多帧之间不会发生很大变化的事实。在N个不同的类别且图像被划分为M个处理区域的场合下，本专利技术的总成本(包括计算时间、功耗或ROI传输带宽)则大约是现有同步探测技术成本的1/(N*M)。以下实施例中，通过人工智能(AI)图像识别技术确定至少一个ROI的方法称为“视频模式下的异步对象ROI推测技术”。根据该技术可以在保留图像数据的关键内容的特异性的前提下，通过更窄的带宽数据通信链路传输帧图像数据。在一些实现场合下，用于执行基于AI的图像数据传感系统可安装在交通信号附近的柱子上，用于道路的人行横道等。从数据传感系统获得的图像数据可输出至本地系统或输出至云系统以进行进一步的图像处理。按此方式下，图像数据的关键内容可包括有价值的信息，如：人、车辆的身份等。如图1所示，为根据各种实施例所述的用于传送由基于人工智能(AI)的图像传感器捕获的视频帧图像数据的示例性系统100。图中，系统100包括基于人工智能(AI)的图像数据传感系统102、本地系统104和云系统106。基于AI的图像数据传感系统102用于从现实世界获得原始视频帧图像数据并执行基于AI的图像数据处理。具体地：基于AI的图像数据传感系统102用于从图像传感器阵列获得原始视频帧图像数据、对所获得的原始视频帧图像数据进行预处理，以提取关键信息。通过预处理，图像数据传感系统102可以将原始视频帧数据的带宽减小到可通过第一数据链路108传输的较低带宽数据流。在提取关键信息时，基于AI的图像数据传感系统102用于确定原始视频帧数据的哪一部分可能包含关本文档来自技高网...

【技术保护点】
1.一种图像数据处理方法，其特征在于，包括：接收若干帧的帧图像数据；接收若干控制规则组，其中每条控制规则对应一帧图像数据且该规则定义若干处理区域中的一个以及若干对象探测器中的一个；通过位置和类别识别每帧中的感兴趣区域，即采用控制规则定义的对象探测器应用于控制规则定义的处理区域的图像数据中；根据识别到的感兴趣区域确定最终感兴趣区域并输出。

【技术特征摘要】
2017.11.06 US US62/582,3101.一种图像数据处理方法，其特征在于，包括：接收若干帧的帧图像数据；接收若干控制规则组，其中每条控制规则对应一帧图像数据且该规则定义若干处理区域中的一个以及若干对象探测器中的一个；通过位置和类别识别每帧中的感兴趣区域，即采用控制规则定义的对象探测器应用于控制规则定义的处理区域的图像数据中；根据识别到的感兴趣区域确定最终感兴趣区域并输出。2.根据权利要求1的图像数据处理方法，其特征是，所述的确定最终感兴趣区域包括：根据识别到的感兴趣区域的位置确定最终感兴趣区域的最终位置。3.根据权利要求1的图像数据处理方法，其特征是，所述的识别每帧中的感兴趣区域包括：通过识别类别置信度值实现，该类别置信度值表示已识别类别的置信度。4.根据权利要求1的图像数据处理方法，其特征是，所述的确定最终感兴趣区域进一步包括：从感兴趣区域的类别组中确定一组最终感兴趣区域的类别。5.根据权利要求4的图像数据处理方法，其特征是，所述的确定一组最终感兴趣区域的类别为：根据类别置信度值从类别组中选择一个类别。6.根据权利要求5的图像数据处理方法，其特征是，所述的从类别组中选择一个类别为：选择类别组中具有最高类别置信度值的类别。7.一种图像数据传感系统，其特征在于，包括：用于从图像传感器接收若干帧的帧图像数据的帧输入单元；用于接收若干控制规则组规则输入单元，其中每条控制规则对应一帧图像数据且该规则定义若干处理区域中的一个以及若干对象探测器中的一个；用于通过位置和类别来识别每帧中的感兴趣区域的处理单元，该处理单元进一步将由相应控制规则定义的对象探测器应用于由相应控制规则定义的处理区域中的相应帧图像数据；用于根据已识别的感兴趣区域确定最终感兴趣区域的投票单元；用于输出所述的最终感兴趣区域的报告单元。8.根据权利要求7所述的图像数据传感系统，其特征是，所述的投票单元进一步根据所述的感兴趣区域的位置确定最终感兴趣区域的最终位置。9...

【专利技术属性】
技术研发人员：熊伟华，张光斌，
申请(专利权)人：凝眸智能科技集团公司，
类型：发明
国别省市：美国,US