行为识别方法、系统及装置制造方法及图纸

本发明专利技术涉及图像处理技术领域，具体提供一种行为识别方法、系统及装置，旨在解决现有视频感知判断人体行为中由于模块消耗较大的硬件资源问题。为此，本发明专利技术的方法包括下列步骤：获取多帧输入图像中人体的参数信息，所述参数信息包括外部输入的配置参数以及抓拍设备获取的参数；根据所述参数信息，预判多帧输入图像中每一帧的人体行为；根据预判结果，判断多帧输入图像中同一人体的连续行为，以确定同一人体实际执行的动作。在采用上述方法的情况下，本发明专利技术快速精准地判断人体的行为姿态，更加节约硬件资源。

【技术实现步骤摘要】
行为识别方法、系统及装置
本专利技术涉及图像处理
，尤其涉及一种行为识别方法、系统及装置。
技术介绍
随着人工智能技术的发展和高清摄像头的普及，公共安全领域对视频结构化的需求的呼声越来越高。视频结构化是一种视频内容信息提取的技术，它对视频内容按照语义关系，采用时空分割、特征提取、对象识别等处理手段，组织成可供计算机和人理解的文本信息的技术。公共安全领域关注的视频信息有：人员、车辆、行为。具体来说，在视频中把人作为一个可描述的个体展现出来，其中包括人员的面部精确定位、面部特征提取、面部特征比对，人员的性别、年龄范围、大致身高、发饰、衣着、物品携带、步履形态等多种可结构化描述信息；对于行为的描述信息包括：诸如，站、坐、躺、举手、跌倒等。目前，利用人工智能技术的感知能力判断视频中的人体行为已经成为一种趋势。通过感知视频内容信息，利用一定时间长度的滑动窗提取视频的表达特征，对这些表达特征进行打分，判别可能存在行为。人体行为往往是连续的过程，模型需要分析一定时序内的时间段的图像特征，这导致利用神经网络模型判别人体行为的方式对硬件资源，如GPU，有一定要求。在多模块协同工作的视频结构化下，这样的模块往往消耗GPU资源较大，一定程度上影响了整个项目的成本。因此，需要提出改进的行为识别的方案，可以节约资源，并快速精准地判断人体的行为姿态。
技术实现思路
为了克服上述缺陷，提出了本专利技术，以解决或至少部分地解决在视频感知判断人体行为中由于模块消耗较大的硬件资源，进而减少项目成本快速精准地判断人体行为姿态的技术问题。本专利技术为解决上述技术问题提供了一种行为识别方法、系统及装置。第一方面，提供一种行为识别方法，包括：获取多帧输入图像中人体的参数信息，所述参数信息包括外部输入的配置参数以及抓拍设备获取的参数；根据所述参数信息，预判多帧输入图像中每一帧的人体行为；根据预判结果，判断多帧输入图像中同一人体的连续行为，以确定同一人体实际执行的动作。其中，所述外部输入的配置参数至少包括：预设人体行为对应的动作类型序号、预设人体行为对应的动作类型的置信度阈值和动态窗口长度N；其中，所述抓拍设备获取的参数至少包括：人体关键点、人体质量分和跟踪ID。其中，根据所述参数信息，预判多帧输入图像中每一帧的人体行为，具体包括：根据所述配置参数中的跟踪ID区分不同的人体，其中，每个人体对应一个跟踪ID；根据具有所述跟踪ID的人体在所述配置参数中对应的人体质量分与人体关键点，预判所述人体行为。其中，根据具有所述跟踪ID的人体在所述配置参数中对应的人体质量分与人体关键点，预判所述人体行为，具体包括：判断所述人体质量分是否低于质量分阈值；如果为否，则根据所述人体质量分确定人体是否存在严重截断；如果为否，则根据所述人体关键点所组成的人体结构，预判所述人体行为所属的动作类型；所述预判结果包括：所述人体质量分低于所述质量分阈值，或者所述人体存在严重截断，或者预判的所述人体行为所属的动作类型；其中，严重截断是指所述人体有超过一半不存在。其中，根据预判结果，判断多帧输入图像中同一人体的连续行为，以确定同一人体实际执行的动作，具体包括：如果配置参数中对应所述人体的跟踪ID大于ID阈值，则根据所述配置参数中的动态窗口长度N滑动N帧；依次输出N帧的人体图像中同一人体行为的预判结果；将同一人体的N帧中每一帧对应的所述人体行为所属的动作类型的状态记录到对应的动作类型序号的状态序列中；以及，根据每个所述状态序列中记录的动作类型的状态计算置信度；如果所述置信度大于或等于所述配置参数中对应的动作类型的置信度阈值，则确定所述状态序列相应的动作类型是多帧中同一人体实际执行的动作。其中，如果所述人体质量分小于或等于质量分阈值，则预判结果为第一类无法判断状态；如果所述人体质量分大于质量分阈值但存在严重截断，则预判结果为第二类无法判断状态。其中，根据每个所述状态序列中记录的动作类型的状态计算置信度，具体包括：计算所述状态序列中状态为执行的个数与所述状态序列的总个数的比值，为所述置信度。其中，如果配置参数中的对应所述人体的跟踪ID小于ID阈值，则将预判结果作为最终判断结果；如果配置参数中的对应所述人体的跟踪ID大于ID阈值但M帧以上所述人体行为的预判结果都为第一类无法判断状态或第二类无法判断状态，则确定确实无法对所述人体进行判断而输出最终判断结果为第一类无法判断状态；如果配置参数中的对应所述人体的跟踪ID大于ID阈值但仅出现M帧及以内所述人体的行为的预判的结果为第一类无法判断状态或第二类无法判断状态，则将进行判断的当前帧的前一帧所述人体行为的预判结果作为最终判断结果。第二方面，提供一种动作类型判断方法：所述动作类型包括基本姿态和特殊动作；所述特殊动作具有对应所述特殊动作的动作类型序号的状态序列，以及所述基本姿态动作具有对应所述基本姿态的动作类型序号的状态序列；所述方法包括：根据前述的方法，判断多帧输入图像中的连续行为是否为同一人体实际执行的动作；根据时间顺序对N帧的前序帧中同一所述人体行为对应的一个或多个基本姿态的状态序列进行逻辑分析，以确定N帧中同一所述人体行为是否为与所述一个或多个基本姿态相关联的所述特殊动作；以及在对应所述特殊动作的状态序列中记录所述特殊动作的状态。第三方面，提供一种行为识别系统，包括：参数信息获取模块，其用于获取多帧输入图像中人体的参数信息，所述参数信息包括外部输入的配置参数以及抓拍设备获取的参数；静态行为判断模块，其用于根据所述参数信息，预判多帧输入图像中每一帧的人体行为；动态行为判断模块，其用于根据预判结果，判断多帧输入图像中同一人体的连续行为，以确定同一人体实际执行的动作。其中，参数信息获取模块执行的具体操作包括：获取所述外部输入的配置参数至少包括：预设人体行为对应的动作类型序号、预设人体行为对应的动作类型的置信度阈值和动态窗口长度N；获取所述抓拍设备获取的参数至少包括：人体关键点、人体质量分和跟踪ID。其中，静态行为判断模块执行的具体操作包括：根据所述配置参数中的跟踪ID区分不同的人体，其中，每个人体对应一个跟踪ID；根据具有所述跟踪ID的人体在所述配置参数中对应的人体质量分与人体关键点，预判所述人体行为。其中，根据具有所述跟踪ID的人体在所述配置参数中对应的人体质量分与人体关键点，预判所述人体行为，具体包括：判断所述人体质量分是否低于质量分阈值；如果为否，则根据所述人体质量分确定人体是否存在严重截断；如果为否，则根据所述人体关键点所组成的人体结构，预判所述人体行为所属的动作类型；所述预判结果包括：所述人体质量分低于所述质量分阈值，或者所述人体存在严重截断，或者预判的所述人体行为所本文档来自技高网...

【技术保护点】
1.一种行为识别方法，其特征在于，包括：/n获取多帧输入图像中人体的参数信息，所述参数信息包括外部输入的配置参数以及抓拍设备获取的参数；/n根据所述参数信息，预判多帧输入图像中每一帧的人体行为；/n根据预判结果，判断多帧输入图像中同一人体的连续行为，以确定同一人体实际执行的动作。/n

【技术特征摘要】
1.一种行为识别方法，其特征在于，包括：
获取多帧输入图像中人体的参数信息，所述参数信息包括外部输入的配置参数以及抓拍设备获取的参数；
根据所述参数信息，预判多帧输入图像中每一帧的人体行为；
根据预判结果，判断多帧输入图像中同一人体的连续行为，以确定同一人体实际执行的动作。


2.根据权利要求1所述的方法，其特征在于，
其中，所述外部输入的配置参数至少包括：预设人体行为对应的动作类型序号、预设人体行为对应的动作类型的置信度阈值和动态窗口长度N；
其中，所述抓拍设备获取的参数至少包括：人体关键点、人体质量分和跟踪ID。


3.根据权利要求2所述的方法，其特征在于，根据所述参数信息，预判多帧输入图像中每一帧的人体行为，具体包括：
根据所述配置参数中的跟踪ID区分不同的人体，其中，每个人体对应一个跟踪ID；
根据具有所述跟踪ID的人体在所述配置参数中对应的人体质量分与人体关键点，预判所述人体行为。


4.如权利要求3所述的方法，其特征在于，
根据具有所述跟踪ID的人体在所述配置参数中对应的人体质量分与人体关键点，预判所述人体行为，具体包括：
判断所述人体质量分是否低于质量分阈值；
如果为否，则根据所述人体质量分确定人体是否存在严重截断；
如果为否，则根据所述人体关键点所组成的人体结构，预判所述人体行为所属的动作类型；
所述预判结果包括：所述人体质量分低于所述质量分阈值，或者所述人体存在严重截断，或者预判的所述人体行为所属的动作类型；
其中，严重截断是指所述人体有超过一半不存在。


5.如权利要求4所述的方法，其特征在于，根据预判结果，判断多帧输入图像中同一人体的连续行为，以确定同一人体实际执行的动作，具体包括：
如果配置参数中对应所述人体的跟踪ID大于ID阈值，则根据所述配置参数中的动态窗口长度N滑动N帧；
依次输出N帧的人体图像中同一人体行为的预判结果；
将同一人体的N帧中每一帧对应的所述人体行为所属的动作类型的状态记录到对应的动作类型序号的状态序列中；
以及，根据每个所述状态序列中记录的动作类型的状态计算置信度；
如果所述置信度大于或等于所述配置参数中对应的动作类型的置信度阈值，则确定所述状态序列相应的动作类型是多帧中同一人体实际执行的动作。


6.如权利要求2至5中任一项所述方法，其特征在于，
如果所述人体质量分小于或等于质量分阈值，则预判结果为第一类无法判断状态；
如果所述人体质量分大于质量分阈值但存在严重截断，则预判结果为第二类无法判断状态。


7.如权利要求6所述的方法，其特征在于，根据每个所述状态序列中记录的动作类型的状态计算置信度，具体包括：
计算所述状态序列中状态为执行的个数与所述状态序列的总个数的比值，为所述置信度。


8.如权利要求6所述的方法，其特征在于，
如果配置参数中的对应所述人体的跟踪ID小于ID阈值，则将预判结果作为最终判断结果；
如果配置参数中的对应所述人体的跟踪ID大于ID阈值但M帧以上所述人体行为的预判结果都为第一类无法判断状态或第二类无法判断状态，则确定确实无法对所述人体进行判断而输出最终判断结果为第一类无法判断状态；
如果配置参数中的对应所述人体的跟踪ID大于ID阈值但仅出现M帧及以内所述人体的行为的预判的结果为第一类无法判断状态或第二类无法判断状态，则将进行判断的当前帧的前一帧所述人体行为的预判结果作为最终判断结果。


9.一种动作类型判断方法，其特征在于，
所述动作类型包括基本姿态和特殊动作；
所述特殊动作具有对应所述特殊动作的动作类型序号的状态序列，以及所述基本姿态动作具有对应所述基本姿态的动作类型序号的状态序列；
所述方法包括：
根据权利要求5所述的方法，判断多帧输入图像中的连续行为是否为同一人体实际执行的动作；
根据时间顺序对N帧的前序帧中同一所述人体行为对应的一个或多个基本...

【专利技术属性】
技术研发人员：周依梦，郝冬冬，
申请(专利权)人：四川云从天府人工智能科技有限公司，
类型：发明
国别省市：四川;51