数据处理方法、装置、电子设备及存储介质制造方法及图纸

本公开实施例公开了一种数据处理方法、装置、电子设备及存储介质，所述方法包括：获取待处理图像序列，其中，所述待处理图像序列对应于目标对象；基于所述待处理图像序列中的至少一幅图像，获取所述目标对象的状态行为；基于所述待处理图像序列中的至少两幅图像，获取所述目标对象的动态行为；基于所述状态行为和所述动态行为，确定所述目标对象的行为属性数据。本公开技术方案可以根据待处理图像中的单张图像识别目标对象的状态行为，而通过至少两幅图像可以识别目标对象的动态行为，进而再根据目标对象的状态行为和动态行为确定目标对象的行为属性数据，上述方式可以自动识别目标对象的行为属性数据，能够提高行为识别效率。能够提高行为识别效率。能够提高行为识别效率。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，具体涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]随着互联网技术的发展，社会秩序的维护越来越依赖于视频数据，但在一些应用场景下，需要专门的人员实时对视频数据进行人工审查，耗时耗力，并且容易出现疏漏。以预先取得图像采集授权的室内场景为例，大部分考试区域主要采用人工监考的方式，而一些考试区域也会采集视频数据，但是所采集到的视频数据主要用来事后取证，且由于视频的成像质量等原因，在审查视频的时候也会遇到较大的阻碍，并且由于审查工作量巨大，依靠人力很难对视频逐一审查。因此，如何利用图像采集设备采集到的视频数据自动识别人们的行为，进而实现有效维护相应场景下的秩序成为了本领域技术人员需要解决的技术问题之一。

技术实现思路

[0003]本公开实施例提供一种数据处理方法、装置、电子设备及计算机可读存储介质。
[0004]第一方面，本公开实施例中提供了一种数据处理方法，包括：
[0005]获取待处理图像序列，其中，所述待处理图像序列对应于目标对象；
[0006]基于所述待处理图像序列中的至少一幅图像，获取所述目标对象的状态行为；
[0007]基于所述待处理图像序列中的至少两幅图像，获取所述目标对象的动态行为；
[0008]基于所述状态行为和所述动态行为，确定所述目标对象的行为属性数据。
[0009]进一步地，基于所述待处理图像序列中的至少一幅图像，获取所述目标对象的状态行为，包括：
[0010]识别所述目标对象在所述至少一副图像中的状态动作；
[0011]根据所述目标对象的状态动作确定所述目标对象的状态行为。
[0012]进一步地，基于所述待处理图像序列中的至少两幅图像，获取所述目标对象的动态行为，包括：
[0013]识别所述目标对象的预设部位在所述至少两幅图像中的第一位置变化信息；
[0014]根据所述第二位置变化信息确定所述目标对象的局部动态行为。
[0015]进一步地，基于所述待处理图像序列中的至少两幅图像，获取所述目标对象的动态行为，包括：
[0016]识别所述目标对象的面部关键点在所述至少两幅图像中的第二位置变化信息；
[0017]根据所述第二位置变化信息确定所述目标对象的面部表情。
[0018]进一步地，基于所述待处理图像序列中的至少两幅图像，获取所述目标对象的动态行为，包括：
[0019]识别所述目标对象的整体在所述至少两幅图像中的第三位置变化信息，以及所述
目标对象的整体关键点在所述至少两幅图像中的第四位置变化信息；
[0020]根据所述第三位置变化信息以及所述第四位置变化信息确定所述目标对象的整体动态行为。
[0021]第二方面，本公开实施例中提供了一种数据处理方法，包括：
[0022]获取图像采集区域内的待处理视频流；
[0023]针对所述待处理视频流中的视频帧，利用目标检测模型至少获得第一路输出和第二路输出，所述第一路输出包括检测到的第一人体以及所述第一人体的人脸和人头；第二路输出包括检测到的第二人体以及所述第二人体对应的状态动作类别；
[0024]通过所述第一路输出识别所述第一人体对应的时序动作，并根据所述时序动作识别所述第一人体的动态行为，和/或利用所述第二路输出识别所述第二人体的状态行为。
[0025]进一步地，获取待处理视频流，包括：
[0026]获取固定设置在图像采集区域内的至少两个图像采集设备采集到的待处理视频流；其中，所述至少两个图像采集设备的视角范围的并集至少能够全部覆盖所述图像采集区域内人体所在的目标区域。
[0027]进一步地，所述目标检测模型包括主干模型和至少两个分支模型；利用目标检测模型至少获得第一路输出和第二路输出，包括：
[0028]利用所述主干模型提取所述视频帧中的图像特征数据；
[0029]将所述图像特征数据分别输入到至少两个所述分支模型，并由其中一个所述分支模型对所述图像特征数据进行处理得到所述第一路输出，由另一个所述分支模型对所述图像特征数据进行处理得到所述第二路输出。
[0030]进一步地，通过所述第一路输出识别所述第一人体对应的时序动作，并根据所述时序动作识别所述第一人体的动态行为，包括：
[0031]跟踪连续多个视频帧对应的所述第一路输出中所述第一人体的人头位置变化信息；
[0032]根据所述人头位置变化信息识别所述第一人体的头部姿态，以及根据所述头部姿态确定所述第一人体的头部动态行为。
[0033]进一步地，通过所述第一路输出识别所述第一人体对应的时序动作，并根据所述时序动作识别所述第一人体的动态行为，包括：
[0034]跟踪连续多个视频帧对应的所述第一路输出中所述第一人体的人脸关键点位置变化信息；
[0035]根据所述人脸关键点位置变化信息识别所述第一人体的人脸姿态，以及根据所述人脸姿态确定所述第一人体的面部表情。
[0036]进一步地，通过所述第一路输出识别所述第一人体对应的时序动作，并根据所述时序动作识别所述第一人体的动态行为，包括：
[0037]跟踪连续多个视频帧对应的所述第一路输出中所述第一人体的人体位置变化信息以及人体关键点位置变化信息；
[0038]根据所述人体位置变化信息识别所述第一人体的时序动作，以及根据所述时序动作和所述人体关键点位置变化信息识别所述第一人体的人体动态行为。
[0039]进一步地，利用所述第二路输出识别所述第二人体的状态行为，包括：
[0040]根据单个视频帧对应的所述第二路输出识别所述第二人体的状态行为。
[0041]进一步地，所述方法还包括：
[0042]根据所述第一路输出中人脸对应的图像确定所述视频帧中第一人体的身份信息；
[0043]根据所述第一人体和所述第二人体在同一视频帧中的位置、所述第一人体的身份信息确定所述第二人体的身份信息。
[0044]进一步地，还包括：
[0045]在所述状态行为和/或动态行为与预设行为相匹配时，输出报警信息。
[0046]进一步地，还包括：
[0047]根据从至少两路待处理视频流检测得到的所述第一人体的动态行为和所述第二人体的状态行为，获得所述图像采集区域内人体行为报告；所述至少两路待处理视频流由图像采集区域内设置的至少两个图像采集设备分别采集得到。
[0048]第三方面，本专利技术实施例中提供了一种数据处理装置，包括：
[0049]第一获取模块，被配置为获取图像采集区域内的待处理视频流；
[0050]第二获取模块，被配置为针对所述待处理视频流中的视频帧，利用目标检测模型至少获得第一路输出和第二路输出，所述第一路输出包括检测到的第一人体以及所述第一人体的人脸和人头；第二路输出包括检测到的第二人体以及所述第二人体对应的状态动作类别；
...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其中，包括：获取待处理图像序列，其中，所述待处理图像序列对应于目标对象；基于所述待处理图像序列中的至少一幅图像，获取所述目标对象的状态行为；基于所述待处理图像序列中的至少两幅图像，获取所述目标对象的动态行为；基于所述状态行为和所述动态行为，确定所述目标对象的行为属性数据。2.根据权利要求1所述的方法，其中，基于所述待处理图像序列中的至少一幅图像，获取所述目标对象的状态行为，包括：识别所述目标对象在所述至少一副图像中的状态动作；根据所述目标对象的状态动作确定所述目标对象的状态行为。3.根据权利要求1或2所述的方法，其中，基于所述待处理图像序列中的至少两幅图像，获取所述目标对象的动态行为，包括：识别所述目标对象的预设部位在所述至少两幅图像中的第一位置变化信息；根据所述第二位置变化信息确定所述目标对象的局部动态行为。4.根据权利要求1或2所述的方法，其中，基于所述待处理图像序列中的至少两幅图像，获取所述目标对象的动态行为，包括：识别所述目标对象的面部关键点在所述至少两幅图像中的第二位置变化信息；根据所述第二位置变化信息确定所述目标对象的面部表情。5.根据权利要求1或2所述的方法，其中，基于所述待处理图像序列中的至少两幅图像，获取所述目标对象的动态行为，包括：识别所述目标对象的整体在所述至少两幅图像中的第三位置变化信息，以及所述目标对象的整体关键点在所述至少两幅图像中的第四位置变化信息；根据所述第三位置变化信息以及所述第四位置变化信息确定所述目标对象的整体动态行为。6.一种数据处理方法，其中，包括：获取待处理视频流；针对所述待处理视频流中的视频帧，利用目标检测模型至少获得第一路输出和第二路输出，所述第一路输出包括检测到的第一人体以及所述第一人体的人脸和人头；第二路输出包括检测到的第二人体以及所述第二人体对应的状态动作类别；通过所述第一路输出识别所述第一人体对应的时序动作，并根据所述时序动作识别所述第一人体的动态行为，和/或利用所述第二路输出识别所述第二人体的状态行为。7.根据权利要求6所述的方法，其中，获取待处理视频流，包括：获取固定设置在图像采集区域内的至少两个图像采集设备采集到的待处理视频流；其中，所述至少两个图像采集设备的视角范围的并集至少能够全部覆盖所述图像采集区域内人体所在的目标区域。8.根据权利要求6所述的方法，其中，所述目标检测模型包括主干模型和至少两个分支模型；利用目标检测模型至少获得第一路输出和第二路输出，包括：利用所述主干模型提取所述视频帧中的图像特征数据；将所述图像特征数据分别输入到至少两个所述分支模型，并由其中一个所述分支模型对所述图像特征数据进行处理得到所述第一路输出，由另一个所述分支模型对所述图像特
征数据进行处理得到所述第二路输出。9.根据权利要求6
‑
8任一项所述的方法，其中，通过所述第一路输出识别所述第一人体对应的时序动作，并根据所述时序动作识别所述第一人体的动态行为，包括：跟踪连续多个视频帧对应的所述第一路输出中所述第一人体的人头位置变化信息；根据所述人头位置变化信息识别所述第一人体的头部姿态，以及根据所述头部姿态确定所述第一人体的头部动态行为。10.根据权利要求6
‑
8任一项所述的方法，其中，通过所述第一...

【专利技术属性】
技术研发人员：李海洋，汪彪，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：