基于人工智能算法的多人行为识别方法及装置制造方法及图纸

本申请公开了一种基于人工智能算法的多人行为识别方法及装置。包括：接收待处理图像信息后，检测其中每个人对应连续N帧画面中的位置坐标；基于每个人对应连续N帧画面中的位置坐标所对应图像计算每个人的特征图；基于每个人对应的特征提取每个人对应的候选时序；根据候选时序从候选时序对应个人的特征图中提取候选时序对应的特征图；根据候选时序对应的特征图确定候选时序对应人的行为，以及根据候选时序对应的特征图和候选时序对应人的连续N帧画面中的位置坐标确定行为发生位置坐标，以及根据候选时序确定候选时序对应人的行为发生时间。本申请能够解决无法对同时出现的多个人行为进行识别，并且无法确定出行为发生时间，从而不能确定出人的精确行为的问题。

【技术实现步骤摘要】
基于人工智能算法的多人行为识别方法及装置
本申请涉及计算机
，尤其涉及一种行为确定的方法及装置。
技术介绍
随着计算机技术的发展，通过计算机确定人体行为已经得到广泛的应用，例如，可以应用在智能视频监控，病人监护系统，智能家居等场景中，所以如何通过计算机准确确定人的行为成为研究的热门。行为确定的方式通常为从一段视频或者图像序列中自动识别出其中人体进行的行为，目前可以基于动态骨骼的动作识别方法实现。该方法通过将图卷积网络扩展到时空图模型，设计用于行为识别的骨骼序列通用表示，对视频或图像序列进行姿态估计，并在骨骼序列上构建时空图，然后对其应用多层时空图卷积等操作处理，来实现对行为的确定。但是，上述方法只能对包括单个人的视频或者图像序列中的行为进行确定，无法对其中同时出现多个人的视频或者图像序列中的行为进行识别，并且也无法确定出行为发生时间，从而不能确定出人的准确行为。
技术实现思路
本申请提供了一种基于人工智能算法的多人行为识别方法及装置，能够解决现有技术无法对同时出现多个人的视频或者图像序列中进行行为识别，并且无法确定出行为发生时间，从而不能准确确定出人的行为的问题。第一方面，本申请提供了一种行为确定的方法，包括：接收待处理图像信息，所述待处理图像信息包括视频和连续图像；检测所述待处理视频中每个人对应连续N帧画面中的位置坐标；基于所述每个人对应连续N帧画面中的位置坐标所对应图像计算所述每个人的特征图，所述特征图为所述特征图所对应人在时间维度和空间维度能够区分其他人的图像，其中N为正整数，N取值为不小于计算一次所述每个人的特征图所需图像的数量；基于所述每个人对应的特征提取所述每个人对应的候选时序；根据所述候选时序从所述候选时序对应个人的特征图中提取所述候选时序对应的特征图；根据所述候选时序对应的特征图确定所述候选时序对应人的行为，以及根据所述候选时序对应的特征图和所述候选时序对应人的连续N帧画面中的位置坐标确定所述行为发生位置坐标，以及根据所述候选时序确定所述候选时序对应人的行为发生时间。本申请实施例中，可以对待处理图像信息中的所有人进行检测，并同时对每个人的行为进行识别，不仅可以确定出每个人的行为，还可以确定出每个人行为的发生时间，从而可以实现对每个人行为的准确确定。结合第一方面，在第一方面的第一种可能的实施方式中，所述检测所述待处理图像信息中每个人对应连续N帧画面中的位置坐标，包括：检测所述待处理图像信息所包括每帧图像中所有人的位置坐标；将所述每帧图像中所有人中的同一个人进行关联，得出所述待处理图像信息中每个人对应连续N帧画面中的位置坐标。结合第一方面或第一方面的第一种可能的实施方式，在第一方面的第二种可能的实施方式中，所述基于所述每个人对应的特征提取所述每个人对应的候选时序，包括：通过预设候选时序和所述每个人对应的特征提取所述每个人对应的第一候选时序，所述预设候选时序为根据人的行为规律预先估计的候选时序；基于非极大值抑制算法从所述第一候选时序中确定出所述每个人对应的候选时序。结合第一方面，在第一方面的第三种可能的实施方式中，所述根据所述候选时序对应的特征图确定所述候选时序对应人的行为，包括：对所述候选时序对应的特征图进行池化；根据池化后的特征图和预设行为分类器确定所述候选时序对应人的行为。结合第一方面或第一方面的第一种可能的实施方式，在第一方面的第四种可能的实施方式中，所述每个人对应连续N帧画面中的位置坐标包括每个人对应多个连续N帧画面中的位置坐标；所述基于所述每个人对应连续N帧画面中的位置坐标所对应图像计算所述每个人的特征图，包括：基于所述每个人对应多个连续N帧画面中的位置坐标计算所述每个人对应的多个特征图。第二方面，本申请提供了一种行为确定的装置，包括用于实现本申请第一方面及第一方面的任一种实现方式中的方法的功能单元。第三方面，本申请提供了一种行为确定的设备，包括：处理器和存储器；所述存储器用于存储计算机程序代码，所述计算机程序代码包括指令；所述处理器用于执行所述指令，以使所述行为确定的设备实现如第一方面或第一方面的任一种实施方式所述的方法。第四方面，本申请提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如第一方面或第一方面的任一种实施方式所述的方法。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。图1是根据本申请实施例提供的一种基于人工智能算法的多人行为识别方法的示意性流程图；图2是根据本申请实施例提供的一种基于人工智能算法的多人行为识别装置的示意框图；图3是根据本申请实施例提供的一种行为识别的设备的示意框图。具体实施方式在不冲突的情况下，本申请中的各实施例及各实施例中的不同特征可以相互组合。本申请一实施例提供了一种基于人工智能算法的多人行为识别方法，如图1所示，该方法包括以下步骤。101，接收待处理图像信息。其中，待处理图像信息包括视频和连续图像。例如，待处理图像信息可以为一段离线视频，也可以为摄像头实时拍摄的视频，或者可以为从视频中提取的每一帧相互连续的多帧图像，即连续图像。待处理图像信息可以包括一个人也可以包括至少两个人。需要说明的是，待处理图像信息为连续图像时，为了能够执行后续步骤，图像的数量需要能够满足需求。102，检测待处理图像信息中每个人对应连续N帧画面中的位置坐标。其中，本申请实施例可以确定待处理图像信息中每个人的行为，所以需要对待处理图像信息中每个人进行检测。作为本申请实施例的一种实施方式，步骤102可以具体执行为：检测待处理图像信息所包括每帧图像中所有人的位置坐标；将每帧图像中所有人中的同一个人进行关联，得出待处理图像信息中每个人对应连续N帧画面中的位置坐标。本申请实施例中需要对待处理图像信息中每个人进行检测，所以待处理图像信息中每一帧图像均需进行检测，并且需要检测出所有人的位置坐标。在得到所有人的位置坐标后，可以对各帧图像中同一个人进行关联，得出对应每个人行为的连续多帧画面，进而根据检测得到的位置坐标，可以得出每个人在此连续多帧画面中的位置坐标。对各帧图像中同一个人进行关联可以通过多种方法实现，例如可以使用多目标跟踪算法实现。具体可以为，在不同帧图像中检测到同一个人时都使用唯一标识，然后可以通过此唯一的标识关联起不同帧图像中的同一个人。本申请实施例中N的取值通常可以根据需求来设定。例如在后续步骤中需要对同一个人的连续图像进行处理才能准确确定此人的行为，所以本步骤N的取值需要至少满足后续步骤的需求。由于本步骤中得出每个人对应连续N帧画面中的位置坐标，所以若待处理图像信息为连续图像时，图像的数量需要至少为N帧。本申请实施例中位置坐标可以通过多种方式实现，如可以通过矩形框位置坐标实现。例如，对于视频中的第i个人，可以使用如公式(1)所示坐标。在公式(1)中，i表示大于等于1且小于等于m的正整数，m表示待处理图像信息中包括的总人数，表示矩形框坐标中左上点的坐标，表示矩形框坐标中右下点的坐标。如此通过公式(1)中左上点的坐标和右下点的坐标，可以确定出矩形框的位置，即确定出图像中人的位置坐标。再例如，对于视频中的第i个人，可以使用如公式(2)所示坐标。在公式(2)中，本文档来自技高网...

【技术保护点】
1.基于人工智能算法的多人行为识别方法，其特征在于，包括：接收待处理图像信息，所述待处理图像信息包括视频和连续图像；检测所述待处理图像信息中每个人对应连续N帧画面中的位置坐标；基于所述每个人对应连续N帧画面中的位置坐标所对应图像计算所述每个人的特征图，所述特征图为所述特征图所对应人在时间维度和空间维度能够区分其他人的图像，其中N为正整数，N取值为不小于计算一次所述每个人的特征图所需图像的数量；基于所述每个人对应的特征提取所述每个人对应的候选时序；根据所述候选时序从所述候选时序对应人的特征图中提取所述候选时序对应的特征图；根据所述候选时序对应的特征图确定所述候选时序对应人的行为，以及根据所述候选时序对应的特征图和所述候选时序对应人的连续N帧画面中的位置坐标确定所述行为发生位置坐标，以及根据所述候选时序确定所述候选时序对应人的行为发生时间。

【技术特征摘要】
1.基于人工智能算法的多人行为识别方法，其特征在于，包括：接收待处理图像信息，所述待处理图像信息包括视频和连续图像；检测所述待处理图像信息中每个人对应连续N帧画面中的位置坐标；基于所述每个人对应连续N帧画面中的位置坐标所对应图像计算所述每个人的特征图，所述特征图为所述特征图所对应人在时间维度和空间维度能够区分其他人的图像，其中N为正整数，N取值为不小于计算一次所述每个人的特征图所需图像的数量；基于所述每个人对应的特征提取所述每个人对应的候选时序；根据所述候选时序从所述候选时序对应人的特征图中提取所述候选时序对应的特征图；根据所述候选时序对应的特征图确定所述候选时序对应人的行为，以及根据所述候选时序对应的特征图和所述候选时序对应人的连续N帧画面中的位置坐标确定所述行为发生位置坐标，以及根据所述候选时序确定所述候选时序对应人的行为发生时间。2.根据权利要求1所述的方法，其特征在于，所述检测所述待处理图像信息中每个人对应连续N帧画面中的位置坐标，包括：检测所述待处理图像信息所包括每帧图像中所有人的位置坐标；将所述每帧图像中所有人中的同一个人进行关联，得出所述待处理图像信息中每个人对应连续N帧画面中的位置坐标。3.根据权利要求1或2所述的方法，其特征在于，所述基于所述每个人对应的特征提取所述每个人对应的候选时序，包括：通过预设候选时序和所述每个人对应的特征提取所述每个人对应的第一候选时序，所述预设候选时序为根据人的行为规律预先估计的候选时序；基于非极大值抑制算法从所述第一候选时序中确定出所述每个人对应的候选时序。4.根据权利要求1所述的方法，其特征在于，所述根据所述候选时序对应的特征图确定所述候选时序对应人的行为，包括：对所述候选时序对应的特征图进行池化；根据池化后的特征图和预设行为分类器确定所述候选时序对应人的行为。5.根据权利要求1或2所述的方法，其特征在于，所述每个人对应连续N帧画面中的位置坐标包括每个人对应多个连续N帧画面中的位置坐标；所述基于所述每个人对应连续N帧画面中的位置坐标所对应图像计算所述每个人的特征图，包括：基于所述每个人对应多个连续N帧...

【专利技术属性】
技术研发人员：赵景程，
申请(专利权)人：深圳市能信安科技股份有限公司，
类型：发明
国别省市：广东,44