一种通话动作识别方法、装置、设备以及存储介质制造方法及图纸

本公开提供了一种通话动作识别方法、装置、设备以及存储介质，涉及人工智能技术领域，尤其涉及图像处理、深度学习和计算机视觉等技术领域。具体实现方案为：对待检测图像进行区域检测，得到人物所在的目标图像区域；将所述目标图像区域与运动轨迹信息进行匹配，得到与所述目标图像区域相匹配的目标运动轨迹，其中，运动轨迹的信息为：根据同一人物在图像中的区域确定的描述该人物运动轨迹的信息；对所述目标图像区域进行通话动作识别，得到识别结果；在所述识别结果表征识别到通话动作的情况下，更新所述目标运动轨迹对应的识别到通话动作的次数；根据更新后的次数确定是否真实存在通话动作。应用上述方案能够提高通话动作识别的准确性。的准确性。的准确性。

【技术实现步骤摘要】
一种通话动作识别方法、装置、设备以及存储介质


[0001]本公开涉及人工智能
，尤其涉及图像处理、深度学习和计算机视觉等


技术介绍

[0002]在生化企业等工作场景中，若存在人物使用手机通话的情况，可能会导致发生火灾、影响工作场景内的电子正常运行等。因此，需要对工作场景中人物的通话动作进行识别，以便及时发现工作场景中人物的通话行为，并进行制止。

技术实现思路

[0003]本公开提供了一种通话动作识别方法、装置、设备以及存储介质。
[0004]本公开的一方面，提供了一种通话动作识别方法，包括：
[0005]对待检测图像进行区域检测，得到人物所在的目标图像区域；
[0006]将所述目标图像区域与运动轨迹信息进行匹配，得到与所述目标图像区域相匹配的目标运动轨迹，其中，运动轨迹信息为：根据同一人物在图像中的区域确定的描述该人物运动轨迹的信息；
[0007]对所述目标图像区域进行通话动作识别，得到识别结果；
[0008]在所述识别结果表征识别到通话动作的情况下，更新所述目标运动轨迹对应的识别到通话动作的次数；
[0009]根据更新后的次数确定是否真实存在通话动作。
[0010]本公开的另一方面，提供了一种通话动作识别装置，包括：
[0011]图像区域获得模块，用于对待检测图像进行区域检测，得到人物所在的目标图像区域；
[0012]运动轨迹获得模块，用于将所述目标图像区域与运动轨迹的信息进行匹配，得到与所述目标图像区域相匹配的目标运动轨迹，其中，运动轨迹的信息为：根据同一人物在图像中的区域确定的描述该人物运动轨迹的信息；
[0013]识别结果获得模块，用于对所述目标图像区域进行通话动作识别，得到识别结果；
[0014]动作次数更新模块，用于在所述识别结果表征识别到通话动作的情况下，更新所述目标运动轨迹对应的识别到通话动作的次数；
[0015]通话动作确定模块，用于根据更新后的次数确定是否真实存在通话动作。
[0016]本公开的又一方面，提供了一种电子设备，包括：
[0017]至少一个处理器；以及
[0018]与所述至少一个处理器通信连接的存储器；其中，
[0019]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述通话动作识别方法。
[0020]本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介
质，其中，所述计算机指令用于使所述计算机执行上述通话动作识别方法。
[0021]本公开的又一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述通话动作识别方法。
[0022]由上可见，本公开实施例提供的方案中，检测到人物所在的目标图像区域后，通过匹配运动轨迹，确定出目标图像区域中人物的目标运动轨迹，这样在对目标图像区域进行通话动作识别时，可以按照不同的人物进行基于识别结果的计数，然后，上述计数结果是多帧图像中针对同一人物被检测到通话动作的计数，这一数量越大，说明该人物被检测到通话动作的次数越多，说明该人物真实在通话的概率越高，因此，上述计数结果能够更为准确地反映目标图像区域中的人物是否在通话。所以，应用本公开实施例提供的方案不仅能够成功检测到人物是否真实存在通话动作，而且能够提高检测通话动作的准确性。
[0023]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0024]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0025]图1是本公开实施例提供的一种场景示意图；
[0026]图2是本公开实施例提供的第一种通话动作识别方法的流程示意图；
[0027]图3是本公开实施例提供的第一种运动轨迹匹配方法的流程示意图；
[0028]图4是本公开实施例提供的第二种通话动作识别方法的流程示意图；
[0029]图5是本公开实施例提供的第二种运动轨迹匹配方法的流程示意图；
[0030]图6是本公开实施例提供的一种通话动作识别装置的结构示意图；
[0031]图7是用来实现本公开实施例提供的通话动作识别方法的电子设备的框图。
具体实施方式
[0032]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0033]下面对本公开实施例的一个应用场景进行说明。
[0034]参见图1，图中拍摄地点为工作场所。本公开实施提供的方案中，可以预先在该工作场所周围设置图像采集设备，如摄像头，拍摄工作场所得到图像。图像采集设备可以在一段时间内连续进行拍摄得到多个时刻的图像，图1为拍摄得到的16:16这一时刻的图像。
[0035]本公开实施例提供的方案可以用于对所拍摄的所有图像进行区域检测，得到图像中人物所在的图像区域，参见图1中方形框所在的图像区域。通过对该图像区域进行通话识别，可以确定该图像区域中的人物是否在通话。
[0036]本公开实施例的执行主体可以是与上述图像采集设备通信连接的电子设备，该电子设备能够接收图像采集设备拍摄得到的图像并基于接收到的图像进行通话动作识别，如，上述电子设备可以是服务器、台式计算机等。
[0037]下面通过具体实施例对本公开实施例提供的通话动作识别方法进行详细说明。
[0038]本公开的一个实施例中，参见图2，提供了第一种通话动作识别方法的流程示意图，该方法包括以下步骤S201
‑
S205。
[0039]步骤S201：对待检测图像进行区域检测，得到人物所在的目标图像区域。
[0040]目标图像区域由人物在待检测图像中的位置确定。目标图像区域中可以包含人物的部分区域，例如，人物的头肩区域，也可以包含人物的整个区域。
[0041]下面说明两种区域检测以得到目标图像区域的实现方式。
[0042]一种实现方式中，可以将待检测图像输入预设的检测模型，得到包含人物的目标图像区域。检测模型可以是预先采用标注人物所在区域的样本图像训练得到的目标检测模型，具体的，目标检测模型可以是基于yolov5的目标检测模型、基于yolo3D的目标检测模型等。
[0043]另一种实现方式中，还可以提取待检测图像的图像特征，然后根据提取到的图像特征检测待识别图像中的人物，从而确定目标图像区域。例如，提取图像特征之后，可以依据图像特征确定图像中的连通域，然后将包含上述连通域的区域作为包含人物的目标图像区域。
[0044]步骤S202：将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种通话动作识别方法，包括：对待检测图像进行区域检测，得到人物所在的目标图像区域；将所述目标图像区域与运动轨迹信息进行匹配，得到与所述目标图像区域相匹配的目标运动轨迹，其中，运动轨迹信息为：根据同一人物在图像中的区域确定的描述该人物运动轨迹的信息；对所述目标图像区域进行通话动作识别，得到识别结果；在所述识别结果表征识别到通话动作的情况下，更新所述目标运动轨迹对应的识别到通话动作的次数；根据更新后的次数确定是否真实存在通话动作。2.根据权利要求1所述的方法，其中，所述在所述识别结果表征识别到通话动作的情况下，更新所述目标运动轨迹对应的识别到通话动作的次数，包括：在所述识别结果表征识别到通话动作的情况下，对所述待检测图像进行图像质量检测，得到用于描述所述待检测图像质量的质量表征值；若所述质量表征值大于预设的表征阈值，更新所述目标运动轨迹对应的识别到通话动作的次数。3.根据权利要求1或2所述的方法，其中，所述将所述目标图像区域与运动轨迹信息进行匹配，得到与所述目标图像区域相匹配的目标运动轨迹，包括：按照以下方式将所述目标图像区域分别与各条运动轨迹信息进行匹配：根据运动轨迹对应的状态预测参数，预测运动轨迹所对应人物的运动状态参数；根据所述运动状态参数，确定运动轨迹所对应人物在所述待检测图像中出现的候选图像区域；提取所述目标图像区域的区域特征；若所述区域特征与运动轨迹所对应人物的人物特征相匹配、且所述目标图像区域的位置与所确定候选图像区域的位置相匹配，则确定运动轨迹为与所述目标图像区域相匹配的目标运动轨迹。4.根据权利要求3所述的方法，在确定所述目标运动轨迹失败的情况下，还包括：根据所述目标图像区域与各运动轨迹对应的候选图像区域之间的交并比，从运动轨迹中确定与所述目标运动轨迹。5.根据权利要求3所述的方法，在得到所述目标运动轨迹之后，还包括：根据所述目标图像区域更新所述目标运动轨迹对应的状态预测参数。6.根据权利要求1或2所述的方法，其中，所述将所述目标图像区域与运动轨迹的信息进行匹配，得到与所述目标图像区域相匹配的目标运动轨迹，包括：从运动轨迹中，确定连续最近预设数量次与图像区域匹配成功的可用运动轨迹；将所述目标图像区域与可用运动轨迹的信息进行匹配，得到与所述目标图像区域相匹配的目标运动轨迹。7.根据权利要求1或2所述的方法，其中，所述根据更新后的次数确定是否真实存在通话动作，包括：根据更新后的次数判断最近连续采集的第一数量帧图像中被识别到通话动作的次数是否得到了预设次数；
若为是，判定真实存在通话动作；否则，判定不真实存在通话动作。8.一种通话动作识别装置，包括：图像区域获得模块，用于对待检测图像进行区域检测，得到人物所在的目标图像区域；运动轨迹获得模块，用于将所述目标图像区域与运动轨迹的信息进行匹配，得到与所述目标图像区域相匹配的目标运动轨迹，其中，运动轨迹的信息为：根据同一人物在图像中的区域确...

【专利技术属性】
技术研发人员：姜楠，聂磊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：