微笑表情检测方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术公开了一种微笑表情检测方法、装置、计算机设备及存储介质。所述方法包括：通过声源定位获取预设声源位置的语音数据转换成的文本数据与目标文本数据匹配成功时，根据预设声源位置的人员的图像确定人员的身份信息；在人员的图像中获取的手势类型为预设手势项时，确定检测微笑表情开始，令摄像设备开启连续拍摄人员的视频信息；通过微笑识别模型识别人员的视频信息中放大之后的面部预设位置的图片，并获取微笑识别模型输出的识别结果；在接收到检测微笑表情终止指令时，令摄像设备停止拍摄人员的视频信息。本发明专利技术减少了存储视频信息的数据量，也减少了人工追溯表情时间段的视频信息的查询量，提升了微笑表情检测的精准性。

Smile expression detection method, device, computer equipment and storage medium

【技术实现步骤摘要】
微笑表情检测方法、装置、计算机设备及存储介质
本专利技术涉及图像检测领域，尤其涉及一种微笑表情检测方法、装置、计算机设备及存储介质。
技术介绍
对于收费站服务人员的微笑服务检测(也即服务人员面部的微笑表情检测)，目前收费站只能人工检测摄像设备拍摄的所有在岗的服务人员是否有对缴费车辆的车主实行微笑服务的视频数据，以此来对服务人员的工作质量作出一定的评估；但此种方式存在以下的问题：收费站并非一直都有车辆通过，在并无车辆通过的时候，并不要求服务人员全程微笑，但由于视频数据是时刻对准服务人员全程拍摄的，而检测过程也是针对上述所有的视频数据，如此，首先会导致记录很多非服务时间的微笑服务的视频数据，会造成对微笑服务的评估不客观准确，进而不能准确地体现员工的服务质量；另一方面，全程视频数据的录制和检测，会造成检测视频数据的人员的时间浪费，增加了工作量，并且，在人工检测过程中，若有车辆通过的场景下可能也需要不断放大或缩小等操作才能观看到清楚的视频数据，操作繁琐，在检测完成后数据库中也需要占用大量的存储空间来保存所有的视频数据，维护成本相对较高；因此，需寻找一种本文档来自技高网...

【技术保护点】
1.一种微笑表情检测方法，其特征在于，包括：/n通过声源定位获取预设声源位置的语音数据，并将所述语音数据转换成文本数据；/n在所述文本数据与目标文本数据匹配成功时，获取摄像设备拍摄的所述预设声源位置的人员的图像，并确认所述人员的身份信息；/n自所述人员的图像中提取所述人员的上肢位置的人体关键点，并根据所述人体关键点获取手势类型；/n在获取的所述手势类型为预设手势项时，确定检测微笑表情开始，令所述摄像设备开启连续拍摄所述人员的视频信息；/n按照预设频率自所述视频信息中提取所述人员的面部预设位置的图片，并将所述面部预设位置的图片放大至预设比例，通过微笑识别模型识别放大之后的所述面部预设位置的图片，...

【技术特征摘要】
1.一种微笑表情检测方法，其特征在于，包括：
通过声源定位获取预设声源位置的语音数据，并将所述语音数据转换成文本数据；
在所述文本数据与目标文本数据匹配成功时，获取摄像设备拍摄的所述预设声源位置的人员的图像，并确认所述人员的身份信息；
自所述人员的图像中提取所述人员的上肢位置的人体关键点，并根据所述人体关键点获取手势类型；
在获取的所述手势类型为预设手势项时，确定检测微笑表情开始，令所述摄像设备开启连续拍摄所述人员的视频信息；
按照预设频率自所述视频信息中提取所述人员的面部预设位置的图片，并将所述面部预设位置的图片放大至预设比例，通过微笑识别模型识别放大之后的所述面部预设位置的图片，并获取所述微笑识别模型输出的与所述面部预设位置的图片对应的识别结果；所述识别结果为微笑或者不微笑；
在接收到检测微笑表情终止指令时，令所述摄像设备停止拍摄所述人员的所述视频信息，并根据接收到视频录制指令之前录制的所述视频信息所对应的所述识别结果，确定所述人员的微笑数据等级，并将所述微笑数据等级与所述人员的所述身份信息关联。


2.根据权利要求1所述的微笑表情检测方法，其特征在于，所述通过声源定位获取预设声源位置的语音数据，包括：
获取周围声源环境中的所有声源，并在所有声源中检测是否存在符合预设声源要求的声源；
在存在符合所述预设声源要求的所述声源时，通过声源定位对所述声源进行定位，获取所述声源的实际位置，并标记所述声源的所述实际位置；
在所述声源的所述实际位置与所述预设声源位置匹配时，获取与预设声源位置匹配的所述实际位置的所述声源对应的语音数据。


3.根据权利要求1所述的微笑表情检测方法，其特征在于，所述自所述人员的图像中提取所述人员的上肢位置的人体关键点，并根据所述人体关键点获取手势类型，包括：
自所述人员的图像中提取所述人员的所述上肢位置的所述人体关键点，得到人体关键点原始序列；
根据预设差分方法计算不同所述人员的图像对应的所述人体关键点原始序列之间的差分序列；所述差分序列包含所述人体关键点对应的手势信息；
基于手势识别模型，根据所述差分序列获得所述人员的图像中的所述人员的所述手势类型。


4.根据权利要求3所述的微笑表情检测方法，其特征在于，所述基于手势识别模型，根据所述差分序列获得所述人员的图像中的所述人员的所述手势类型之前，还包括：
获取图片样本；其中，所述图片样本中包含已知类型的手势类型；
从所述图片样本中提取人体关键点，得到人体关键点原始序列；
根据预设的差分方法计算不同所述图片样本中对应的人体关键点原始序列之间的差分序列；
根据所述图片样本对应的差分序列和所述图片样本包含所述已知类型的手势类型，训练得到所述手势识别模型。


5.根据权利要求1所述的微笑表情检测方法，其特征在于，所述令所述摄像设备开启连续拍摄所述人员的视频信息，包括：
调整拍摄所述视频信息的所述摄像设备的拍摄参数，令所述摄像设备在最大捕捉图像范围中动态检测是否存在与所述身份信息匹配的所述人员；
在存在与所述身份信息匹配的所述人员时，为所述人员添加特征标识之后，将所述特征标识作为所述摄像设备的移动目标，并根据所述移动目标动态跟踪所述人员后，开启连续拍摄所述人员的所述视频信息。


6.根据权利要求...

【专利技术属性】
技术研发人员：李占川，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44