一种基于人工智能技术判断视频中行为的方法技术

本发明专利技术公开了一种基于人工智能技术判断视频中行为的方法，涉及行为识别技术领域，包括：利用监控摄像头实时采集服务区内部场景的视频数据；从视频流中分拣出特征视频，并实时分析检测特征视频中的行为动作，判断是否为异常行为，对视频流进行初步筛选，能够减少识别工作量，更精确更快的识别出员工的异常行为，提高识别效率；当识别到异常行为时，根据该异常行为的持续时长判断员工是否处于消极状态，若是，则通过语音专线提醒员工纠正异常行为，端正服务态度；根据员工的语音专线提醒记录和通报批评记录对员工的服务质量分进行评估，判断是否需要对员工重新进行服务素养和业务操作培训，从而提高服务质量。从而提高服务质量。从而提高服务质量。

【技术实现步骤摘要】
一种基于人工智能技术判断视频中行为的方法


[0001]本专利技术涉及行为识别
，具体是一种基于人工智能技术判断视频中行为的方法。

技术介绍

[0002]一般，在银行网点中，都是由专职员工为来访的客户提供各种各样的服务，例如，开卡、修改密码、注销卡片、办理贷款等等；对待同样的服务，有的员工服务的认真细致，有的员工服务的马虎简单，这些员工对客户服务的好坏直接影响客户对银行业务和形象的认同感；
[0003]随着银行营业厅服务规范化的不断深入，客户对窗口服务工作的要求不断提高；因此，在监控营业厅窗口人员服务方面也存在更高、更准确的要求，为此，我们提出一种基于人工智能技术判断视频中行为的方法，对窗口服务人员的异常行为进行识别，并及时予以提示。

技术实现思路

[0004]为了解决上述方案存在的问题，本专利技术提供了一种基于人工智能技术判断视频中行为的方法。
[0005]本专利技术的目的可以通过以下技术方案实现：
[0006]一种基于人工智能技术判断视频中行为的方法，包括如下步骤：
[0007]步骤一：利用监控摄像头实时采集服务区内部场景的视频数据，使用智能盒子对接摄像头视频流，在本地进行计算和存储；
[0008]步骤二：从视频流中分拣出特征视频，并实时分析检测特征视频中的行为动作，判断是否为异常行为；
[0009]步骤三：当识别到异常行为时，根据该异常行为的持续时长判断员工是否处于消极状态；若处于消极状态，则通过语音专线提醒员工纠正异常行为，端正服务态度；r/>[0010]步骤四：根据员工的语音专线提醒记录和通报批评记录对员工的服务质量分进行评估，若服务质量分＜预设质量分阈值，则对该员工重新进行服务素养和业务操作培训。
[0011]进一步地，从视频流中分拣出特征视频，具体包括：
[0012]将视频流处理成为图像帧，对图像帧进行检测，使用主干网络提取人体的特征图，若检测到人体，则将对应的图像帧标记为待分析图像帧；
[0013]提取待分析图像帧中的人脸图像信息，将提取的人脸图像信息与员工库中存储的合法人脸图像信息相匹配；若匹配一致，则将对应的图像帧通过唯一id进行标识，形成特征图像帧，将同一id标识的特征图像帧进行融合，得到特征视频。
[0014]进一步地，所述步骤二中实时分析检测特征视频中的行为动作，判断是否为异常行为；具体包括：
[0015]根据特征视频自动对员工的躯干19个关节骨骼点进行识别追踪，对特征视频进行
每帧实时分析，每帧照片大小由摄像头分辨率决定，分析时以1920数值为Y轴，1080数值为X轴建立二维坐标系；
[0016]对员工的躯干进行三维分析，得到视频分析结果，将视频分析结果作为输入数据，使用机器学习分类算法判断是否为异常行为。
[0017]进一步地，根据该异常行为的持续时长判断员工是否处于消极状态，具体包括：
[0018]若异常行为的持续时长≥对应的违规时长阈值，则判定员工处于消极状态；若异常行为的持续时长＜对应的违规时长阈值，则判定员工处于疑似消极状态；其中，数据库中存储有各种异常行为和对应的违规时长阈值；
[0019]当员工处于疑似消极状态，统计第一预设时间T1内对应员工所有的疑似消极状态信息；其中T1为预设值；
[0020]将员工处于疑似消极状态的次数标记为疑似消极频次P1，将员工每次处于疑似消极状态的持续时长进行求和得到疑似消极总时长P2；
[0021]利用公式WX＝P1
×
b1+P2
×
b2计算得到员工的疑似消极系数WX，其中b1、b2为系数因子；若WX≥预设系数阈值，则判定员工处于消极状态。
[0022]进一步地，所述步骤三还包括：若员工在预设时间内未纠正异常行为，则执行超时处理措施；所述超时处理措施为对员工进行通报批评，并临时更换其他员工继续处理对应服务区窗口的业务。
[0023]进一步地，根据员工的语音专线提醒记录和通报批评记录对员工的服务质量分进行评估，具体评估方法为：
[0024]在最近一个月内，统计员工的评价数据，所述评价数据包括好评数和好评率；根据评价数据，计算得到员工的服务评分Qs；
[0025]统计员工接收到语音专线提醒的次数为提醒频次C1；统计员工接收到通报批评的次数为批评频次C2；利用公式FZ＝(Qs
×
a1)/(C1
×
a2+C2
×
a3)计算得到员工的服务质量分FZ，其中a1、a2、a3均为系数因子。
[0026]进一步地，其中，对无法确定的行为动作，将其保存到可疑行为库中；管理人员定期访问可疑行为库，对可疑行为库中存储的行为动作进行删选，将其添加至标准行为库或异常行为库；其中，所述标准行为库存储有各种标准行为；所述异常行为库中存储有各种异常行为。
[0027]进一步地，所述人脸图像信息包括正面脸部图像信息、左侧面脸部图像信息、右侧面脸部图像信息；每个员工都有一个对应的唯一id。
[0028]与现有技术相比，本专利技术的有益效果是：
[0029]1、本专利技术中将视频流处理成为图像帧，基于人脸识别技术从中分拣出与员工相关的图像帧作为特征图像帧，将同一id标识的特征图像帧进行融合，得到特征视频，然后针对特征视频中员工的行为动作进行识别，减少识别工作量，能更精确更快的识别出员工的异常行为，提高识别效率；
[0030]2、本专利技术利用成熟的人工智能人体行为建模和识别技术，通过对分拣出的特征视频进行建模和分析，识别出员工在工作过程中的各种异常行为，对无法确定的行为动作，将其保存到可疑行为库中，供管理人员调阅和进行人工分析，及时更新标准行为库或异常行为库，提高行为识别的准确性；
[0031]3、当识别到异常行为时，判断员工是否处于消极状态，及时通过语音专线提醒员工纠正异常行为，端正服务态度；有利于保障服务质量，提高客户对银行业务和形象的认同感；之后根据员工的语音专线提醒记录和通报批评记录对员工的服务质量分进行评估，若服务质量分＜预设质量分阈值，则对该员工重新进行服务素养和业务操作培训，从而提高服务质量。
附图说明
[0032]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0033]图1为本专利技术的原理框图。
具体实施方式
[0034]下面将结合实施例对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0035]如图1所示，一种基于人工智能技术判断视频中行为的方法，包括如下步骤：...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能技术判断视频中行为的方法，其特征在于，包括如下步骤：步骤一：利用监控摄像头实时采集服务区内部场景的视频数据，使用智能盒子对接摄像头视频流，在本地进行计算和存储；步骤二：从视频流中分拣出特征视频，并实时分析检测特征视频中的行为动作，判断是否为异常行为；步骤三：当识别到异常行为时，根据该异常行为的持续时长判断员工是否处于消极状态；若处于消极状态，则通过语音专线提醒员工纠正异常行为，端正服务态度；步骤四：根据员工的语音专线提醒记录和通报批评记录对员工的服务质量分进行评估，若服务质量分＜预设质量分阈值，则对该员工重新进行服务素养和业务操作培训。2.根据权利要求1所述的一种基于人工智能技术判断视频中行为的方法，其特征在于，从视频流中分拣出特征视频，具体包括：将视频流处理成为图像帧，对图像帧进行检测，使用主干网络提取人体的特征图，若检测到人体，则将对应的图像帧标记为待分析图像帧；提取待分析图像帧中的人脸图像信息，将提取的人脸图像信息与员工库中存储的合法人脸图像信息相匹配；若匹配一致，则将对应的图像帧通过唯一id进行标识，形成特征图像帧，将同一id标识的特征图像帧进行融合，得到特征视频。3.根据权利要求2所述的一种基于人工智能技术判断视频中行为的方法，其特征在于，所述步骤二中实时分析检测特征视频中的行为动作，判断是否为异常行为；具体包括：根据特征视频自动对员工的躯干19个关节骨骼点进行识别追踪，对特征视频进行每帧实时分析，每帧照片大小由摄像头分辨率决定，分析时以1920数值为Y轴，1080数值为X轴建立二维坐标系；对员工的躯干进行三维分析，得到视频分析结果，将视频分析结果作为输入数据，使用机器学习分类算法判断是否为异常行为。4.根据权利要求1所述的一种基于人工智能技术判断视频中行为的方法，其特征在于，根据该异常行为的持续时长判断员工是否处于消极状态，具体包括：若异常行为的持续时长≥对应的违规时长阈值，则判定员工处于消极状态；若异常行为的持续时长＜对应的违规时长阈值，则判定员工处于疑似消极状态；其中，数据库中存储有各种异常行为...

【专利技术属性】
技术研发人员：牛永伟，张子斌，吴鑫坤，
申请(专利权)人：安徽数据堂科技有限公司，
类型：发明
国别省市：