【技术实现步骤摘要】
本专利技术涉及断路器故障检测，尤其涉及一种营业厅服务管理方法及ar沉浸式介绍装置。
技术介绍
1、随着技术发展，在移动、电力等营业大厅中已采用ar沉浸式介绍装置服务于驻足行人，其作用为利用ar虚拟数字营业厅来替代传统人工服务。相较于人工服务，ar沉浸式介绍装置能够实现不间断的工作，同时降低人员工作量。
2、然而，现有的ar沉浸式介绍装置难以满足针对不同客户群体进行特定服务内容的制定，并且无法根据客户反馈及时调整需求，整体服务模式相对单一。因此，为了提升ar沉浸式介绍装置的整体服务效能，目前急需一种更加智能、更加全面的营业厅服务管理方法。
技术实现思路
1、本专利技术实施例所要解决的技术问题在于，提供一种营业厅服务管理方法及ar沉浸式介绍装置，不仅可以实现不同客户群体对特定服务内容的制定，还能根据客户反馈对服务内容进行及时调整。
2、为了解决上述技术问题，本专利技术实施例提供了一种营业厅服务管理方法，其通过ar沉浸式介绍装置来实现，所述方法包括以下步骤：
3、在检测到指定区域范围内有行人时，进行实时图像采集；
4、根据采集到的实时图像，检测是否有行人驻足情况；
5、若检测到有行人驻足，则结合预设的人脸向量信息库，对驻足行人进行信息匹配，且待匹配成功之后，生成该驻足行人的感兴趣内容并显示和/或播放。
6、其中，所述根据采集到的实时图像，检测是否有行人驻足情况的步骤具体包括：
7、获取采样间隔，并根据所述
8、采用深度学习中的backbone网络对各采样图像均进行人员特征的高阶提取，以实现每一采样图像中均对应生成有多个人员特征图像；其中，每一人员特征图像均通过像素点值来表征人员的特征值；
9、对同一采样图像中生成的多个人员特征图像进行去噪后，并通过合并及转换处理，以得到各采样图像的一维向量；
10、根据各采样图像的一维向量，检测是否有行人驻足。
11、其中，通过公式得到所述采样间隔t；其中，p为所述ar沉浸式介绍装置感应出的行人数量；
12、通过公式对同一采样图像中生成的多个人员特征图像进行去噪；其中，fij为某一采样图像中第i个人员特征图像上第j个像素点上的值；α为预先设置的超参数，其为固定值；
13、通过公式对同一采样图像中去噪处理后的多个人员特征图像进行合并，以形成为像素矩阵fij，并将每一采样图像合并所得的像素矩阵fij均转换成相应一个一维向量值；其中，n为某一采样图像中人员特征图像的总数量。
14、其中，所述根据各采样图像的一维向量，检测是否有行人驻足的具体步骤包括：
15、以连续三个采样图像的一维向量为一组，通过公式计算出每组一维向量之间的总体一维向量值dis；其中，vec1，vec2，vec3分别为同一组中连续三个采样图像的一维向量值；
16、若dis<γ，则检测出有行人驻足；反之，若dis≥γ，则检测出没有行人驻足；其中，γ为预先设置的超参数，其为固定值。
17、其中，所述若检测到有行人驻足，则结合预设的人脸向量信息库，对驻足行人进行信息匹配，且待匹配成功之后，生成该驻足行人的感兴趣内容并显示和/或播放的步骤具体包括：
18、在检测到有行人驻足时，采用预设的多任务卷积神经网络mtcnn对驻足行人人脸图像进行特征向量提取，以得到驻足行人的人脸向量；
19、若判定出所述驻足行人的人脸向量已存在于所述人脸向量信息库中，则认定信息匹配成功，且进一步根据所述人脸向量信息库已有的人员特征，在预设的服务内容推荐系统中，映射生成该驻足行人的感兴趣内容并显示和/或播放；其中，该驻足行人的感兴趣内容包括智能设备、宽带办理及家庭优惠套餐，并按照预定顺序依次显示和/或播放顺序。
20、其中，所述方法进一步包括：
21、若认定信息匹配不成功，则在所述人脸向量信息库中，基于所述驻足行人的人脸向量，检索出符合预设相似条件的人脸向量，且进一步根据所述人脸向量信息库中所检索的人脸向量的人员特征，在所述服务内容推荐系统中，映射生成该检索人脸向量对应人员特征的感兴趣内容并显示和/或播放。
22、其中，所述方法进一步包括：
23、在显示和/或播放该驻足行人的感兴趣内容时，计算出该驻足行人对每一个感兴趣内容的置信度，并根据每一个感兴趣内容的置信度，对每一个感兴趣内容进行显示和/或播放的速率调节。
24、其中，所述在显示和/或播放该驻足行人的感兴趣内容时，计算出该驻足行人对每一个感兴趣内容的置信度的步骤具体包括：
25、在每一感兴趣内容显示和/或播放时，均对该驻足行人的人脸进行实时图像采集；
26、采用预设的yolov8网络，对各感兴趣内容所对应采集的人脸图像进行脸部关键点检测，得到各感兴趣内容所对应由所有脸部关键点形成的一维向量；其中，所述脸部关键点包括眼镜四个关键点、耳朵两个关键点和鼻子关键点；
27、采用预设的conv算子，对各感兴趣内容所对应的一维关键点向量均进行卷积分析，以捕捉各脸部关键点之间的区域关系，得到各感兴趣内容的第一目标映射值；其中，所述各感兴趣内容的第一目标映射值均用于表征该驻足行人对相应感兴趣内容的兴趣度；
28、获取多个时刻上各感兴趣内容所对应的一维关键点向量并均组合成时序向量，且进一步采用预设的bi-lstm算法，对各感兴趣内容所组合的时序向量进行分析，得到各感兴趣内容的第二目标映射值；
29、根据各感兴趣内容的第一目标映射值及其对应的第二目标映射值，计算出该驻足行人对各感兴趣内容的置信度。
30、其中，通过公式eestotal＝δ*res1+ε*res2，计算出该驻足行人对各感兴趣内容的置信度restotal；其中，δ为权重值，且ε为权重值，且ε＝1-δ；res1为各感兴趣内容的第一目标映射值；res2为各感兴趣内容的第二目标映射值；convrig为conv算子中预测第一目标映射值res1的正确率，其为固定值；bilstmrig为bi-lstm算法中预测第二目标映射值res2的正确率，其为固定值；
31、通过公式计算出每一个感兴趣内容调节后的速率sp；其中，l为调节因子，其为预设的固定值。
32、本专利技术实施例还提供了一种ar沉浸式介绍装置，包括：
33、行人图像采集单元，用于在检测到指定区域范围内有行人时，进行实时图像采集；
34、驻足行人检测单元，用于根据采集到的实时图像，检测是否有行人驻足情况；
35、感兴趣内容介绍单元，用于若检测到有行人驻足，则结合预设的人脸向量信息库，对驻足行人进行信息匹配，且待匹配成功之后，生成该驻足行人的感兴趣内容并显示和/或播放。
36、实施本专利技术实施例，具有如下有益效果：
37本文档来自技高网...
【技术保护点】
1.一种营业厅服务管理方法，其通过AR沉浸式介绍装置来实现，其特征在于，所述方法包括以下步骤：
2.如权利要求1所述的营业厅服务管理方法，其特征在于，所述根据采集到的实时图像，检测是否有行人驻足情况的步骤具体包括：
3.如权利要求2所述的营业厅服务管理方法，其特征在于，通过公式得到所述采样间隔T；其中，P为所述AR沉浸式介绍装置感应出的行人数量；
4.如权利要求3所述的营业厅服务管理方法，其特征在于，所述根据各采样图像的一维向量，检测是否有行人驻足的具体步骤包括：
5.如权利要求1所述的营业厅服务管理方法，其特征在于，所述若检测到有行人驻足，则结合预设的人脸向量信息库，对驻足行人进行信息匹配，且待匹配成功之后，生成该驻足行人的感兴趣内容并显示和/或播放的步骤具体包括：
6.如权利要求5所述的营业厅服务管理方法，其特征在于，所述方法进一步包括：
7.如权利要求1所述的营业厅服务管理方法，其特征在于，所述方法进一步包括：
8.如权利要求7所述的营业厅服务管理方法，其特征在于，所述在显示和/或播放该驻足
9.如权利要求8所述的营业厅服务管理方法，其特征在于，通过公式Restotal＝δ*Res1+ε*Res2，计算出该驻足行人对各感兴趣内容的置信度Restotal；其中，δ为权重值，且ε为权重值，且ε＝1-δ；Res1为各感兴趣内容的第一目标映射值；Res2为各感兴趣内容的第二目标映射值；Convrig为Conv算子中预测第一目标映射值Res1的正确率，其为固定值；BiLSTMrig为Bi-LSTM算法中预测第二目标映射值Res2的正确率，其为固定值；
10.一种AR沉浸式介绍装置，其特征在于，包括：
...【技术特征摘要】
1.一种营业厅服务管理方法，其通过ar沉浸式介绍装置来实现，其特征在于，所述方法包括以下步骤：
2.如权利要求1所述的营业厅服务管理方法，其特征在于，所述根据采集到的实时图像，检测是否有行人驻足情况的步骤具体包括：
3.如权利要求2所述的营业厅服务管理方法，其特征在于，通过公式得到所述采样间隔t；其中，p为所述ar沉浸式介绍装置感应出的行人数量；
4.如权利要求3所述的营业厅服务管理方法，其特征在于，所述根据各采样图像的一维向量，检测是否有行人驻足的具体步骤包括：
5.如权利要求1所述的营业厅服务管理方法，其特征在于，所述若检测到有行人驻足，则结合预设的人脸向量信息库，对驻足行人进行信息匹配，且待匹配成功之后，生成该驻足行人的感兴趣内容并显示和/或播放的步骤具体包括：
6.如权利要求5所述的营业厅服务管理方法，其特征在于，所述方法进...
【专利技术属性】
技术研发人员：吴霜，常何流水，黄懋卿，马艳婷，刘军，姚禧，王慧琴，
申请(专利权)人：深圳供电局有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。