一种交互人信息获取方法技术

本发明专利技术提供一种交互人信息获取方法，包括：基于深度学习技术对RGB图像进行人脸检测与人体检测；基于二分图匹配算法，分别对人脸检测结果以及人体检测结果进行最优匹配；将最优匹配结果进行组合，得到交互人；基于目标跟踪算法，对交互人进行目标跟踪，获得交互人的id信息；根据获得的id信息在地址数据库中进行检索，查询是否存在与id信息相关的交互人的历史交互记录；若存在，根据历史交互记录为交互人提供针对性服务；否则，按照正常流程为交互人提供一般性服务。采用人脸检测和人体检测结果，进行交互人信息合成，通过目标跟踪算法保持对交互人的短时有效记忆，当交互人非首次进行交互时，通过进行数据的关联查找，为当前交互人提供相关服务。互人提供相关服务。互人提供相关服务。

【技术实现步骤摘要】
一种交互人信息获取方法


[0001]本专利技术涉及机器人
，特别涉及一种交互人信息获取方法。

技术介绍

[0002]随着人工智能及硬件技术的发展，机器人的市场也越来越成熟，当前已有多种类型的机器人在实际场景中落地。然而，目前市面上的机器人功能同质化严重，如何在激烈的市场中崭露头角，无疑机器人提供服务的质量及用户体验无疑是最好的口碑。
[0003]当前市场中的机器人多数已经被程序化，服务流程已经预先设定，所以当出现目标交互人时，只能一遍遍地重复提供相同的服务，这就导致机器人的体验效果大打折扣，相比机器人，顾客可能更愿意找实实在在的人服务，而不是一部机械的机器。这就大大远离了开发机器人的初衷，其更希望机器人在某种程度上能够绝大部分替代人，在保障能正常完成服务工作的同时，还不能给人一种违和感，因此，本文提出了一种交互人信息获取方法。

技术实现思路

[0004]本专利技术提供一种交互人信息获取方法，用以采用人脸检测和人体检测结果，进行交互人信息的合成，并通过目标跟踪算法保持对交互人的短时有效记忆，当交互人非首次进行交互时，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种交互人信息获取方法，其特征在于，包括：基于深度学习技术对RGB图像进行人脸检测与人体检测；基于二分图匹配算法，分别对人脸检测结果以及人体检测结果进行最优匹配；将最优匹配结果进行组合，得到交互人；基于目标跟踪算法，对所述交互人进行目标跟踪，获得所述交互人的id信息；根据获得的所述id信息在地址数据库中进行检索，查询是否存在与所述id信息相关的所述交互人的历史交互记录；若存在，根据所述历史交互记录为所述交互人提供针对性服务；否则，按照正常流程为所述交互人提供一般性服务。2.如权利要求1所述的交互人信息获取方法，其特征在于，基于二分图匹配算法，分别对人脸检测结果以及人体检测结果进行最优匹配的步骤包括：获取人脸检测结果F
i
＝(F
xi
,F
yi
,F
wi
,F
hi
)，同时，获取人体检测结果B
i
＝(B
xi
,B
yi
,B
wi
,B
hi
)；基于获取的人脸检测结果F
i
＝(F
xi
,F
yi
,F
wi
,F
hi
)，计算人脸检测结果的中心点坐标F
ci
＝(F
cxi
,F
cyi
)；同时，基于获取的人体检测结果B
i
＝(B
xi
,B
yi
,B
wi
,B
hi
)，计算人体检测结果的中心点坐标B
ci
＝(B
cxi
,B
cyi
)；基于二分图匹配算法以及F
ci
＝(F
cxi
,F
cyi
)和B
ci
＝(B
cxi
,B
cyi
)求解代价矩阵cost
M*N
，分别得到人脸检测结果以及人体检测结果的最优匹配；其中，Fi表示第i个人脸框对应的人脸检测结果；Fxi表示第i个人脸框左上角坐标x；Fyi表示第i个人脸框左上角坐标y；Fwi:表示第i个人脸框的宽度；Fh表示人脸框的高度；Bi表示第i个人体框对应的人体检测结果；Bxi表示第i个人体框左上角坐标x；Byi表示第i个人体框左上角坐标y；Bwi表示第i个人体框的宽度；Bhi表示第i个人体框的高度；Fcxi表示第i个人脸框的中心坐标x,Fcyi表示第i个人脸框的中心坐标y；Bcxi表示第i个人体框的中心坐标x,Bcyi表示第i个人体框的中心坐标y；cost
M*N
表示代价矩阵，且为M行N列的矩阵，M为人脸检测结果的数目，N为人体检测结果的数目；Fcxm表示第m个人脸框的中心坐标x；Bcxn表示第n个人体框的中心坐标x；Bwn表示第n个人体框的宽度。3.如权利要求1所述的交互人信息获取方法，其特征在于，基于深度学习技术对RGB图像进行人脸检测与人体检测的步骤包括：捕捉预设视频中的连续帧，并采集所述连续帧中的当前帧图像；将所述当前帧图像转换为RGB图像，并判断转换的RGB图像是否合格；若判定转换的RGB图像合格，则触发检测请求指令，并基于所述检测请求指令从深度学习框架的集群服务器中，调取与所述检测请求指令相关的检测指标数据包；基于所述检测指标数据包，对人脸区域的人脸关键点进行检测，获得所述人脸区域的
关键特征点位置；同时，基于所述检测指标数据包，对人体区域的人体关键点进行检测，获得所述人体区域的关键特征点位置；将所述人脸区域的关键特征点位置和人体区域的关键特征点位置映射到深度学习网络上进行训练，训练获得深度检测网络；将合格的RGB图像，输入到所述深度检测网络中进行人脸检测以及人体检测；若判定转换的RGB图像不合格，则进行第一报警警示，并重新对所述当前帧图像进行RGB图像的转换。4.如权利要求3所述的交互人信息获取方法，其特征在于，训练获得深度检测网络的过程中，还包括：捕捉第一历史视频帧、第二历史视频帧以及第三历史视频帧，且所述第一历史视频帧、第二历史视频帧以及第三历史视频帧为相邻帧；提取所述第一历史视频帧的第一帧特征、第二历史视频帧的第二帧特征、第三历史视频帧的第三帧特征；确定所述第一帧特征、第二帧特征以及第三帧特征对应的...

【专利技术属性】
技术研发人员：孙龙建，毕延洁，刘忠轩，
申请(专利权)人：北京睿思奥图智能科技有限公司，
类型：发明
国别省市：