面向人群的虚拟人交互注意力驱动的姿态控制装置及方法制造方法及图纸

本发明专利技术涉及一种面向人群的虚拟人交互注意力驱动的姿态控制装置及方法，装置包括虚拟人决策系统和虚拟人交互系统，方法包括步骤：筛选当前交互人，调整虚拟人姿态，采集交互信息和根据交互信息进行交互反馈。本发明专利技术通过建立交互人备选列表，借助单目视觉进行距离过滤和角度过滤，并结合交互行为筛选出当前活跃交互对象，通过虚拟人交互系统驱动虚拟人向当前交互人调整姿态、脸部朝向和眼球注视方向，实现从人群中选择单一活跃对象进行交互的效果，提高交互对象的被尊重感和交互体验。提高交互对象的被尊重感和交互体验。提高交互对象的被尊重感和交互体验。

【技术实现步骤摘要】
面向人群的虚拟人交互注意力驱动的姿态控制装置及方法
[0001]

[0002]本专利技术涉及一种面向人群的虚拟人交互注意力驱动的姿态控制装置及方法，属于人工智能虚拟人


技术介绍

[0003]以大屏和投影为显示载体的虚拟人，已经较大范围用于交互式的客服咨询、产品展示和导购导览等线下场景，目前聚焦于虚拟人多模态交互的研究较多，已知的虚拟人交互姿态控制的研究和成果，主要聚焦于两个方面：一是通过真人数据采集来实现虚拟人姿态控制的拟真性和丰富性；二是在通过机器视觉识别，形成虚拟人与单个用户一对一交互的互相注视感觉，解决单轮或多轮交互中的体验感和连续性的问题。
[0004]这些技术方法和装置，应用于智能音箱，车载导航等私人空间，或单人场景下均已取得良好效果。而对于线下如政企、商场、景点等场景，以大屏显示或投影等平面介质展现的虚拟人，往往会面向前方多人，或者有人群作为交互背景，需要实时地从目标人群众发现和选择交互对象进行多人中的“选一交互”模式，此时针对单用户的姿态控制方式无法满足交互体验提升的目的。
[0005]本专利技术提供一种响本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向人群的虚拟人交互注意力驱动的姿态控制装置，其特征在于：包括虚拟人决策系统和虚拟人交互系统，所述虚拟人决策系统包括多模态意图理解模块、反馈生成模块和交互人选择模块；所述虚拟人交互系统包括语音交互模块、语音定向采集模块、视觉理解模块和虚拟人控制与呈现模块；所述交互人选择模块设置有嵌入式计算平台，交互人选择模块与单目RGB摄像头和双麦克定向拾音器连接，用于根据采集数据计算选择当前实际交互人；所述语音定向数据采集模块和视觉理解模块用于收集当前交互人的交互信息数据，并将交互信息数据传递至虚拟人决策系统的多模态意图理解模块进行处理；所述多模态意图理解模块用于处理当前交互人的交互信息数据，并将处理结果传递至反馈生成模块；所述反馈生成模块用于计算生成交互反馈内容，并将交互反馈内容传递至语音交互模块和虚拟人控制与呈现模块；所述虚拟人控制与呈现模块驱动虚拟人用于驱动虚拟人行为、调整姿态和输出交互反馈内容。2.一种面向人群的虚拟人交互注意力驱动的姿态控制方法，其特征在于：包括以下步骤：步骤1：虚拟人决策系统的交互人选择模块采集数据计算筛选当前实际交互人，所述计算过程通过嵌入式计算平台完成；步骤1.1：标定摄像头并计算焦距F，测量虚拟人在屏幕上的位置与摄像头安装位置的水平距离OHca，将焦距F和水平距离OHca作为虚拟人注意力计算参数保存；所述焦距F的计算公式如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）其中H是已知的标定物的实际高度，D为标定物到摄像头的实际距离，P为标定物在摄像头画面中的宽度的像素数；步骤1.2：单目RGB摄像头采集场景视频，根据场景视频识别出的人脸数据建立交互人备选列表；步骤1.3：交互人空间过滤：所述交互人空间过滤包括距离过滤和角度过滤，预先设定距离数值区间和角度数值区间，将落在距离数值区间和角度数值区间之外的数据在交互人备选列表中删除，并更新交互人备选列表；步骤1.4：交互行为筛选：根据语音信息定向过滤，将得到的结果作为当前交互人；步骤2：虚拟人交互系统的虚拟人模型呈现与控制模块驱动虚拟人朝向当前实际交互人并调整姿态；步骤3：虚拟人交互系统的语音定向数据采集模块和视觉理解模块收集当前实际交互人的交...

【专利技术属性】
技术研发人员：姜志宏，宋彬彬，彭辉，郭亮，刘佳，
申请(专利权)人：南京七奇智能科技有限公司，
类型：发明
国别省市：