一种基于多模态的数字人信息处理用人机交互系统技术方案

本发明专利技术公开了一种基于多模态的数字人信息处理用人机交互系统，涉及多模态人机交互技术领域，解决了现有技术中在多模态场景分析中无法对数字人进行感知分析和协同分析的技术问题，将对应多模态分析场景内数字人运行过程中产生的协同动作进行分析，判断数字人在多模态分析场景内的操作是否合格，从而判定对应多模态分析场景内的因操作人员动作不合格出现的问题，增强多模态分析场景运行的高效率；对多模态场景内数字人的感知进行分析，对数字人进行感知分析表示为数字人进行工序步骤操作时进行操作反应时长分析，判断数字人运行是否合格的同时判断工序步骤操作反应时长对工序步骤操作的影响，提高了多模态场景内运行的工作效率。作效率。作效率。

【技术实现步骤摘要】
一种基于多模态的数字人信息处理用人机交互系统


[0001]本专利技术涉及多模态人机交互
，具体为一种基于多模态的数字人信息处理用人机交互系统。

技术介绍

[0002]人机交互的发展历史，是从人适应计算机到计算机不断地适应人的发展史，交互的信息也由精确的输入输出信息变成非精确地输入输出信息，随着网络的普及和无线通讯技术的发展，人们的需求不再局限于界面美学形式的创新，现在的用户更多的希望在使用多媒体终端时，有着更便捷、更符合他们的使用习惯，同时又有着比较美观的操作界面；
[0003]但是在现有技术中，在多模态场景分析中无法对数字人进行感知分析和协同分析，导致多模态场景对应的操作工序运行效率降低；同时无法通过分析判断操作工序的存在风险，无法保证运行效率以及操作人员的安全；
[0004]为此，我们提出一种基于多模态的数字人信息处理用人机交互系统。

技术实现思路

[0005]本专利技术的目的在于提供一种基于多模态的数字人信息处理用人机交互系统，对工业领域内操作人员的运行场景进行分析，并根据运行场景模拟数字人，通过数字人多模态人机交互判断对应运行场景的运行风险，从而降低了实际操作人员在场景运行过程中的受伤风险概率，同时提高了实际操作人员场景运行的准确效率；对工业领域内的运行场景进行选择，运行场景表示为工业领域内各个操作工序，提高了多模态人机交互的针对性，减少简单操作工序进行多模态分析，造成不必要的成本浪费；将对应多模态分析场景进行数字人模拟运行，通过数字人模拟运行判断多模态分析场景在运行过程中存在的问题，当多模态分析场景内数字人进行模拟运行。
[0006]本专利技术的目的可以通过以下技术方案实现：
[0007]一种基于多模态的数字人信息处理用人机交互系统，包括人机交互平台，人机交互平台内设置有服务器，服务器通讯连接有多模态场景选择单元、协同分析单元、感知分析单元以及实时决策分析单元；
[0008]人机交互平台用于对工业领域内操作人员的运行场景进行分析，服务器生成多模态场景选择信号并将多模态场景选择信号发送至多模态场景选择单元，通过多模态场景选择单元对工业领域内的运行场景进行选择，服务器生成协同分析信号和感知分析信号并将协同分析信号和感知分析信号分别发送至协同分析单元和感知分析单元；协同分析单元接收到协同分析信号后，将对应多模态分析场景内数字人运行过程中产生的协同动作进行分析；感知分析单元接收到感知分析信号后，对多模态场景内数字人的感知进行分析；服务器生成实时决策分析信号并将实时决策分析信号发送至实时决策分析单元，通过实时决策分析单元对多模态场景内工序为人工操作和机械操作进行决策分析。
[0009]进一步地，多模态场景选择单元的多模态场景选择过程如下：
[0010]采集到工业领域内运行场景，并将对应运行场景设置标号i，i为大于1的自然数，采集到实际操作人员在运行场景内运行出现错误频率以及运行内出现错误对应的消耗成本，并将实际操作人员在运行场景内运行出现错误频率以及运行内出现错误对应的消耗成本分别标记为PLi和CBi；采集到运行场景在实际操作人员的运行下合格完成的频率，并将运行场景在实际操作人员的运行下合格完成的频率标记为HPi；
[0011]通过公式获取到工业领域内运行场景的分析选择系数Xi，其中，a1、a2以及a3均为预设比例系数，且a1＞a2＞a3＞0；将运行场景的分析选择系数Xi与分析选择系数阈值进行比较：
[0012]若运行场景的分析选择系数Xi超过分析选择系数阈值，则将对应运行场景标记为多模态分析场景，并将多模态分析场景发送至服务器；若运行场景的分析选择系数Xi未超过分析选择系数阈值，则将对应运行场景标记为非多模态分析场景，并将非多模态分析场景发送至服务器。
[0013]进一步地，协同分析单元的协同分析过程如下：
[0014]对多模态分析场景内数字人的运行协同动作进行分析；将多模态分析场景内数字人的工作姿态保持时长与对应工序步骤的操作时长进行采集，若工作姿态保持时长高于对应工序步骤的操作时长，则判定对应工序步骤的运行合格，并将对应工序步骤标记为合格分析步骤，反之则判定对应工序的运行不合格，并将对应工序步骤表示为不合格分析步骤；
[0015]将各个合格分析步骤对应数字人肢体动作的活动角度进行采集，并采集到合格分析步骤对应的活动角度最大值和活动角度最小值，通过合格分析步骤对应的活动角度最大值和活动角度最小值获取到合格分析步骤对应工序的协同角度区间；并将协同角度区间内各个活动角度对应的工作姿态进行采集，并将对应工作姿态标记为合格工作姿态；将各个不合格分析步骤对应数字人肢体动作的活动角度进行采集，并将采集的不合格分析步骤对应活动角度标记为不合格协同角度；并将不合格协同角度对应的工作姿态进行采集，并将对应工作姿态标记为不合格工作姿态；
[0016]将协同角度区间和合格工作姿态以及不合格协同角度和不合格工作姿态发送至服务器。
[0017]进一步地，感知分析单元的感知分析过程如下：
[0018]将对应多模态场景内工序的步骤标记为分析步骤，设置标号o，o为大于1的自然数，根据多模态场景内工序运行步骤的顺序将分析步骤构建分析步骤集合，若当前分析步骤完成后，相邻未操作的分析步骤能够进行操作，则判定当前分析步骤操作合格并将其标记为合格步骤，反之则判定当前分析步骤操作不合格并将其标记为不合格步骤；
[0019]采集到不合格步骤在操作过程中数字人的操作反应时长超过对应反应时长阈值，并将不合格步骤在操作过程中数字人的操作反应时长标记为工序步骤的问题反应时长；
[0020]采集到合格步骤在操作过程中数字人的操作反应时长，并将合格步骤在操作过程中数字人的操作反应时长与对应操作反应时长阈值进行比较：若合格步骤在操作过程中数字人的操作反应时长超过对应操作反应时长阈值，则将对应合格步骤的操作反应时长表示为合格低效时长；若合格步骤在操作过程中数字人的操作反应时长未超过对应操作反应时长阈值，则将对应合格步骤的操作反应时长表示为合格高效时长；将多模态场景内工序步
骤的问题反应时长、合格低效时长以及合格高效时长发送至服务器。
[0021]进一步地，实时决策分析单元的决策分析过程如下：
[0022]将实际操作人员对多模态场景内工序步骤的平均反应时长进行采集，并将实际操作人员对多模态场景内工序步骤的平均反应时长分别与多模态场景内工序步骤的问题反应时长、合格低效时长以及合格高效时长进行比较：
[0023]若实际操作人员对多模态场景内工序步骤的平均反应时长超过问题反应时长，则将对应工序步骤标记为机械操作步骤；若实际操作人员对多模态场景内工序步骤的平均反应时长处于合格低效时长与问题反应时长之间，则将对应工序步骤标记为机械人工转化操作步骤，机械人工转化操作步骤表示为机械人工均为操作的步骤；若实际操作人员对多模态场景内工序步骤的平均反应时长未超过合格高效时长，则将对应工序步骤标记为人工操作步骤；将机械操作步骤、机械人工转化操作步骤以及人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态的数字人信息处理用人机交互系统，其特征在于，包括人机交互平台，人机交互平台内设置有服务器，服务器通讯连接有多模态场景选择单元、协同分析单元、感知分析单元以及实时决策分析单元；人机交互平台用于对工业领域内操作人员的运行场景进行分析，服务器生成多模态场景选择信号并将多模态场景选择信号发送至多模态场景选择单元，通过多模态场景选择单元对工业领域内的运行场景进行选择；服务器生成协同分析信号和感知分析信号并将协同分析信号和感知分析信号分别发送至协同分析单元和感知分析单元；协同分析单元接收到协同分析信号后，将对应多模态分析场景内数字人运行过程中产生的协同动作进行分析；感知分析单元接收到感知分析信号后，对多模态场景内数字人的感知进行分析；服务器生成实时决策分析信号并将实时决策分析信号发送至实时决策分析单元，通过实时决策分析单元对多模态场景内工序为人工操作和机械操作进行决策分析。2.根据权利要求1所述的一种基于多模态的数字人信息处理用人机交互系统，其特征在于，多模态场景选择单元的多模态场景选择过程如下：采集到工业领域内运行场景，并将对应运行场景设置标号i，i为大于1的自然数，采集到实际操作人员在运行场景内运行出现错误频率以及运行内出现错误对应的消耗成本，并将实际操作人员在运行场景内运行出现错误频率以及运行内出现错误对应的消耗成本分别标记为PLi和CBi；采集到运行场景在实际操作人员的运行下合格完成的频率，并将运行场景在实际操作人员的运行下合格完成的频率标记为HPi；通过公式获取到工业领域内运行场景的分析选择系数Xi，其中，a1、a2以及a3均为预设比例系数，且a1＞a2＞a3＞0；将运行场景的分析选择系数Xi与分析选择系数阈值进行比较：若运行场景的分析选择系数Xi超过分析选择系数阈值，则将对应运行场景标记为多模态分析场景，并将多模态分析场景发送至服务器；若运行场景的分析选择系数Xi未超过分析选择系数阈值，则将对应运行场景标记为非多模态分析场景，并将非多模态分析场景发送至服务器。3.根据权利要求2所述的一种基于多模态的数字人信息处理用人机交互系统，其特征在于，协同分析单元的协同分析过程如下：对多模态分析场景内数字人的运行协同动作进行分析；将多模态分析场景内数字人的工作姿态保持时长与对应工序步骤的操作时长进行采集，若工作姿态保持时长高于对应工序步骤的操作时长，则判定对应工序步骤的运行合格，并将对应工序步骤标记为合格分析步骤，反之则判定对应工序的运行不合格，并将对应工序步骤表示为不合格分析步骤；将各个合格分析步骤对应数字人肢体动作的活动角度进行采集，并采集到合格分析步骤对应的活动角度最大值和活动角度最小值，通过合...

【专利技术属性】
技术研发人员：刘浩，刘威，叶志太，
申请(专利权)人：花脸数字技术杭州有限公司，
类型：发明
国别省市：