人机交互的信息处理方法及装置、计算机设备及可读介质制造方法及图纸

本发明专利技术提供一种人机交互的信息处理方法及装置、计算机设备及可读介质。所述方法包括：在人机交互过程中，通过根据各时间点和相关的动作提示的对应关系，最晚在各时间点到达时，在交互界面显示对应的时间点相关的动作提示；采集用户根据各时间点相关的动作提示所做出的非接触式的动作；根据预先训练的特征提取模型从采集的用户的动作中提取对应的动作特征；根据预设的各时间点与对应的动作特征的对应关系、以及各时间点提取的用户的动作特征，为用户在交互中的一系列动作进行评价。本发明专利技术通过采用上述技术方案，避免用户通过点击键盘或者触摸屏幕来接触式动作实现交互，可以采用非接触式的动作交互来玩游戏，使得游戏的交互方式更加智能。

【技术实现步骤摘要】
人机交互的信息处理方法及装置、计算机设备及可读介质
本专利技术涉及计算机应用
，尤其涉及一种人机交互的信息处理方法及装置、计算机设备及可读介质。
技术介绍
随着科技的发展，各种交互式应用的出现，逐步的丰富了人们的精神文化生活。例如，现有的很多交互式应用，如音乐节奏类游戏的太鼓达人、QQ炫舞等等，其交互方式多是根据音乐节奏和用户界面(UserInterface；UI)的提示，让用户触摸屏幕点击图标或者键盘操作，实现交互，并在交互结束时，根据交互过程中用户是否根据提示点击图标或者键盘，为用户打分。现有的上述交互方式，需要用户在交互过程中，全程盯着屏幕，及时根据提示触摸点击屏幕中的图标进行交互操作。或者用户在交互过程中，需要全程手握键盘，以及时根据提示按动键盘进行交互操作。交互方式非常简单，例如，若检测用户在对应的时间点，按照提示通过触摸的方式或者通过敲击键盘的方式点击屏幕上的图标，则表示用户在时间点交互正确；累计得分。否则若未检测到用户在该时间点点击图标，则表示用户在该时间点交互不正确，不得分。基于以上所述，现有技术的交互应用中的上述交互处理都需要用户通过点击键盘或者触摸屏幕来接触式动作实现交互，交互中束缚了用户的手，导致交互的方式智能性较差。
技术实现思路
本专利技术提供了一种人机交互的信息处理方法及装置、计算机设备及可读介质，用于提高交互式应用中的交互的智能性。本专利技术提供一种人机交互的信息处理方法，所述方法包括：在人机交互过程中，根据各时间点和相关的动作提示的对应关系，最晚在各所述时间点到达时，在交互界面显示对应的所述时间点相关的所述动作提示；采集用户根据各所述时间点相关的所述动作提示所做出的非接触式的动作；根据预先训练的特征提取模型从采集的所述用户的动作中提取对应的动作特征；根据预设的各所述时间点与对应的动作特征的对应关系、以及各所述时间点提取的所述用户的所述动作特征，为所述用户在交互中的一系列动作进行评价。进一步可选地，如上所述的方法中，根据各时间点和相关的动作提示的对应关系，最晚在各所述时间点到达时，在交互界面显示对应的所述时间点相关的所述动作提示之前，所述方法还包括：采集设计者在人机交互过程中做出的各非接触式的动作以及各所述动作做出时对应的游戏中的所述时间点；根据所述特征提取模型，从所述设计者做出的各所述动作中提取所述动作特征；建立各所述时间点和对应的所述动作特征的对应关系；根据各所述动作特征生成对应的所述动作提示；建立各所述时间点和对应的所述动作提示的对应关系。进一步可选地，如上所述的方法中，所述动作包括人脸动作、面部表情动作以及手势动作中的至少一个。进一步可选地，如上所述的方法中，根据预先训练的特征提取模型从采集的所述用户的动作中提取对应的动作特征，具体包括如下至少一种：根据人脸动作特征提取模型从采集的所述用户的人脸动作中提取对应的人脸动作特征；根据预先训练的面部表情特征提取模型从采集的所述用户的面部表情中提取对应的面部表情特征；和根据预先训练的手势特征提取模型从采集的所述用户的手势动作中提取对应的手势特征。进一步可选地，如上所述的方法中，采用预先训练的特征提取模型从采集的所述用户的动作中提取对应的动作特征之前，所述方法还包括：采集数条训练数据；各所述训练数据中包括训练动作和所述训练动作对应的已知动作特征；根据所述数条训练数据训练所述特征提取模型。进一步可选地，如上所述的方法中，根据预设的各所述时间点与对应的动作特征的对应关系、以及各所述时间点提取的所述用户的所述动作特征，为所述用户打分，具体包括：根据预设的各所述时间点与对应的动作特征的对应关系、以及各所述时间点提取的所述用户的所述动作特征，验证各所述时间点的所述用户的所述动作特征是否正确；根据各所述时间点的所述用户的所述动作特征是否正确，在对应的所述时间点为所述用户积分；统计所述用户在各所述时间点的打分，得到所述用户在交互中的最终打分。本专利技术提供一种人机交互的信息处理装置，所述装置包括：显示模块，用于在人机交互过程中，根据各时间点和相关的动作提示的对应关系，最晚在各所述时间点到达时，在交互界面显示对应的所述时间点相关的所述动作提示；采集模块，用于采集用户根据各所述时间点相关的所述动作提示所做出的非接触式的动作；提取模块，用于根据预先训练的特征提取模型从采集的所述用户的动作中提取对应的动作特征；打分模块，用于根据预设的各所述时间点与对应的动作特征的对应关系、以及各所述时间点提取的所述用户的所述动作特征，为所述用户在交互中的一系列动作进行评价。进一步可选地，如上所述的装置中，还包括建立模块和生成模块；所述采集模块，还用于采集设计者在人机交互过程中做出的各非接触式的动作以及各所述动作做出时对应的游戏中的所述时间点；所述提取模块，还用于根据所述特征提取模型，从所述设计者做出的各所述动作中提取所述动作特征；所述建立模块，用于建立各所述时间点和对应的所述动作特征的对应关系；所述生成模块，用于根据各所述动作特征生成对应的所述动作提示；所述建立模块，还用于建立各所述时间点和对应的所述动作提示的对应关系。进一步可选地，如上所述的装置中，所述动作包括人脸动作、面部表情动作以及手势动作中的至少一个。进一步可选地，如上所述的装置中，所述提取模块，具体用于执行如下至少一种操作：根据人脸动作特征提取模型从采集的所述用户的人脸动作中提取对应的人脸动作特征；根据预先训练的面部表情特征提取模型从采集的所述用户的面部表情中提取对应的面部表情特征；和根据预先训练的手势特征提取模型从采集的所述用户的手势动作中提取对应的手势特征。进一步可选地，如上所述的装置中，还包括训练模块；所述采集模块，还用于采集数条训练数据；各所述训练数据中包括训练动作和所述训练动作对应的已知动作特征；所述训练模块，用于根据所述数条训练数据训练所述特征提取模型。进一步可选地，如上所述的装置中，所述打分模块，具体用于：根据预设的各所述时间点与对应的动作特征的对应关系、以及各所述时间点提取的所述用户的所述动作特征，验证各所述时间点的所述用户的所述动作特征是否正确；根据各所述时间点的所述用户的所述动作特征是否正确，在对应的所述时间点为所述用户积分；统计所述用户在各所述时间点的打分，得到所述用户在交互中的最终打分。本专利技术还提供一种计算机设备，所述设备包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的人机交互的信息处理方法。本专利技术还提供一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的人机交互的信息处理方法。本专利技术的人机交互的信息处理方法及装置、计算机设备及可读介质，在人机交互过程中，通过根据各时间点和相关的动作提示的对应关系，最晚在各时间点到达时，在交互界面显示对应的时间点相关的动作提示；采集用户根据各时间点相关的动作提示所做出的非接触式的动作；根据预先训练的特征提取模型从采集的用户的动作中提取对应的动作特征；根据预设的各时间点与对应的动作特征的对应关系、以及各时间点提取的用户的动作特征，为用户在交互中的一系列动作进行评价。本专利技术通过采用上述技术方案，避免用户通过点击键盘或者触本文档来自技高网...

【技术保护点】
1.一种人机交互的信息处理方法，其特征在于，所述方法包括：在人机交互过程中，根据各时间点和相关的动作提示的对应关系，最晚在各所述时间点到达时，在交互界面显示对应的所述时间点相关的所述动作提示；采集用户根据各所述时间点相关的所述动作提示所做出的非接触式的动作；根据预先训练的特征提取模型从采集的所述用户的动作中提取对应的动作特征；根据预设的各所述时间点与对应的动作特征的对应关系、以及各所述时间点提取的所述用户的所述动作特征，为所述用户在交互中的一系列动作进行评价。

【技术特征摘要】
1.一种人机交互的信息处理方法，其特征在于，所述方法包括：在人机交互过程中，根据各时间点和相关的动作提示的对应关系，最晚在各所述时间点到达时，在交互界面显示对应的所述时间点相关的所述动作提示；采集用户根据各所述时间点相关的所述动作提示所做出的非接触式的动作；根据预先训练的特征提取模型从采集的所述用户的动作中提取对应的动作特征；根据预设的各所述时间点与对应的动作特征的对应关系、以及各所述时间点提取的所述用户的所述动作特征，为所述用户在交互中的一系列动作进行评价。2.根据权利要求1所述的方法，其特征在于，根据各时间点和相关的动作提示的对应关系，最晚在各所述时间点到达时，在交互界面显示对应的所述时间点相关的所述动作提示之前，所述方法还包括：采集设计者在人机交互过程中做出的各非接触式的动作以及各所述动作做出时对应的游戏中的所述时间点；根据所述特征提取模型，从所述设计者做出的各所述动作中提取所述动作特征；建立各所述时间点和对应的所述动作特征的对应关系；根据各所述动作特征生成对应的所述动作提示；建立各所述时间点和对应的所述动作提示的对应关系。3.根据权利要求1所述的方法，其特征在于，所述动作包括人脸动作、面部表情动作以及手势动作中的至少一个。4.根据权利要求3所述的方法，其特征在于，根据预先训练的特征提取模型从采集的所述用户的动作中提取对应的动作特征，具体包括如下至少一种：根据人脸动作特征提取模型从采集的所述用户的人脸动作中提取对应的人脸动作特征；根据预先训练的面部表情特征提取模型从采集的所述用户的面部表情中提取对应的面部表情特征；和根据预先训练的手势特征提取模型从采集的所述用户的手势动作中提取对应的手势特征。5.根据权利要求1所述的方法，其特征在于，采用预先训练的特征提取模型从采集的所述用户的动作中提取对应的动作特征之前，所述方法还包括：采集数条训练数据；各所述训练数据中包括训练动作和所述训练动作对应的已知动作特征；根据所述数条训练数据训练所述特征提取模型。6.根据权利要求1所述的方法，其特征在于，根据预设的各所述时间点与对应的动作特征的对应关系、以及各所述时间点提取的所述用户的所述动作特征，为所述用户在交互中的一系列动作进行评价，具体包括：根据预设的各所述时间点与对应的动作特征的对应关系、以及各所述时间点提取的所述用户的所述动作特征，验证各所述时间点的所述用户的所述动作特征是否正确；根据各所述时间点的所述用户的所述动作特征是否正确，在对应的所述时间点为所述用户积分；统计所述用户在各所述时间点的打分，得到所述用户在交互中的最终打分。7.一种人机交互的信息处理装置，其特征在于，所述装置包括：显示模块，用于在人机交互过程中，根...

【专利技术属性】
技术研发人员：杜雅洁，姚淼，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11