一种基于神经网络的触觉反馈生成方法及装置、计算机可存储介质制造方法及图纸

本发明专利技术公开了一种基于神经网络的触觉反馈生成方法及装置、计算机可存储介质，所述方法包括：实时获取当前播放的音频数据，对所述音频数据预处理得到所述音频数据的多个子音频数据；提取每个所述子音频数据的MFCC特征；将每个所述子音频数据的MFCC特征输入预先训练好的LSTM神经网络模型；获取所述LSTM神经网络模型的输出数据，并根据该输出数据确定用于驱动电机产生所述音频数据对应触觉反馈的PWM控制信号。本发明专利技术实施例实时获取当前播放的音频，通过预处理和提取MFCC音频特征，基于LSTM神经网络的特征分析能力输出可产生当前播放的音频对应触觉反馈的PWM控制信号，无需繁琐的事先设定触发条件及振动参数，具有一定灵活性，简化现有的触觉反馈生成方式。简化现有的触觉反馈生成方式。简化现有的触觉反馈生成方式。

【技术实现步骤摘要】
一种基于神经网络的触觉反馈生成方法及装置、计算机可存储介质


[0001]本专利技术涉及神经网络
，尤其涉及一种基于神经网络的触觉反馈生成方法及装置、计算机可存储介质。

技术介绍

[0002]随着VR技术的发展，人们越来越重视触觉体验，如果将听觉信息和触觉感知信息相结合，用户的沉浸式体验会增强，更有身临其境的感觉。现有的触觉反馈生成方式，是在播放音频之前，处理器一边将音频发送给扬声器，另一边同时将预先设定的振动参数发送给手柄或者触觉手套等带振动装置的移动终端，使带振动装置的移动终端在扬声器播放音频时同时反馈给用户振动触感。该方式需要在音频播放前读取事先存储的设定，例如在游戏中，可事先在程序中设定玩家在某个游戏场景下所处位置触发地震音频，同时触发手柄执行地震音频对应的振动参数，因此，该方式下需要事先设定触发条件及振动参数才能有反馈，灵活性低，且设定的操作较为繁琐，随着VR技术的发展，人们需要越来越多种类的触觉体验，在种类增加的情况下触觉体验的差异越来越小、越来越细微，进一步导致设定的操作繁琐及容易出错。

技术实现思路

[0003]本专利技术所要解决的技术问题在于，提供一种基于神经网络的触觉反馈生成方法及装置、计算机可存储介质，能够简化现有的触觉反馈生成方式，还能够在神经网络的特征分析能力下实现在确定音频对应触觉反馈时较低的错误率。
[0004]为了解决上述技术问题，本专利技术第一方面公开了一种基于神经网络的触觉反馈生成方法，所述方法包括：
[0005]实时获取当前播放的音频数据，对所述音频数据预处理得到所述音频数据的多个子音频数据；
[0006]提取每个所述子音频数据的MFCC特征；
[0007]将每个所述子音频数据的MFCC特征输入预先训练好的LSTM神经网络模型；
[0008]获取所述LSTM神经网络模型的输出数据，并根据该输出数据确定用于驱动电机产生所述音频数据对应触觉反馈的PWM控制信号。
[0009]作为一种可选的实施方式，在本专利技术第一方面中，所述LSTM神经网络模型输入多个子音频数据的MFCC特征，并输出该多个子音频数据的MFCC特征对应的电机振动参数；所述电机振动参数包括振动间隔时间、振动持续时间和振动次数。
[0010]作为又一种可选的实施方式，在本专利技术第一方面中，在所述将每个所述子音频数据的MFCC特征输入预先训练好的LSTM神经网络模型之前，所述方法还包括：
[0011]建立预设振动模型库，所述预设振动模型库包括多个预设动作的音频数据及每个所述预设动作对应的电机振动参数；所述电机振动参数包括振动间隔时间、振动持续时间
和振动次数；
[0012]建立LSTM神经网络初始模型；根据所述预设振动模型库训练所述LSTM神经网络初始模型，得到预先训练好的LSTM神经网络模型。
[0013]作为又一种可选的实施方式，在本专利技术第一方面中，所述根据所述预设振动模型库训练所述LSTM神经网络初始模型，得到预先训练好的LSTM神经网络模型，包括：
[0014]训练步骤：在所述预设振动模型库的所有所述预设动作中任选第一预设数量的目标预设动作，获取每个所述目标预设动作的音频数据中预设长度的任一连续的音频片段以及该目标预设动作对应的电机振动参数；将获取到的每个所述目标预设动作的音频片段对应的MFCC特征依次输入所述LSTM神经网络初始模型，并以该目标预设动作的电机振动参数作为模型目标输出调整所述LSTM神经网络初始模型的模型参数，以使所述LSTM神经网络初始模型的实际输出与该模型目标输出的误差小于预设误差；
[0015]重复所述训练步骤直到训练次数达到第二预设数量，将最后一次训练完成的LSTM神经网络初始模型确定为预先训练好的LSTM神经网络模型；其中，每次训练完成的LSTM神经网络初始模型的结构将作为下一次训练的LSTM神经网络初始模型的初始结构。
[0016]作为又一种可选的实施方式，在本专利技术第一方面中，所述根据所述预设振动模型库训练所述LSTM神经网络初始模型，得到预先训练好的LSTM神经网络模型，包括：
[0017]对所述预设振动模型库的每个所述预设动作的音频数据设定唯一对应的编号；
[0018]训练步骤：在所述预设振动模型库的所有所述预设动作中任选第一预设数量的目标预设动作，获取每个所述目标预设动作的音频数据中预设长度的任一连续的音频片段以及该目标预设动作对应的编号；将获取到的每个所述目标预设动作的音频片段对应的MFCC特征依次输入所述LSTM神经网络初始模型，并以该目标预设动作对应的编号作为模型目标输出调整所述LSTM神经网络初始模型的模型参数，以使所述LSTM神经网络初始模型的实际输出与该模型目标输出的误差小于预设误差；
[0019]重复所述训练步骤直到训练次数达到第二预设数量，将最后一次训练完成的LSTM神经网络初始模型确定为预先训练好的LSTM神经网络模型；其中，每次训练完成的LSTM神经网络初始模型的结构将作为下一次训练的LSTM神经网络初始模型的初始结构。
[0020]作为又一种可选的实施方式，在本专利技术第一方面中，所述根据该输出数据确定用于驱动电机产生所述音频数据对应触觉反馈的PWM控制信号，包括：
[0021]将所述LSTM神经网络模型输出的电机振动参数中的振动次数确定为目标脉冲的数量；
[0022]将所述LSTM神经网络模型输出的电机振动参数中的振动间隔时间确定为相邻两个所述目标脉冲的间隔时间；
[0023]将所述LSTM神经网络模型输出的电机振动参数中的振动持续时间确定为每个所述目标脉冲的持续时间；
[0024]根据所有所述目标脉冲的数量、相邻两个所述目标脉冲的间隔时间和每个所述目标脉冲的持续时间生成PWM控制信号；
[0025]以及，所述电机为线性电机；所述方法还包括：
[0026]将所述PWM控制信号发送至所述线性电机的驱动器，以使所述线性电机的驱动器根据所述PWM控制信号输出所述目标脉冲控制所述线性电机工作。
[0027]作为又一种可选的实施方式，在本专利技术第一方面中，在所述实时获取当前播放的音频数据之前，所述方法还包括：
[0028]与终端设备建立通信连接，所述终端设备通过扬声器播放音频；
[0029]以及，所述实时获取当前播放的音频数据，包括：
[0030]基于所述通信连接实时获取所述终端设备传输至所述扬声器的音频数据。
[0031]本专利技术第二方面公开了一种基于神经网络的触觉反馈生成装置，包括：
[0032]存储有可执行程序代码的存储器；
[0033]与所述存储器耦合的处理器；
[0034]所述处理器调用所述存储器中存储的所述可执行程序代码，执行本专利技术第一方面公开的一种基于神经网络的触觉反馈生成方法中的步骤。
[0035]本专利技术第三方面公开了一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本专利技术第一方面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的触觉反馈生成方法，其特征在于，所述方法包括：实时获取当前播放的音频数据，对所述音频数据预处理得到所述音频数据的多个子音频数据；提取每个所述子音频数据的MFCC特征；将每个所述子音频数据的MFCC特征输入预先训练好的LSTM神经网络模型；获取所述LSTM神经网络模型的输出数据，并根据该输出数据确定用于驱动电机产生所述音频数据对应触觉反馈的PWM控制信号。2.根据权利要求1所述的触觉反馈生成方法，其特征在于，所述LSTM神经网络模型输入多个子音频数据的MFCC特征，并输出该多个子音频数据的MFCC特征对应的电机振动参数；所述电机振动参数包括振动间隔时间、振动持续时间和振动次数。3.根据权利要求1所述的触觉反馈生成方法，其特征在于，在所述将每个所述子音频数据的MFCC特征输入预先训练好的LSTM神经网络模型之前，所述方法还包括：建立预设振动模型库，所述预设振动模型库包括多个预设动作的音频数据及每个所述预设动作对应的电机振动参数；所述电机振动参数包括振动间隔时间、振动持续时间和振动次数；建立LSTM神经网络初始模型；根据所述预设振动模型库训练所述LSTM神经网络初始模型，得到预先训练好的LSTM神经网络模型。4.根据权利要求3所述的触觉反馈生成方法，其特征在于，所述根据所述预设振动模型库训练所述LSTM神经网络初始模型，得到预先训练好的LSTM神经网络模型，包括：训练步骤：在所述预设振动模型库的所有所述预设动作中任选第一预设数量的目标预设动作，获取每个所述目标预设动作的音频数据中预设长度的任一连续的音频片段以及该目标预设动作对应的电机振动参数；将获取到的每个所述目标预设动作的音频片段对应的MFCC特征依次输入所述LSTM神经网络初始模型，并以该目标预设动作的电机振动参数作为模型目标输出调整所述LSTM神经网络初始模型的模型参数，以使所述LSTM神经网络初始模型的实际输出与该模型目标输出的误差小于预设误差；重复所述训练步骤直到训练次数达到第二预设数量，将最后一次训练完成的LSTM神经网络初始模型确定为预先训练好的LSTM神经网络模型；其中，每次训练完成的LSTM神经网络初始模型的结构将作为下一次训练的LSTM神经网络初始模型的初始结构。5.根据权利要求3所述的触觉反馈生成方法，其特征在于，所述根据所述预设振动模型库训练所述LSTM神经网络初始模型，得到预先训练好的LSTM神经网络模型，包括：对所述预设振动模型库的每个所述预设动作的音频数据设定唯一对应的编号；训练步骤...

【专利技术属性】
技术研发人员：陈沧毅，钟泽华，
申请(专利权)人：东莞市惟动智能科技有限公司，
类型：发明
国别省市：