基于动作信息的振动加速度信号生成方法技术

本发明专利技术公开了基于动作信息的振动加速度信号生成方法，包括：采集与真实纹理表面交互时的动作信息与振动加速度信号，并对其进行预测处理；开发基于动作信息的振动加速度信号生成模型，并利用收集到的动作信息与振动加速度信号对该模型进行训练；将实时的动作信息输入训练好的振动加速度信号生成模型，预测下一时刻的振动加速度信号；设计用于与虚拟纹理交互的力触觉再现装置，将预测的加速度信号作为装置的输入用于呈现触觉反馈并通过装置进行渲染

【技术实现步骤摘要】
基于动作信息的振动加速度信号生成方法


[0001]本专利技术涉及触觉纹理建模与渲染
，尤其涉及基于动作信息的振动加速度信号生成方法
。

技术介绍

[0002]数据驱动方法的主要关注点是通过将施加的动作映射到响应刺激
(
如接触振动
)
来模拟接触动力学
。
这种映射可以使用各种方法来完成
。
例如，以前使用
LPC(Linear Predictive Coding,
线性预测编码
)、AR(Autoregressive model,
自回归
)
模型
、RBFN(Radial Basis Function Network,
径向基函数网络
)
和
NNs(Neural Networks,
神经网络
)
作为这种映射的函数，由于数据驱动范式的性质，均显示出合理的重建精度
。
但现有方法不能完全获取相位信息
。
此外，许多方法没有考虑输入参数的可伸缩性：如果输入参数的维度增加，则模型不再能够产生准确的输出，这是由于插值模型的覆盖范围有限或者稀疏数据的插值能力降低
。
[0003]已有的研究表明，振动触觉反馈对于触觉纹理渲染是有效的
。
在此基础上，研究人员提出了各种数据驱动的方法用于触觉纹理建模和渲染
。
在早期的研究中，通过使用
LPC
或
AR
对各向同性触觉纹理进行建模和合成
。
后来，
Shin
等人介绍了用于接触振动建模的频率分解神经网络，并设计了一种自动收集接触加速度的电动装置
。
该网络的初始输出序列在交叉验证期间被随机化，即对于任意扫描速度和法向力，以输出不同的初始振动加速度
。Abdulali
等人通过引入递归约束投影
(RCP)
算法改进了数据分割过程
。
对于任意法向力和扫描速度，该算法使用两步插值方法来确定初始的振动加速度信号
。
最近，
Nai
等针对每个纹理建立了速度
、
法向力和加速度数据之间的映射关系，并将这种映射关系以查询表的形式存储起来
。
根据用户选择的纹理以及笔的速度和法向压力，他们使用信息重建的方法来生成虚拟加速度数据
。
这些现有的基于神经网络的方法未能对加速度信号的时间动态和局部空间特征进行编码，导致在一些情况下合成性能恶化同时也没有考虑到用基于深度学习的方法进行触觉纹理建模
。

技术实现思路

[0004]本专利技术所要解决的技术问题：提供基于动作信息的振动加速度信号生成方法，以便为用户与虚拟纹理的交互提供具有真实感的振动触觉反馈感受
。
[0005]本专利技术为解决以上技术问题而采用以下技术方案：
[0006]本专利技术提出的基于动作信息的振动加速度信号生成方法，包括以下步骤：
[0007]S1、
采集与真实纹理表面交互时的动作信息与振动加速度信号，并对其进行预测处理
。
[0008]S2、
构建基于动作信息的振动加速度信号生成模型，并利用采集到的动作信息与振动加速度信号对该模型进行训练
。
[0009]S3、
对训练完成的基于动作信息的振动加速度信号生成模型进行加速度初始化，
并将实时的动作信息输入，预测下一时刻的振动加速度信号
。
[0010]S4、
设计用于与虚拟纹理交互的力触觉再现装置，将预测的振动加速度信号作为装置的输入呈现触觉反馈并通过装置进行纹理粗糙度触觉再现
。
[0011]进一步的，步骤
S1
中，预测处理的具体内容为：采用无限脉冲响应滤波器以
25Hz
的截止频率对动作信息与振动加速度信号进行低通滤波，以
10Hz
的截止频率对振动加速度信号进行高通滤波，并采用
DFT321
算法，将三轴加速度信号转换为单轴信号
。
[0012]进一步的，步骤
S2
中，构建基于动作信息的振动加速度信号生成模型的具体内容为：
[0013]基于动作信息的振动加速度信号生成模型由
1D CNN
网络
、
解码器
‑
编码器网络和两个全连接层组成，其中
1D CNN
网络与解码器
‑
编码器网络两者并联，形成并联网络后与两个全连接层组成串联网络
。
[0014]1D CNN
网络包括五个卷积层
、
两个最大池化层
、
一个残差连接层和一个注意力机制层；第一个卷积层的卷积核个数为
m
，第二
、
第三卷积层的卷积核个数为
2m
，第四
、
第五卷积层的卷积核个数为
4m。
对于卷积运算，内核大小设置为
1*b
，而最大池化过程是在
1*(b
‑
1)
的窗口大小上进行的，随后应用注意力机制层来根据他们的贡献为产生的特征图分配不同的权重
。
[0015]解码器
‑
编码器网络中编码器包括输入层和两个
Bi
‑
LSTM
单元，解码器由时间注意层和两个
LSTM
组成；第一个
Bi
‑
LSTM
单元将加速度信号作为输入，生成
2n
个特征
。
第二个
Bi
‑
LSTM
单元从第一个单元获取特征，并将它们减少到
n。
相比之下，
LSTM
解码器中的节点数量稳步增加
。
[0016]进一步的，步骤
S2
中，训练基于动作信息的振动加速度信号生成模型包括以下步骤：
[0017]S201、
将采集到的动作信息和振动加速度信号作为样本输入到基于动作信息的振动加速度信号生成模型中，设定每次送入的样本批量大小
。
[0018]S202、1D CNN
网络将实时的振动加速度信号
x[n]作为输入，并更新网络，
1D CNN
输出大小为
1*c
的局部空间特征向量；同时编码器
‑
解码器网络将振动加速度信号的所有分区
p
作为输入，输出大小为
1*c
的时间动态特征向量
。
[0019]S203、
结合输入的振动加速度信息的空间
、
时间动态特征向量以及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于动作信息的振动加速度信号生成方法，其特征在于，包括：
S1、
采集与真实纹理表面交互时的动作信息与振动加速度信号，并对其进行预测处理；
S2、
构建基于动作信息的振动加速度信号生成模型，并利用采集到的动作信息与振动加速度信号对该模型进行训练；
S3、
对训练完成的基于动作信息的振动加速度信号生成模型进行加速度初始化，并将实时的动作信息输入，预测下一时刻的振动加速度信号
。2.
根据权利要求1所述的基于动作信息的振动加速度信号生成方法，其特征在于，步骤
S1
中，预测处理的具体内容为：采用无限脉冲响应滤波器以
25Hz
的截止频率对动作信息与振动加速度信号进行低通滤波，以
10Hz
的截止频率对振动加速度信号进行高通滤波，并采用
DFT321
算法，将三轴加速度信号转换为单轴信号
。3.
根据权利要求1所述的基于动作信息的振动加速度信号生成方法，其特征在于，步骤
S2
中，构建基于动作信息的振动加速度信号生成模型的具体内容为：基于动作信息的振动加速度信号生成模型由
1D CNN
网络
、
解码器
‑
编码器网络和两个全连接层组成，其中
1D CNN
网络与解码器
‑
编码器网络两者并联，形成并联网络后与两个全连接层组成串联网络；
1D CNN
网络包括五个卷积层
、
两个最大池化层
、
一个残差连接层和一个注意力机制层；第一个卷积层的卷积核个数为
m
，第二
、
第三卷积层的卷积核个数为
2m
，第四
、
第五卷积层的卷积核个数为
4m
；卷积运算时内核大小设置为
1*b
，最大池化层的窗口大小设置为
1*(b
‑
1)
，注意力机制层根据贡献为产生的特征图分配不同的权重；解码器
‑
编码器网络中解码器由时间注意层和两个
LSTM
组成，编码器由输入层和两个
Bi
‑
LSTM
单元组成；第一个
Bi
‑
LSTM
单元将加速度信号作为输入，生成
2n
个特征，第二个
Bi
‑
LSTM
单元从第一个单元获取特征，并将它们减少到
n。4.
根据权利要求1所述的基于动作信息的振动加速度信号生成方法，其特征在于，步骤
S2
中，训练基于动作信息的振动加速度信号生成模型包括以下步骤：
S201、
设定每次送入的样本批量大小，将采集到的动作信息和振动加速度信号作为样本输入到基于动作信息的振动加速度信号生成模型中；
S202、1D CNN
网络将实时的振动加速度信号作为输入更新网络，
1D CNN
输出大小为
1*c
的局部空间特征向量；同时编码器
‑
解码器网络将振动加速度信号的所有分区作为输入，输出大小为
1*c
的时间动态特征向量；
S203、
结合输入的振动加速度信息的空间
、
...

【专利技术属性】
技术研发人员：王松，陈大鹏，朱文怡，沈子涵，邓涵扬，金榆洲，吴秦春，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：