一种基于跨模态信号重建技术的针灸教学系统技术方案

本发明专利技术公开了一种基于跨模态信号重建技术的针灸教学系统，包含：数据采集模块，动作捕捉模块，语义提取模块，触觉重建模块并作为生成对抗网络的生成网络部分；触觉判别模块，并作为生成对抗网络的判别网络部分，在判别网络中构建精准重建的触觉信号的优化目标函数。跨模态信号重建模块，用于将针灸过程视频输入精准重建的触觉信号的优化目标函数，其对应的已知的精准重建的触觉信号为输出。该教学系统同时基于教师针灸数据库中参数波形，获得学习者针灸学习的评分。本发明专利技术解决了言传身教中教学周期长、优质资源短缺的弊端，同时跨模态信号重建技术为学生提供了视触一体的沉浸感体验，有助于缩短学习周期、提升学习质量。提升学习质量。提升学习质量。

【技术实现步骤摘要】
一种基于跨模态信号重建技术的针灸教学系统


[0001]本专利技术涉及虚拟教学领域，特别是一种基于跨模态信号重建技术的针灸教学系统。

技术介绍

[0002]当前，针灸教学存在流派众多、优质教学资源紧缺、人才培养周期长、传统训练方 式效率低、教学评估不全面等难题，现有VR虚拟教学系统虽然在一定程度上解决了上 述言传身教的困境，但又常存在操作体验与真实环境不一致的缺陷，导致教学质量差、 学生学习效率不高，使得这些VR虚拟教学系统难以普及。究其原因，主要是传统虚拟 环境仅提供视听服务，缺乏针刺过程的手部触觉反馈，而针灸医师常需要凭借“针感
”ꢀ
等触感来控制施针的频率、力度、角度等，从而保证针灸治疗的疗效。因此，针灸教学 系统亟须引入新兴触觉服务，通过音、视、触多模态信息的反馈，为虚拟针灸教学带来 更为极致的互动感受和场景体验，提升虚拟教学质量。
[0003]为了在虚拟教学系统中引入精准的触觉力反馈，常需要配置额外的触觉设备，常用 的触觉设备有Force Dimension Omega.X、Force Dimension Sigma.7、Geomagic Touch， 其中，3D Geomagic Touch具有体型小巧、操作便捷、力反馈稳定的优势，因此本虚拟 针灸教学系统采用Geomagic Touch来渲染针刺触觉，Geomagic Touch使用OpenhapticsSDK来配置触觉的大小及方向，并提供基本的阻力模型、弹簧模型供用户选用，而针 刺的触觉计算较为复杂，因此，本系统需要解决的关键问题在于，如何精准地重建出针 刺入皮肤时的触觉信号。在针刺过程中，当视觉上观察到针刺入皮肤，触觉上会感受到 力明显变大，说明视觉信息与触觉信息存在一定的语义关联性。为此，可对视觉信号进 行跨模态触觉重建，在虚拟系统中1：1还原真实针灸触感。
[0004]此外，由于目前针刺手法操作中的各要素目前尚无统一的规范及标准，教学均以文 字讲述为主，教师根据自己对经典手法的认识授课，具体操作则以授课老师的手法作为 一般标准，因此在教学评估方面缺乏稳定性、客观性。

技术实现思路

[0005]本专利技术所要解决的技术问题是：克服现有技术的不足而提供一种基于跨模态信号重 建技术的针灸教学系统，该技术能够实现在虚拟针灸教学系统中引入精准的触觉力反 馈。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种基于跨模态信号重建技术的针灸 教学系统，包括：
[0007]数据采集模块，利用视频拍摄设备记录学习者针灸过程视频、利用触觉采集装置记录学 习者针灸触觉数据；
[0008]动作捕捉模块，以针灸过程视频为输入、学习者的手法针法信息为输出；
[0009]语义提取模块，以学习者的手法针法信息为输入、其对应的时空上下文语义特征
为输出； 触觉重建模块，基于生成对抗网络，以时空上下文语义特征为输入、精准重建的触觉信 号为输出，作为生成对抗网络的生成网络部分；
[0010]触觉判别模块，以精准重建的触觉信号、以及学习者针灸触觉数据为输入、对应的学习 者精准重建的触觉信号的判别结果为输出，作为生成对抗网络的判别网络部分，并在判 别网络中基于学习者精准重建的触觉信号、以及针灸触觉数据，构建精准重建的触觉信 号的优化目标函数；
[0011]跨模态信号重建模块，用于将针灸过程视频输入精准重建的触觉信号的优化目标函数， 其对应的已知的精准重建的触觉信号为输出，构建并训练获得跨模态信号重建模型； 评分模块，针对精准重建的触觉信号进行力渲染，获得精准重建的触觉信号预设参数的 波形，并基于教师针灸数据库中已知参数波形，按照预设方法A获得学习者针灸学习 相对于教学者的评分。
[0012]进一步地，前述的动作捕捉模块，其被配置以执行以下动作：将针灸过程视频V输 入到的动作捕捉模块中，获得用户手部骨骼关键点位置的手法信息，记为P
H
，同时获 得学习者所握针灸针关键点位置的针法信息，记为P
N
，其中，关键点分别为针灸针的 针尖、针体针柄连接点、针尾；进一步获得学习者的手法针法P＝{P
H
,P
N
}。
[0013]进一步地，前述的语义提取模块，其被配置以执行以下动作：以手法、针法信息 P＝{P
H
,P
N
}为输入，输入至语义提取模块中，获得时空上下文语义特征F。
[0014]进一步地，前述的触觉重建模块，其被配置以执行以下动作：时空上下文语义特征 F为输入、精准重建出触觉信号T为输出构建触觉重建模块，作为生成对抗网络的生 成网络部分；生成对抗网络的判别网络部分采用全连接层，基于精准重建的触觉信号T、 以及学习者针灸触觉数据T，按如下公式：
[0015][0016]构建精准重建的触觉信号的优化目标函数L
GAN
(T,T)，用于判断重建出的触觉信号是否 真实，其中T代表真实触觉信号；其中，E(
·
)表示分布函数的期望值，P
data
(x)代表真 实信号的分布，P
data
(z)代表重建信号的分布。
[0017]进一步地，前述的触觉采集模块为指尖传感器，并利用指尖传感器采集学习者的指 尖受力信号、针尖受力信号。
[0018]进一步地，前述的触觉采集模块利用Geomagic Touch触觉设备针对学习者精准重 建的触觉信号进行力渲染，获得学习者精准重建的触觉信号的位置、速度、加速度、力 的波形参数(s1,s2,s3,s4)。
[0019]进一步地，前述的预设方法A为：基于教师针灸数据库中教师针灸触觉信号的位 置、速度、加速度、力的动作波形参数(t1,t2,t3,t4)，以及学习者精准重建的触觉信号的 位置、速度、加速度、力的波形参数(s1,s2,s3,s4，对应获得学生子评分分别为 score1＝mean(t1‑
s1)，score2＝mean(t2‑
s2)，score3＝mean(t3‑
s3)， score4＝mean(t4‑
s4)，进一步获得学习者评分为 score＝w1score1+w2score2+w3score3+w4score4，其中，w1,w2,w3,w4为各子评分占总分的 权重。
[0020]进一步地，前述的动作捕模块为：Openpose的动作捕捉模块或Yolo 3D的动作捕捉 模块。
[0021]本专利技术采用以上技术方案，与现有技术相比的有益效果如下：实现从视频信号到
触 觉信号的跨模态重建任务，精准地重建出针刺入皮肤时的触觉信号，为虚拟针灸教学带 来更为极致的音、视、触互动感受和场景体验，提升了虚拟教学质量。
附图说明
[0022]图1为基于跨模态信号重建技术的针灸教学系统。
[0023]图2为本专利技术方法的跨模态信号重建模型。
[0024]图3为本专利技术方法的视频信号、触觉信号采集装置。...

【技术保护点】

【技术特征摘要】
1.一种基于跨模态信号重建技术的针灸教学系统，其特征在于，包括：数据采集模块，利用视频拍摄设备记录学习者针灸过程视频、利用触觉采集装置记录学习者针灸触觉数据；动作捕捉模块，以针灸过程视频为输入、学习者的手法针法信息为输出；语义提取模块，以学习者的手法针法信息为输入、其对应的时空上下文语义特征为输出；触觉重建模块，基于生成对抗网络，以时空上下文语义特征为输入、精准重建的触觉信号为输出，作为生成对抗网络的生成网络部分；触觉判别模块，以精准重建的触觉信号、以及学习者针灸触觉数据为输入、对应的学习者精准重建的触觉信号的判别结果为输出，作为生成对抗网络的判别网络部分，并在判别网络中基于学习者精准重建的触觉信号、以及针灸触觉数据，构建精准重建的触觉信号的优化目标函数；跨模态信号重建模块，用于将针灸过程视频输入精准重建的触觉信号的优化目标函数，其对应的已知的精准重建的触觉信号为输出，构建并训练跨模态信号重建模型；评分模块，针对精准重建的触觉信号进行力渲染，获得精准重建的触觉信号预设参数的波形，并基于教师针灸数据库中已知参数波形，按照预设方法A获得学习者针灸学习相对于教学者的评分。2.根据权利要求1所述的一种基于跨模态信号重建技术的针灸教学系统，其特征在于，所述动作捕捉模块，其被配置以执行以下动作：将针灸过程视频V输入到的动作捕捉模块中，获得用户手部骨骼关键点位置的手法信息，记为P
H
，同时获得学习者所握针灸针关键点位置的针法信息，记为P
N
，其中，关键点分别为针灸针的针尖、针体针柄连接点、针尾；进一步获得学习者的手法针法P＝{P
H
,P
N
}。3.根据权利要求2所述的一种基于跨模态信号重建技术的针灸教学系统，其特征在于，所述语义提取模块，其被配置以执行以下动作：以手法、针法信息P＝{P
H
,P
N
}为输入，输入至语义提取模块中，获得时空上下文语义特征F。4.根据权利要求3所述的一种基于跨模态信号重建技术的针灸教学系统，其特征在于，所述触觉重建模块，其被配置以执行...

【专利技术属性】
技术研发人员：周亮，李昂，倪守祥，陈亚男，陈建新，魏昕，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：