蛋白截面手控生成显示方法及装置、AR眼镜、介质制造方法及图纸

技术编号:34397046 阅读:53 留言:0更新日期:2022-08-03 21:32
本发明专利技术公开一种蛋白截面手控生成显示方法及装置、AR眼镜、介质。所述方法包括:基于手掌识别模型,来确定图像中是否有手掌出现;在有手掌出现时,获取手掌的平面位置;根据手掌的平面位置计算出手掌的空间位置;根据所述手掌的空间位置生成虚拟平面,并与蛋白三维全息影像进行bool减的三维运算,生成蛋白截面数据。本发明专利技术不仅可以通过AR眼镜实现蛋白三维结构体在三维物理空间的生成和显示,还可以通过手势控制蛋白全息结构体截面的生成,到达满意方位时需要手势确认才会生成截面图形,生成截面图形之前,会有一个虚拟面的影像叠加在蛋白的三维全息影像上,便于使用者观察和做决定。便于使用者观察和做决定。便于使用者观察和做决定。

【技术实现步骤摘要】
蛋白截面手控生成显示方法及装置、AR眼镜、介质


[0001]本专利技术涉及生物医学工程
,更具体地,涉及一种蛋白截面手控生成显示方法及装置、AR眼镜、介质。

技术介绍

[0002]蛋白质由多肽链空间无序堆叠而成的空间结构体,为了看清楚其微观结构,蛋白质的计算机三维成像技术得到了广泛应用。但人们只关注基本的氨基酸功能单元的排列方式,对于蛋白质内部的稠密分布以及孔隙率等情况缺乏深入的了解。
[0003]为了直观的展示蛋白质内部的稠密分布以及孔隙率等情况,人们一般在计算机上用一个虚拟的平面与蛋白质进行bool减操作,从而得到相应的截面。
[0004]蛋白质内部的稠密分布以及孔隙率等情况展示困难,截面操作需要选取多个参照和设置多个参数,对于一般人来说操作困难,且只能在二维的屏幕上展示,使用不方便,展示不形象。

技术实现思路

[0005]提供了本专利技术以解决现有技术中存在的上述问题。本专利技术是一种蛋白截面手控生成显示方法及装置、AR眼镜、介质,通过AR眼镜在现实空间中形象地展示蛋白的三维结构,并通过手势进行交互,包括截面的生成和显示,不用选取参照,也不用设置参数,简单直接且很形象。
[0006]本专利技术具体采用如下技术方案:
[0007]根据本专利技术的第一方案,提供一种蛋白截面手控生成显示方法,所述方法包括:基于手掌识别模型,来确定图像中是否有手掌出现;在有手掌出现时,获取手掌的平面位置;根据手掌的平面位置计算出手掌的空间位置;根据所述手掌的空间位置生成虚拟平面,并与蛋白三维全息影像进行bool减的三维运算,生成蛋白截面数据。
[0008]根据本专利技术的第二方案,提供一种AR眼镜,所述AR眼镜包括眼镜本体以及设置在眼镜本体上的第一相机、深度相机以及处理器,所述第一相机、深度相机分以及所述处理器两两之间信号连接;所述第一相机被配置为:在有手掌出现时,获取手掌的平面位置,并馈送至所述第二相机;所述深度相机被配置为:根据手掌的平面位置计算出手掌的空间位置,并馈送至所述处理器;所述处理器被配置为:基于手掌识别模型,来确定图像中是否有手掌出现,根据所述手掌的空间位置生成虚拟平面,并与蛋白三维全息影像进行bool减的三维运算,生成蛋白截面数据。
[0009]根据本专利技术的第三方案,提供一种蛋白截面手控生成显示装置,所述装置包括处理器,所述处理器被配置为:基于手掌识别模型,来确定图像中是否有手掌出现;在有手掌出现时,获取手掌的平面位置;根据手掌的平面位置计算出手掌的空间位置;根据所述手掌的空间位置生成虚拟平面,并与蛋白三维全息影像进行bool减的三维运算,生成蛋白截面数据。
[0010]根据本专利技术的第四方案,提供一种存储有指令的非暂时性计算机可读存储介质,当所述指令由处理器执行时,执行根据本专利技术任一实施例所述的方法。
[0011]根据本专利技术各实施例所述的蛋白截面手控生成显示方法及装置、AR眼镜、介质,不仅可以通过AR眼镜实现蛋白三维结构体在三维物理空间的生成和显示,还可以通过手势控制蛋白全息结构体截面的生成,到达满意方位时需要手势确认才会生成截面图形,生成截面图形之前,会有一个虚拟面的影像叠加在蛋白的三维全息影像上,便于使用者观察和做决定。本专利技术使用简单方便,无需选择参照和专业背景,操作更加直接和形象。
附图说明
[0012]在不一定按比例绘制的附图中,相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的相同附图标记可以表示相似部件的不同实例。附图大体上通过举例而不是限制的方式示出各种实施例,并且与说明书以及权利要求书一起用于对所专利技术的实施例进行说明。在适当的时候,在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的,而并非旨在作为本装置或方法的穷尽或排他实施例。
[0013]图1示出了根据本专利技术实施例的一种蛋白截面手控生成显示方法的流程图。
[0014]图2示出了根据本专利技术实施例的一种蛋白截面手控生成显示方法的流程图。
[0015]图3示出了根据本专利技术实施例的一种AR眼镜的结构简图。
具体实施方式
[0016]为使本领域技术人员更好的理解本专利技术的技术方案,下面结合附图和具体实施方式对本专利技术作详细说明。下面结合附图和具体实施例对本专利技术的实施例作进一步详细描述,但不作为对本专利技术的限定。本文中所描述的各个步骤,如果彼此之间没有前后关系的必要性,则本文中作为示例对其进行描述的次序不应视为限制,本领域技术人员应知道可以对其进行顺序调整,只要不破坏其彼此之间的逻辑性导致整个流程无法实现即可。
[0017]图1示出了根据本专利技术实施例的一种蛋白截面手控生成显示方法的流程图。本专利技术实施例提供一种蛋白截面手控生成显示方法,如图1所示,所述方法始于步骤S101,基于手掌识别模型,来确定图像中是否有手掌出现。需要说明的是,本文中所述的“手掌识别模型”是可以对图像进行识别的模型,具体可以识别出图像中是否有手掌,获取到手掌动作姿态。所述图像可以是通过相机采集到的影像数据,其具体可以是通过相机拍摄到的图片或者是从影像数据中逐帧提取出的图像。在实际应用时,AR眼镜的相机根据预设的时间间隔不断采集影像数据,以此来获得对应图像以供所述手掌识别模型进行识别。步骤S101在具体应用时,可以通过AR眼镜搭载的处理器来实现。
[0018]在具体应用时,例如,可以根据手掌识别模型识别出的手掌动作姿态,与预设的标准动作姿态进行比对,若当前图像中的手掌动作姿态与预设的标准动作姿态不一致,则重新进行识别,若当前图像中的手掌动作姿态与预设的标准动作姿态一致,则可以确定图像中有出现,继续进行步骤S102。所述预设的标准动作姿态是从手掌识别模型可以识别出的手掌动作姿态所选出的至少一个手掌动作姿态。
[0019]又例如,根据手掌识别模型来判断识别到手掌,若识别到手掌,则确定有手掌出
现,继续进行步骤S102。若没有识别到手掌,则重新识别。
[0020]在一些实施例中,通过如下方法得到所述手掌识别模型:基于第一数据集,通过训练软件进行训练,生成所述手掌识别模型,所述第一数据集包括若干手掌侧面图片。所述训练软件包括python软件和tensorflow软件中的一种及其组合。
[0021]步骤S102,在有手掌出现时,获取手掌的平面位置。获取手掌的平面位置的方式可以是通过AR眼镜上的彩色相机进行识别获取。
[0022]步骤S103,根据手掌的平面位置计算出手掌的空间位置。该步骤可以通过AR眼镜上的深度相机来实现。
[0023]步骤S104,根据所述手掌的空间位置生成虚拟平面,并与蛋白三维全息影像进行bool减的三维运算,生成蛋白截面数据。该步骤可以通过AR眼镜上的处理器进行实现。所述蛋白截面数据至少包括蛋白截面图形,在具体应用时,可以通过AR眼镜对其进行实时显示。在图像是根据相机逐帧采集的图片时,根据逐帧的图片可以获得逐帧的蛋白截面图形,以此形成一个连贯的影像,在配合AR眼镜使用时,手势操作更加直接和形本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种蛋白截面手控生成显示方法,其特征在于,所述方法包括:基于手掌识别模型,来确定图像中是否有手掌出现;在有手掌出现时,获取手掌的平面位置;根据手掌的平面位置计算出手掌的空间位置;根据所述手掌的空间位置生成虚拟平面,并与蛋白三维全息影像进行bool减的三维运算,生成蛋白截面数据。2.根据权利要求1所述的方法,其特征在于,在根据所述手掌的空间位置生成虚拟平面,并与蛋白三维全息影像进行bool减的三维运算,生成蛋白截面数据之后,所述方法还包括:根据手掌识别模型识别出手掌的动作姿态,与预设的确定动作姿态进行比对,当识别到手掌的动作姿态与预设的确定动作姿态一致的动作姿态时,显示当前的蛋白截面数据。3.根据权利要求1所述的方法,其特征在于,所述方法还包括:基于双手捏指识别模型,来确定图像中是否有双手捏指情况出现;在有双手捏指情况出现时,获取双手捏指的平面位置;根据双手捏指的平面位置计算出双手捏指的空间位置;根据双手捏指的空间位置生成虚拟球面,并与蛋白三维全息影像进行bool减的三维运算,生成蛋白截面数据。4.根据权利要求3所述的方法,其特征在于,所述双手捏指的平面位置包括第一平面位置和第二平面位置;所述根据双手捏指的平面位置计算出双手捏指的空间位置包括:根据所述第一平面位置和第二平面位置分别计算出第一空间位置和第二空间位置;所述根据双手捏指的空间位置生成虚拟球面包括:以所述第一空间位置和第二空间位置为直径生成虚拟球面。5.根据权利要求3所述的方法,其特征在于,通过如下方法得到所述双手捏指识别模型:基于第二数据集,通过训练软件进行训练,生成所述双手捏指识别模型,所述第二数据集包括若干双手捏指图片。6.一种AR眼镜,其特征在于,所述AR眼镜包括眼镜本体以及设置在眼镜本体上的第一相机、深度相机以及处理器,所述第一相机...

【专利技术属性】
技术研发人员:俞旸李嘉宸邵一楠徐乐研刘泉涌潘乙怀
申请(专利权)人:温州医科大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1