【技术实现步骤摘要】
本公开涉及一种计算机视觉领域，尤其涉及一种通信方法及装置、穿戴设备、存储介质。
技术介绍
1、目前基于穿戴设备例如ar眼镜或者vr眼镜的远程通信技术是一种新兴的应用。在穿戴设备进行远程通信过程中，如果使用穿戴设备中内置的拍摄眼部的眼动相机和拍摄面部的相机实现远程通信，由于穿戴设备需要额外引入拍摄面部的相机，因此会增加穿戴设备的功耗和重量，使得佩戴舒适感下降和用电焦虑提升；如果单独采用外部相机实现远程通信，由于佩戴了眼镜设备使得穿戴者的眼部被遮挡，因此会导致眼部识别精度下降或无法识别。
技术实现思路
1、为克服相关技术中存在的问题，本公开提供一种通信方法及装置、穿戴设备及存储介质。
2、根据本公开实施例的第一方面，提供一种通信方法，至少包括：
3、获取所述穿戴设备的眼动相机采集得到的第一特征数据以及所述眼动相机以外的外部相机采集得到的第二特征数据；其中，所述第一特征数据表征为与穿戴者的眼部相关联的数据；所述第二特征数据表征为与所述穿戴者的面部和身体相关联的数据；
4、基于所述第一特征数据和所述第二特征数据，对所述穿戴者进行图像重建得到重建图像；所述重建图像用于表征所述穿戴者的虚拟形象；
5、将所述重建图像发送给与所述穿戴设备通信的通信设备，使得所述穿戴设备和所述通信设备能够基于所述重建图像进行通信。
6、在一些实施例中，所述第一特征数据包括：眼部特征数据；所述第二特征数据包括面部特征数据和身体特征数据；所述基于所述第一特征数
7、对所述眼部特征数据和所述面部特征数据进行特征融合，得到面部融合数据；
8、基于所述面部融合数据和所述身体特征数据，得到模型驱动数据；
9、基于所述模型驱动数据和所述穿戴设备采集的语音数据，得到所述重建图像。
10、在一些实施例中，所述对所述眼部特征数据和所述面部特征数据进行特征融合，得到面部融合数据，包括：
11、将所述面部特征数据与标准面部数据进行对齐，得到面部对齐数据；
12、基于所述面部对齐数据中的眼部初始数据和所述眼部特征数据，得到眼部修正尺度；
13、基于所述眼部修正尺度修正所述眼部特征数据，得到眼部修正数据；
14、将所述眼部修正数据融合到所述面部对齐数据中，得到所述面部融合数据。
15、在一些实施例中，所述将所述面部特征数据与标准面部数据进行对齐，得到面部对齐数据，包括：
16、基于所述面部特征数据的多个面部关键点、所述标准面部数据的多个标准关键点，得到面部对齐的整体优化误差；
17、对所述整体优化误差进行非线性优化，得到所述面部对齐数据。
18、在一些实施例中，所述基于所述面部对齐数据中的眼部初始数据和所述眼部特征数据，确定眼部修正尺度，包括：
19、获取所述眼动相机和所述外部相机的相对外参；
20、基于所述相对外参、所述眼部特征数据包含的两个眼部关键点的中心坐标和预设的眼动相机相对于所述眼部关键点的深度距离，得到两个所述眼部关键点之间的实际距离；
21、基于所述眼部初始数据中两个所述眼部关键点之间的初始距离与所述实际距离之间的比值，得到所述眼部修正尺度。
22、在一些实施例中，所述基于所述相对外参、所述眼部特征数据包含的两个眼部关键点的中心坐标和预设的眼动相机相对于所述眼部关键点的深度距离，得到两个所述眼部关键点之间的实际距离，包括：
23、基于两个所述眼部关键点的中心坐标和所述深度距离，得到两个所述眼部关键点的三维坐标；
24、基于两个所述眼部关键点的三维坐标和所述相对外参，得到两个所述眼部关键点之间的实际距离。
25、在一些实施例中，所述模型驱动数据包括表情权重以及多个身体关键点的坐标；所述基于所述面部融合数据和所述身体特征数据，得到所述模型驱动数据，包括：
26、基于所述面部融合数据所表征的目标表情、预设的多个基准表情以及多个所述基准表情的权重，得到与所述目标表情对应的表情权重；
27、将所述身体特征数据的多个身体关键点映射到三维空间中，得到多个身体关键点的坐标。
28、在一些实施例中，所述基于所述模型驱动数据和所述穿戴设备采集的语音数据，得到所述重建图像，包括：
29、获取虚拟驱动模型；
30、基于所述模型驱动数据和所述穿戴设备采集的语音数据，驱动所述虚拟驱动模型，得到所述重建图像。
31、在一些实施例中，所述获取所述穿戴设备的眼动相机采集得到的第一特征数据以及所述眼动相机以外的外部相机采集得到的第二特征数据，包括：
32、向所述外部相机所在的相机设备发送时钟同步信号或者接收所述相机设备发送的所述时钟同步信号；所述时钟同步信号用于对所述眼动相机和所述外部相机进行时钟同步；
33、基于时钟同步后的所述眼动相机和所述外部相机进行采集，得到所述第一特征数据和所述第二特征数据。
34、根据本公开实施例的第二方面，提供一种通信装置，应用于穿戴设备中，至少包括：
35、特征获取模块，配置为获取所述穿戴设备的眼动相机采集得到的第一特征数据以及所述眼动相机以外的外部相机采集得到的第二特征数据；其中，所述第一特征数据表征为与穿戴者的眼部相关联的数据；所述第二特征数据表征为与所述穿戴者的面部和身体相关联的数据；
36、重建图像模块，配置为基于所述第一特征数据和所述第二特征数据，对所述穿戴者进行图像重建得到重建图像；
37、通信模块，配置为将所述重建图像发送给与所述穿戴设备通信的通信设备，使得所述穿戴设备和所述通信设备能够基于所述重建图像进行通信。
38、根据本公开实施例的第三方面，提供一种穿戴设备，至少包括：
39、处理器；
40、用于存储处理器可执行指令的存储器；
41、其中，所述处理器被配置为执行如上述第一方面中所述的通信方法。
42、根据本公开实施例的第四方面，提供一种存储介质，包括：
43、当所述存储介质中的指令由穿戴设备的处理器执行时，使得穿戴设备能够执行如上述第一方面中的通信方法。
44、本公开的实施例提供的技术方案可以包括以下有益效果：
45、本公开实施例通过穿戴设备的眼动相机以及外部相机获取得到的第一特征数据和第二特征数据来得到重建图像，使得穿戴设备和通信设备能够基于该重建图像进行通信。如此，本公开实施例不需要在穿戴设备中额外的设置一个采集面部和身体的相机，能够降低穿戴设备因额外增加相机导致的功耗和重量增大的情况，提高了穿戴设备的佩戴舒适感和降低了用电焦虑感。
46、并且，本公开实施例是结合眼动相机和外部相机一起对穿戴者进行图像重建，而不是单独采用外部相机对穿戴者进行图本文档来自技高网...
【技术保护点】
1.一种通信方法，其特征在于，应用于穿戴设备中，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一特征数据包括：眼部特征数据；所述第二特征数据包括面部特征数据和身体特征数据；所述基于所述第一特征数据和所述第二特征数据，对所述穿戴者进行图像重建得到重建图像，包括：
3.根据权利要求2所述的方法，其特征在于，所述对所述眼部特征数据和所述面部特征数据进行特征融合，得到面部融合数据，包括：
4.根据权利要求3所述的方法，其特征在于，所述将所述面部特征数据与标准面部数据进行对齐，得到面部对齐数据，包括：
5.根据权利要求3所述的方法，其特征在于，所述基于所述面部对齐数据中的眼部初始数据和所述眼部特征数据，确定眼部修正尺度，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述相对外参、所述眼部特征数据包含的两个眼部关键点的中心坐标和预设的眼动相机相对于所述眼部关键点的深度距离，得到两个所述眼部关键点之间的实际距离，包括：
7.根据权利要求2所述的方法，其特征在于，所述模型驱动数据包括表情权重以及多个身体
8.根据权利要求2所述的方法，其特征在于，所述基于所述模型驱动数据和所述穿戴设备采集的语音数据，得到所述重建图像，包括：
9.根据权利要求1至8任一项所述的方法，其特征在于，所述获取所述穿戴设备的眼动相机采集得到的第一特征数据以及所述眼动相机以外的外部相机采集得到的第二特征数据，包括：
10.一种通信装置，其特征在于，应用于穿戴设备中，包括：
11.一种穿戴设备，其特征在于，包括：
12.一种非临时性计算机可读存储介质，当所述存储介质中的指令由穿戴设备的处理器执行时，使得穿戴设备能够执行如权利要求1至9中任一项所述的通信方法。
...【技术特征摘要】
1.一种通信方法，其特征在于，应用于穿戴设备中，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一特征数据包括：眼部特征数据；所述第二特征数据包括面部特征数据和身体特征数据；所述基于所述第一特征数据和所述第二特征数据，对所述穿戴者进行图像重建得到重建图像，包括：
3.根据权利要求2所述的方法，其特征在于，所述对所述眼部特征数据和所述面部特征数据进行特征融合，得到面部融合数据，包括：
4.根据权利要求3所述的方法，其特征在于，所述将所述面部特征数据与标准面部数据进行对齐，得到面部对齐数据，包括：
5.根据权利要求3所述的方法，其特征在于，所述基于所述面部对齐数据中的眼部初始数据和所述眼部特征数据，确定眼部修正尺度，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述相对外参、所述眼部特征数据包含的两个眼部关键点的中心坐标和预设的眼动相机相对于所述眼部关...
【专利技术属性】
技术研发人员：李虎民，孙舶寒，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。