特征提取方法、生物对象部位的状态识别方法及电子设备技术

本申请公开了一种特征提取方法、生物对象部位的状态识别方法及电子设备。其中，该方法包括：获取生物对象的多模态数据，其中，多模态数据至少包括：图像数据和文本数据，图像数据是通过图像传感器和/或光学仪器对生物对象的目标部位进行图像采集得到的图像，文本数据是对生物对象和目标部位在预设时间段内的状态进行描述的数据；分别对图像数据和文本数据进行特征提取，得到图像数据的全局特征和局部特征，以及文本数据的全局特征；对图像数据的全局特征和局部特征，以及文本数据的全局特征进行特征融合，得到多模态数据的多模态特征。本申请解决了相关技术中通过影像数据对皮肤状态进行识别的准确率较低的技术问题。态进行识别的准确率较低的技术问题。态进行识别的准确率较低的技术问题。

【技术实现步骤摘要】
特征提取方法、生物对象部位的状态识别方法及电子设备


[0001]本申请涉及数据处理领域，具体而言，涉及一种特征提取方法、生物对象部位的状态识别方法及电子设备。

技术介绍

[0002]目前针对用户皮肤状态的识别方法，通常是通过采集用户皮肤的影像数据实现的。但是，影像数据反映的是某个时刻用户的皮肤状态，而用户真正的皮肤状态还会受到用户的个人情况、皮损的发展进程、日晒时间长等影响，导致通过影像数据对皮肤状态进行识别的准确率较低。
[0003]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本申请实施例提供了一种特征提取方法、生物对象部位的状态识别方法及电子设备，以至少解决相关技术中通过影像数据对皮肤状态进行识别的准确率较低的技术问题。
[0005]根据本申请实施例的一个方面，提供了一种特征提取方法，包括：获取生物对象的多模态数据，其中，多模态数据至少包括：图像数据和文本数据，图像数据是通过图像传感器和/或光学仪器对生物对象的目标部位进行图像采集得到的图像，文本数据是对生物对象和目标部位在预设时间段内的状态进行描述的数据；分别对图像数据和文本数据进行特征提取，得到图像数据的全局特征和局部特征，以及文本数据的全局特征；对图像数据的全局特征和局部特征，以及文本数据的全局特征进行特征融合，得到多模态数据的多模态特征。
[0006]根据本申请实施例的另一方面，提供了一种生物对象部位的状态识别方法，包括：获取生物对象的多模态数据，其中，多模态数据至少包括：图像数据和文本数据，图像数据是通过图像传感器和/或光学仪器对生物对象的目标部位进行图像采集得到的图像，文本数据是对生物对象和目标部位在预设时间段内的状态进行描述的数据；分别对图像数据和文本数据进行特征提取，得到图像数据的全局特征和局部特征，以及文本数据的全局特征；对图像数据的全局特征和局部特征，以及文本数据的全局特征进行特征融合，得到多模态数据的多模态特征；基于多模态特征对目标部位的状态进行识别，得到目标部位的状态识别结果。
[0007]根据本申请实施例的另一方面，还提供了一种生物对象部位的状态识别方法，包括：响应作用于操作界面上的输入指令，在操作界面上显示生物对象的多模态数据，其中，多模态数据至少包括：图像数据和文本数据，图像数据是通过图像传感器和/或光学仪器对生物对象的目标部位进行图像采集得到的图像，文本数据是对生物对象和目标部位在预设时间段内的状态进行描述的数据；响应作用于操作界面上的分类指令，在操作界面上显示目标部位的状态识别结果，其中，状态识别结果是基于多模态数据的多模态特征对目标部位的状态进行识别得到的，多模态特征是图像数据的全局特征和局部特征，以及文本数据
的全局特征进行特征融合得到的，图像数据的全局特征和局部特征是对图像数据进行特征提取得到的，文本数据的全局特征是对文本数据进行特征提取得到的。
[0008]根据本申请实施例的另一方面，还提供了另一种生物对象部位的状态识别方法，包括：在虚拟现实VR设备或增强现实AR设备的呈现画面上展示生物对象的多模态数据，其中，多模态数据至少包括：图像数据和文本数据，图像数据是通过图像传感器和/或光学仪器对生物对象的目标部位进行图像采集得到的图像，文本数据是对生物对象和目标部位在预设时间段内的状态进行描述的数据；分别对图像数据和文本数据进行特征提取，得到图像数据的全局特征和局部特征，以及文本数据的全局特征；对图像数据的全局特征和局部特征，以及文本数据的全局特征进行特征融合，得到多模态数据的多模态特征；基于多模态特征对目标部位的状态进行识别，得到目标部位的状态识别结果；驱动VR设备或AR设备渲染展示状态识别结果。
[0009]根据本申请实施例的另一方面，还提供了又一种生物对象部位的状态识别方法，包括：通过调用第一接口获取生物对象的多模态数据，其中，第一接口包括第一参数，第一参数的参数值为多模态数据，多模态数据至少包括：图像数据和文本数据，图像数据是通过图像传感器和/或光学仪器对生物对象的目标部位进行图像采集得到的图像，文本数据是对生物对象和目标部位在预设时间段内的状态进行描述的数据；分别对图像数据和文本数据进行特征提取，得到图像数据的全局特征和局部特征，以及文本数据的全局特征；对图像数据的全局特征和局部特征，以及文本数据的全局特征进行特征融合，得到多模态数据的多模态特征；基于多模态特征对目标部位的状态进行识别，得到目标部位的状态识别结果；通过调用第二接口输出状态识别结果，其中，第二接口包括第二参数，第二参数的参数值为状态识别结果。
[0010]根据本申请实施例的另一方面，还提供了一种电子设备，包括：存储器，存储有可执行程序；处理器，用于运行程序，其中，程序运行时执行上述中任意一项的方法。
[0011]根据本申请实施例的另一方面，还提供了一种计算机可读存储介质，该计算机可读存储介质包括存储的可执行程序，其中，在可执行程序运行时控制计算机可读存储介质所在设备执行上述中任意一项的方法。
[0012]在本申请实施例中，通过获取生物对象的多模态数据，其中，多模态数据至少包括：图像数据和文本数据，图像数据是通过图像传感器和/或光学仪器对生物对象的目标部位进行图像采集得到的图像，文本数据是对生物对象和目标部位在预设时间段内的状态进行描述的数据；分别对图像数据和文本数据进行特征提取，得到图像数据的全局特征和局部特征，以及文本数据的全局特征；对图像数据的全局特征和局部特征，以及文本数据的全局特征进行特征融合，得到多模态数据的多模态特征。容易注意到的是，多模态数据不仅包含图像数据，还包含文本数据，通过对多模态数据进行特征提取和特征融合来获取多模态特征，从而融合后的多模态特征可以准确表征用户的皮肤状态，使得利用融合后的多模态特征来进行皮肤状态的识别的准确度较高，达到了提高对皮肤状态进行识别的准确率，进而解决了相关技术中通过影像数据对皮肤状态进行识别的准确率较低的技术问题。
[0013]容易注意到的是，上面的通用描述和后面的详细描述仅仅是为了对本申请进行举例和解释，并不构成对本申请的限定。
附图说明
[0014]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0015]图1是根据本申请实施例的一种特征提取方法的虚拟现实设备的硬件环境的示意图；
[0016]图2是根据本申请实施例的一种特征提取方法的计算环境的结构框图；
[0017]图3是根据本申请实施例1的特征提取方法的流程图；
[0018]图4是根据本申请实施例的一种第一图像特征提取的示意图；
[0019]图5是根据本申请实施例的一种第二图像特征提取的示意图；
[0020]图6a是根据本申请实施例的一种多模态数据的特征提取示意图；
[0021]图6b是根据本申请实施例的一种多模态数据的特征融合示意图；
[0022]图7是根据本申请实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特征提取方法，其特征在于，包括：获取生物对象的多模态数据，其中，所述多模态数据至少包括：图像数据和文本数据，所述图像数据是通过图像传感器和/或光学仪器对所述生物对象的所述目标部位进行图像采集得到的图像，所述文本数据是对所述生物对象和所述目标部位在预设时间段内的状态进行描述的数据；分别对所述图像数据和所述文本数据进行特征提取，得到所述图像数据的全局特征和局部特征，以及所述文本数据的全局特征；对所述图像数据的全局特征和局部特征，以及所述文本数据的全局特征进行特征融合，得到所述多模态数据的多模态特征。2.根据权利要求1所述的方法，其特征在于，在所述图像数据包括通过所述图像传感器采集到的第一图像的情况下，对所述图像数据进行特征提取，得到所述图像数据的全局特征和局部特征，包括：对所述第一图像进行全局编码，得到第一全局编码；确定所述第一图像中的至少一个目标图像块，其中，所述至少一个目标图像块包含所述目标部位；对所述至少一个目标图像块进行局部编码，得到第一局部编码；对所述第一全局编码和所述第一局部编码进行融合，得到所述图像数据的全局特征和局部特征。3.根据权利要求2所述的方法，其特征在于，对所述第一图像进行全局编码，得到第一全局编码，包括：对所述第一图像进行降采样，得到降采样图像；对所述降采样图像进行切分，得到多个第一图像块；对所述多个第一图像块进行特征提取，得到多个第一块特征；将所述多个第一图像块的第一块特征与预设特征进行拼接，得到第一拼接特征，其中，所述预设特征用于表征所述目标部位的特征；对所述第一拼接特征中位于预设滑动窗口内的特征进行自注意力处理，得到所述第一全局编码。4.根据权利要求3所述的方法，其特征在于，确定所述第一图像中的至少一个目标图像块，包括：确定所述多个第一图像块的第一块特征与所述预设特征的相似度；基于所述相似度，对所述多个第一图像块的第一块特征进行排序，得到排序后的第一块特征；获取所述排序后的第一块特征中排序靠前的预设数量的块特征；获取所述第一图像中所述预设数量的块特征对应的图像块，得到所述至少一个目标图像块。5.根据权利要求2所述的方法，其特征在于，对所述至少一个目标图像块进行局部编码，得到第一局部编码，包括：对所述至少一个目标图像块进行特征提取，得到所述至少一个目标图像块的目标块特征；
将所述至少一个目标图像块的目标块特征与预设特征进行拼接，得到第二拼接特征，其中，所述预设特征用于表征所述目标部位的特征；对所述第二拼接特征中位于预设滑动窗口内的特征进行自注意力处理，得到自注意力特征；对所述自注意力特征进行平均池化操作，得到所述第一局部编码。6.根据权利要求2所述的方法，其特征在于，对所述第一全局编码和所述第一局部编码进行融合，得到所述第一全局特征和所述第一局部特征，包括：对所述第一全局编码中的全局信息和所述第一局部编码中的局部信息进行交叉注意力处理，得到所述第一全局特征；对所述第一全局编码中的局部信息和所述第一局部编码中的全局信息进行交叉注意力处理，得到所述第一局部特征。7.根据权利要求1所述的方法，其特征在于，在所述图像数据包括通过所述光学仪器采集到的第二图像的情况下，对所述图像数据进行特征提取，得到所述图像数据的全局特征和局部特征，包括：对所述第二图像进行切分，得到多个第二图像块；对所述多个第二图像块进行特征提取，得到所述多个第二图像块的图像块编码；将所述多个第二图像块的图像块编码与预设特征进行拼接，得到第三拼接特征；对所述第三拼接特征进行注意力处理，得到所述图像数据的全局特征和局部特征。8.根据权利要求7所述的方法，其特征在于，对所述多个第二图像块进行特征提取，得到所述多个第二图像块的图像块编码，包括：对所述多个第二图像块进行编码，得到所述多个第二图像块的第二全局编码和第二局部编码；按照多个尺度对所述第二局部编码进行注意力处理，得到所述多个第二图像块的纹理编码；获取所述第二全局编码和所述纹理编码之和，得到所述图像块编码。9.根据权利要求1所述的方法，其特征在于，在所述图像数据包括通过所述图像传感器采集到的第一图像，和通过所述光学仪器采集到的第二图像的情况下，对所述图像数据的全局特征和局部特征，以及所述文本数据的全局特征进行特征融合，得到所述多模态数据的多模态特征，包括：对所述第一图像的全局特征和所述第二图像的局部特征进行交叉注意力处理，得到第一交...

【专利技术属性】
技术研发人员：许静，黄凯，赵爽，王宇，高远，刘伟，周彦捷，吕乐，
申请(专利权)人：阿里巴巴达摩院杭州科技有限公司，
类型：发明
国别省市：