基于多图像的特征识别和设备制造技术

本发明专利技术提供一种基于多图像的特征识别和设备，所述方法包括：获取多个图像，所述多个图像是用于确定至少一个相同的特征信息的具有关联性的图像序列；分别获取所述多个图像的特征向量；对获取的特征向量进行多种组合；利用第一机器学习模型对所述多个图像对应的特征向量的组合进行识别以得到图像特征信息，其中不同的图像对应的特征向量的组合不相同，所述第一机器学习模型是利用样本特征向量组合和相应的特征信息进行训练得到的。

Feature recognition and equipment based on multi images

The invention provides a feature recognition and equipment based on multi-image, the method includes: acquiring a plurality of images, the plurality of images are related image sequences for determining at least one identical feature information; acquiring the feature vectors of the plurality of images separately; and combining the acquired feature vectors in a variety of ways. The first machine learning model identifies the combination of the feature vectors corresponding to the multiple images to obtain the image feature information. The combination of the feature vectors corresponding to different images is different. The first machine learning model is trained by using the combination of the sample feature vectors and the corresponding feature information.

【技术实现步骤摘要】
基于多图像的特征识别和设备
本专利技术涉及人工智能图像处理领域，具体涉及一种基于多图像的特征识别和设备。
技术介绍
利用机器学习、深度学习和神经网络算法等人工智能的手段，对图像进行分类和识别是工业界以及学术界较为普遍的分析方法。上述识别方法需要先对初始的模型进行训练，训练的方式是利用大量的单张图像及其对应的标签(特征信息)输入模型，模型可以通过学习到的权重对输入图片给出一个预测。当认为模型识别准确性达到预期目标后，即可使用该模型对未知特征信息的图像进行分类识别，以确定其特征信息。这种方法对模型的输入要求不高，可以适用于大多数问题。在一些应用领域中，存在着具有较强关联信息的图像，例如眼底图像。在一般环境下，被检测者的左眼和右眼图像是都有必要进行采集的，而对于同一个人，左眼和右眼包含的异常(特征信息)是大概率相似的。利用这种图像，以现有的模型训练方式能够得到一个识别模型，但该模型是分别根据两张图像进行识别，最终得到两个特征信息，就识别过程而言并没有任何关联性。虽然通过大量样本数据的训练，能够提高模型识别的准确性，但其准确性的瓶颈很难被突破，实际使用时，该模型仍很可能会针对同一个人的左眼图像和右眼图像识别出不同的特征信息。由于现有的基于人工智能的图像特征识别方式没有考虑多个图像本身的关联性，因此其在面临识别多图像的问题时准确性仍有待提高。
技术实现思路
有鉴于此，本专利技术提供了一种基于多图像的特征识别方法，包括：获取多个图像，所述多个图像是用于确定至少一个相同的特征信息的具有关联性的图像序列；分别获取所述多个图像的特征向量；对获取的特征向量进行多种组合；利用第一机器学习模型对所述多个图像对应的特征向量的组合进行识别以得到图像特征信息，其中不同的图像对应的特征向量的组合不相同，所述第一机器学习模型是利用样本特征向量组合和相应的特征信息进行训练得到的。可选地，所述分别获取所述多个图像的特征向量，包括：分别将所述多个图像输入第二机器学习模型，使所述第二机器学习模型分别对所述多个图像进行识别，其中所述第二机器学习模型是利用样本图像和相应的特征信息进行训练得到的；获取所述第二机器学习模型在识别各个所述图像时，其中一个中间层输出的特征向量。可选地，所述中间层是所述第二机器学习模型的中间层中的最后一层。可选地，所述特征向量的组合是将不同的至少两个特征向量进行首尾相接。可选地，生成的各个特征向量组合分别包含所有的特征向量。可选地，所述对获取的特征向量进行多种组合，包括：根据预定的特征向量组合与图像顺序的对应关系，从特征向量组合的全部方式中选定与所述图像数量相同及相应的特征向量组合方式；按照选定的特征向量组合方式对特征向量进行组合。可选地，所述多个图像为眼底图像，所述多个图像的数量是2个，分别为左眼眼底图像和右眼眼底图像，所述图像特征信息为病灶信息。本专利技术还提供了一种多图像特征识别模型训练方法，包括：获取多个图像及其对应的特征信息，其中所述多个图像均对应相同的特征信息；获取所述多个图像的特征向量；对获取的特征向量进行多种组合；确定样本数据，所述样本数据为所述图像对应的特征向量组合和所述特征信息，其中不同的图像对应的特征向量的组合不相同；利用多个所述样本数据对机器学习模型进行训练，以使所述机器学习模型根据所述图像对应的特征向量组合识别出所述特征信息。本专利技术还提供了另一种多图像特征识别模型训练方法，包括：获取多个样本数据，每个所述样本数据均包括多个图像及其对应的特征信息，并且每个所述样本数据中的多个图像均对应相同的特征信息；将所述多个样本数据输入到机器学习模型的第一分类模块中，使所述第一分类模块根据所述多个图像识别出所述特征信息；获取所述第一分类模块在识别各个所述图像时，其中一个中间层输出的特征向量；对获取的特征向量进行多种组合；将所述多个图像对应的特征向量输入到所述机器学习模型的第二分类模块中，使所述第二分类模块根据所述多个图像对应的特征向量的组合识别出所述特征信息。本专利技术还提供了一种基于多图像的特征识别设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述基于多图像的特征识别方法。根据本专利技术提供的基于多图像的特征识别方法和设备，首先获取具有关联性的图像序列，进而分别获取各个图像的特征向量，以特征向量反应出各个图像的特征，将特征向量进行组合，使得到的特征向量组合综合多个图像的特点；将对应于各个图像的不同的特征向量组合输入机器学习模型，使机器学习模型根据各个相关联图像的特征向量组合而识别图像序列所包含的语义特征，使得识别过程不再根据单张图像进行识别，而利用特征向量的组合对多个图像建立联系，使机器学习模型考虑图像序列本身的关联性，由此可以提高识别结果的准确性。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例中的基于多图像的特征识别方法的流程图；图2为本专利技术实施例中的基于双眼底图像的特征识别方法的流程图；图3为本专利技术实施例中的一种多图像特征识别模型训练方法的流程图；图4为本专利技术实施例中的另一种多图像特征识别模型训练方法的流程图。具体实施方式下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。此外，下面所描述的本专利技术不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。本专利技术实施例提供一种基于多图像的特征识别方法，该方法可以由计算机、服务器等电子设备执行，如图1所示该方法包括如下步骤：S1，获取多个图像，这些图像是用于确定至少一个相同的特征信息的具有关联性的图像序列。作为一种举例说明，假设有一个被拍摄对象存在一个或多个特征，可以分别从不同的角度对该对象进行拍摄从而获得多张图像，这些图像即为上述图像序列；作为另一种举例说明，假设有多个拍摄对象，它们本身存在一个或多个相同的特征，可以分别对这些对象进行拍摄，所得到的图像即为上述图像序列。由此可以得知，本专利技术中图像的拍摄对象可以是同一个目标，也可以是不同的目标，而这些图像本身用作确定一致的特征。特征信息是一种语义信息，例如表示图片中的被拍摄对象是什么物体，或者被拍摄对象是什么形状，或者被拍摄对象存在什么异常等等。S2，分别获取上述具有关联性的多个图像的特征向量。获得特征向量的算法有多种，例如可以基于机器视觉的原理，根据图像中的像素值、线条等物理特征计算出特征向量，或者也可以利用人工智能的手段，通过训练特征识别模型，由模型中的隐层输出特征向量。假设有i1……in这n个图像，分别对每个图像抽取m维特征向量即可得到：Featurei1＝[v11,v12,v13,…,v1(m-1),v1m]、Featurei2＝[v21,v22,v23,本文档来自技高网...

【技术保护点】
1.一种基于多图像的特征识别方法，其特征在于，包括：获取多个图像，所述多个图像是用于确定至少一个相同的特征信息的具有关联性的图像序列；分别获取所述多个图像的特征向量；对获取的特征向量进行多种组合；利用第一机器学习模型对所述多个图像对应的特征向量的组合进行识别以得到图像特征信息，其中不同的图像对应的特征向量的组合不相同，所述第一机器学习模型是利用样本特征向量组合和相应的特征信息进行训练得到的。

【技术特征摘要】
1.一种基于多图像的特征识别方法，其特征在于，包括：获取多个图像，所述多个图像是用于确定至少一个相同的特征信息的具有关联性的图像序列；分别获取所述多个图像的特征向量；对获取的特征向量进行多种组合；利用第一机器学习模型对所述多个图像对应的特征向量的组合进行识别以得到图像特征信息，其中不同的图像对应的特征向量的组合不相同，所述第一机器学习模型是利用样本特征向量组合和相应的特征信息进行训练得到的。2.根据权利要求1所述的方法，其特征在于，所述分别获取所述多个图像的特征向量，包括：分别将所述多个图像输入第二机器学习模型，使所述第二机器学习模型分别对所述多个图像进行识别，其中所述第二机器学习模型是利用样本图像和相应的特征信息进行训练得到的；获取所述第二机器学习模型在识别各个所述图像时，其中一个中间层输出的特征向量。3.根据权利要求2所述的方法，其特征在于，所述中间层是所述第二机器学习模型的中间层中的最后一层。4.根据权利要求1所述的方法，其特征在于，所述特征向量的组合是将不同的至少两个特征向量进行首尾相接。5.根据权利要求4所述的方法，其特征在于，生成的各个特征向量组合分别包含所有的特征向量。6.根据权利要求4所述的方法，其特征在于，所述对获取的特征向量进行多种组合，包括：根据预定的特征向量组合与图像顺序的对应关系，从特征向量组合的全部方式中选定与所述图像数量相同及相应的特征向量组合方式；按照选定的特征向量组合方式对特征向量进行组合。7.根据权利要求1-6中任一项所述的方法，其特征在于，所述多个图像为眼...

【专利技术属性】
技术研发人员：谷硕，
申请(专利权)人：上海鹰瞳医疗科技有限公司，
类型：发明
国别省市：上海,31