一种基于对抗对齐的图对比学习方法技术

本发明专利技术公开了图对比学习技术领域的一种基于对抗对齐的图对比学习方法，包括：S1，收集到异构图数据集，进行分子图建模，对图像文本匹配；S2，将收集到的异构图数据集基于多个对称的元路径进行转换；S3，根据分子图建模为分子中的每个原子匹配；S4，根据对称的元路径转换后的异构图数据集进行数据增强；S5，使用多模态编码器的输出嵌入作为图像文本对的联合表示，该基于对抗对齐的图对比学习方法，结构设计合理，能够解决分子任务面临标记数据不足的问题，能够提高学习法准确率，能够保证所有的疵点图像能够被检测到，提高质量。提高质量。提高质量。

【技术实现步骤摘要】
一种基于对抗对齐的图对比学习方法


[0001]本专利技术涉及图对比学习
，具体为一种基于对抗对齐的图对比学习方法。

技术介绍

[0002]数据集都是用图结构表示的，其中对象及其之间的关系用节点和节点间的边表示。传统的机器学习模型难以处理这样的非欧几里得数据。随着神经网络有关模型的快速发展，图神经网络在处理这类图网络数据方面显示出了强大的潜力，图表示学习旨在学习一种编码函数，该函数充分利用图数据的优势，将具有复杂结构的图数据转换为保留多样化图属性和结构特征的低维空间中的密集表示。
[0003]问题实验过程既耗时又消耗资源，分子任务面临标记数据不足等问题，并且部分模型只适用于同构图的学习中，在异构图中不能取得较好的结果，对抗对齐的图对比学习检测方法及应用较少，学习法准确率较低，无法保证所有的疵点图像能够被检测到，质量较低，为此我们提出了一种基于对抗对齐的图对比学习方法。

技术实现思路

[0004]本专利技术的目的在于提供一种基于对抗对齐的图对比学习方法，以解决上述
技术介绍
中提出了问题实验过程既耗时又消耗资源，分子任务面临标记数据不足等问题，并且部分模型只适用于同构图的学习中，在异构图中不能取得较好的结果，对抗对齐的图对比学习检测方法及应用较少，学习法准确率较低，无法保证所有的疵点图像能够被检测到的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种基于对抗对齐的图对比学习方法，包括：
[0006]S1，收集到异构图数据集，进行分子图建模，对图像文本匹配；/>[0007]S2，将收集到的异构图数据集基于多个对称的元路径进行转换；
[0008]S3，根据分子图建模为分子中的每个原子匹配；
[0009]S4，根据对称的元路径转换后的异构图数据集进行数据增强；
[0010]S5，使用多模态编码器的输出嵌入作为图像文本对的联合表示。
[0011]S1所述的异构图数据集，在图像文本跨模态检索任务中，当给定查询文本，需要依据图像文本的相似性去检索内容相似的图像。
[0012]优选的，S1所述的分子图建模，把相应的实际物理模型转化为分子模拟可用的结构文件，对简单体系，根据晶胞参数、原子坐标手动编辑结构文件，或者手动编辑亦无法采用MS手动逐个添加溶剂分子。
[0013]优选的，S1所述的图像文本匹配，基于对抗对齐的图像匹配，特征点的提取是图像匹配的关键步骤，从提取效率、算子稳定性、定位准确性、抗噪性、计算效率上对提取算子进行分析比对，用测试图像对各个提取算子进行实验分析。
[0014]优选的，S2所述的异构图数据集基于多个对称的元路径进行转换，每个应用系统
的数据资源可以抽象为多个数据集，数据集是具有相同主题的数据或信息的集合，一对一匹配方法通常是分别提取图像和文本的全局特征表示，然后利用结构化或者典型相关分析的目标函数将它们的特征投影到一个共同空间，使得相似的成对图像文本在空间中的距离接近，即相似性高。
[0015]优选的，S3所述的分子图建模为分子中的每个原子匹配，一般的分子建模方法是根据原子间相互作用的物理特性，预先设定一个有待定参数的二体或多体的相互作用的经验势的函数形式，然后根据第一性计算的数据或实验结果拟合经验势的参数。
[0016]优选的，S5所述的多模态编码器，结构感知分子编码器中的关系图卷积网络RGCN通过对不同类型的边计算和聚合信息，以及对不同类型的节点整合不同边所聚合的信息来进行信息传递。
[0017]优选的，多对多匹配方法则是尝试从图像文本中分别提取所包含的多个局部实例，然后对于多个成对实例度量其局部相似性并融合得到全局相似性，按照时间步循环选择显著的语义图像文本实例，并序列化度量和融合它们的局部相似性并最终得到全局相似性。
[0018]与现有技术相比，本专利技术的有益效果是：
[0019]1、该基于对抗对齐的图对比学习方法，在图像文本跨模态检索任务中，当给定查询文本，需要依据图像文本的相似性去检索内容相似的图像，把相应的实际物理模型转化为分子模拟可用的结构文件，对简单体系，根据晶胞参数、原子坐标手动编辑结构文件，提取效率、算子稳定性、定位准确性、抗噪性、计算效率上对提取算子进行分析比对，用测试图像对各个提取算子进行实验分析，从而能够解决分子任务面临标记数据不足的问题；
[0020]2、该基于对抗对齐的图对比学习方法，异构图数据集基于多个对称的元路径进行转换，再将分子图建模为分子中的每个原子匹配，利用结构化或者典型相关分析的目标函数将它们的特征投影到一个共同空间，一对一匹配，使得相似的成对图像文本在空间中的距离接近，然后根据第一性计算的数据或实验结果拟合经验势的参数，从而能够提高学习法准确率；
[0021]3、该基于对抗对齐的图对比学习方法，将转换后的异构图数据集进行数据增强，对不同类型的边计算和聚合信息，以及对不同类型的节点整合不同边所聚合的信息来进行信息传递，按照时间步循环选择显著的语义图像文本实例，并序列化度量和融合它们的局部相似性并最终得到全局相似性，从而能够保证所有的疵点图像能够被检测到，提高质量。
附图说明
[0022]图1为本专利技术实施例提供的一种基于对抗对齐的图对比学习方法流程图。
具体实施方式
[0023]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0024]实施例一：
[0025]请参阅图1，本专利技术提供一种技术方案：一种基于对抗对齐的图对比学习方法，包括：
[0026]S1，收集到异构图数据集，进行分子图建模，对图像文本匹配；
[0027]S2，将收集到的异构图数据集基于多个对称的元路径进行转换；
[0028]S3，根据分子图建模为分子中的每个原子匹配；
[0029]S4，根据对称的元路径转换后的异构图数据集进行数据增强；
[0030]S5，使用多模态编码器的输出嵌入作为图像文本对的联合表示。
[0031]S1所述的异构图数据集，在图像文本跨模态检索任务中，当给定查询文本，需要依据图像文本的相似性去检索内容相似的图像。
[0032]S1所述的分子图建模，把相应的实际物理模型转化为分子模拟可用的结构文件，对简单体系，根据晶胞参数、原子坐标手动编辑结构文件，或者手动编辑亦无法采用MS手动逐个添加溶剂分子。
[0033]S1所述的图像文本匹配，基于对抗对齐的图像匹配，特征点的提取是图像匹配的关键步骤，从提取效率、算子稳定性、定位准确性、抗噪性、计算效率上对提取算子进行分析比对，用测试图像对各个提取算子进行实验分析。
[0034]在图像文本跨模态检索任务中，当给定查询文本，需要依据图像文本的相似性去检索内容相似的图像，把相应的实际物理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对抗对齐的图对比学习方法，其特征在于：包括：S1，收集到异构图数据集，进行分子图建模，对图像文本匹配；S2，将收集到的异构图数据集基于多个对称的元路径进行转换；S3，根据分子图建模为分子中的每个原子匹配；S4，根据对称的元路径转换后的异构图数据集进行数据增强；S5，使用多模态编码器的输出嵌入作为图像文本对的联合表示。2.根据权利要求1所述的一种基于对抗对齐的图对比学习方法，其特征在于：S1所述的异构图数据集，在图像文本跨模态检索任务中，当给定查询文本，需要依据图像文本的相似性去检索内容相似的图像。3.根据权利要求1所述的一种基于对抗对齐的图对比学习方法，其特征在于：S1所述的分子图建模，把相应的实际物理模型转化为分子模拟可用的结构文件，对简单体系，根据晶胞参数、原子坐标手动编辑结构文件，或者手动编辑亦无法采用MS手动逐个添加溶剂分子。4.根据权利要求1所述的一种基于对抗对齐的图对比学习方法，其特征在于：S1所述的图像文本匹配，基于对抗对齐的图像匹配，特征点的提取是图像匹配的关键步骤，从提取效率、算子稳定性、定位准确性、抗噪性、计算效率上对提取算子进行分析比对，用测试图像对各个提取算子进行实验分析。5.根据权利要求1所述的一种基于对抗对齐的图对比学习方法，其特征在于：S2所述的异构图数...

【专利技术属性】
技术研发人员：毛新华，王晨旭，马龙，李灿，张洪岭，车玲，
申请(专利权)人：合肥中科云数科技有限公司，
类型：发明
国别省市：