【技术实现步骤摘要】
本申请涉及图像处理，具体涉及一种大模型图文对数据集构建方法及装置。
技术介绍
1、目前传统的基于深度学习方法的检测技术存在可解释性差等诸多不足，亟需发展一种基于多模态大语言模型的辅助检测方法与系统，自动识别消化道检查图片是否异常，给出规范化的检查报告。而高质量的图文对数据集往往决定着多模态大语言模型的效果，传统的数据集构建方法考虑的因素较少，需要依靠人工标注，导致大模型图文对数据集的构建效率较低，数据质量参差不齐。
技术实现思路
1、本申请实施例提供一种大模型图文对数据集构建方法及装置，可以提高大模型图文对数据集的构建效率和数据质量。
2、第一方面，本申请提供的大模型图文对数据集构建方法，包括：
3、获取第一内镜检测图像和对应的图像描述文本；
4、基于多个第一内镜检测图像和对应的图像描述文本确定多个第二内镜检测图像和对应的图像描述文本；
5、基于多个所述第二内镜检测图像确定多个检测图像组，其中，所述检测图像组包括两个所述第二内镜检测图像；
6、计算所述检测图像组中的两个所述第二内镜检测图像的第一相似度，得到所述检测图像组的第一相似度；
7、获取对所述检测图像组的两个所述第二内镜检测图像分别进行病灶分割得到的两个所述第二内镜检测图像上的病灶分割区域；
8、基于两个所述第二内镜检测图像上的病灶分割区域确定两个所述第二内镜检测图像的第二相似度，得到所述检测图像组的第二相似度；
9、基于所述检测
10、将第三相似度大于预设相似度的所述检测图像组中的至少一个所述第二内镜检测图像从多个所述第二内镜检测图像中删除，得到多个第三内镜检测图像；
11、将一个第三内镜检测图像和对应的图像描述文本确定为大模型图文对数据，得到包含多个大模型图文对数据的大模型图文对数据集。
12、第二方面，本申请提供的大模型图文对数据集构建装置，包括：
13、第一获取模块，用于获取第一内镜检测图像和对应的图像描述文本；
14、第一确定模块，用于基于多个第一内镜检测图像和对应的图像描述文本确定多个第二内镜检测图像和对应的图像描述文本；
15、第二确定模块，用于基于多个所述第二内镜检测图像确定多个检测图像组，其中，所述检测图像组包括两个所述第二内镜检测图像；
16、计算模块，用于计算所述检测图像组中的两个所述第二内镜检测图像的第一相似度，得到所述检测图像组的第一相似度；
17、第二获取模块，用于获取对所述检测图像组的两个所述第二内镜检测图像分别进行病灶分割得到的两个所述第二内镜检测图像上的病灶分割区域；
18、第三确定模块，用于基于两个所述第二内镜检测图像上的病灶分割区域确定两个所述第二内镜检测图像的第二相似度，得到所述检测图像组的第二相似度；
19、第四确定模块，用于基于所述检测图像组的第一相似度和所述检测图像组的第二相似度确定所述检测图像组的第三相似度，得到多个所述检测图像组的第三相似度；
20、删除模块，用于将第三相似度大于预设相似度的所述检测图像组中的至少一个所述第二内镜检测图像从多个所述第二内镜检测图像中删除，得到多个第三内镜检测图像；
21、第五确定模块，用于将一个第三内镜检测图像和对应的图像描述文本确定为大模型图文对数据，得到包含多个大模型图文对数据的大模型图文对数据集。
22、第三方面，本申请提供的电子设备，包括存储器和处理器，存储器存储有计算机程序，处理器用于运行存储器内的计算机程序，实现本申请所提供的大模型图文对数据集构建方法中的步骤。
23、第四方面，本申请提供的计算机可读存储介质，存储有多条指令，该指令适于处理器进行加载，实现本申请所提供的大模型图文对数据集构建方法中的步骤。
24、第五方面，本申请提供的计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现本申请所提供的大模型图文对数据集构建方法中的步骤。
25、本申请中，相较于相关技术，获取第一内镜检测图像和对应的图像描述文本；基于多个第一内镜检测图像和对应的图像描述文本确定多个第二内镜检测图像和对应的图像描述文本；基于多个第二内镜检测图像确定多个检测图像组，其中，检测图像组包括两个第二内镜检测图像；计算检测图像组中的两个第二内镜检测图像的第一相似度，得到检测图像组的第一相似度；获取对检测图像组的两个第二内镜检测图像分别进行病灶分割得到的两个第二内镜检测图像上的病灶分割区域；基于两个第二内镜检测图像上的病灶分割区域确定两个第二内镜检测图像的第二相似度，得到检测图像组的第二相似度；基于检测图像组的第一相似度和检测图像组的第二相似度确定检测图像组的第三相似度，得到多个检测图像组的第三相似度；将第三相似度大于预设相似度的检测图像组中的至少一个第二内镜检测图像从多个第二内镜检测图像中删除，得到多个第三内镜检测图像；将一个第三内镜检测图像和对应的图像描述文本确定为大模型图文对数据，得到包含多个大模型图文对数据的大模型图文对数据集。本申请可以提高大模型图文对数据集的构建效率和数据质量。
本文档来自技高网...【技术保护点】
1.一种大模型图文对数据集构建方法，其特征在于，包括：
2.根据权利要求1所述的大模型图文对数据集构建方法，其特征在于，所述计算所述检测图像组中的两个所述第二内镜检测图像的第一相似度，得到所述检测图像组的第一相似度，包括：
3.根据权利要求2所述的大模型图文对数据集构建方法，其特征在于，所述基于两个所述第二内镜检测图像上的病灶分割区域确定两个所述第二内镜检测图像的第二相似度，得到所述检测图像组的第二相似度，包括：
4.根据权利要求3所述的大模型图文对数据集构建方法，其特征在于，所述基于多个第一内镜检测图像和对应的图像描述文本确定多个第二内镜检测图像和对应的图像描述文本，包括：
5.根据权利要求4所述的大模型图文对数据集构建方法，其特征在于，所述基于多个第四内镜检测图像和对应的图像描述文本确定多个第二内镜检测图像和对应的图像描述文本，包括：
6.根据权利要求5所述的大模型图文对数据集构建方法，其特征在于，所述基于多个第五内镜检测图像和对应的图像描述文本，确定多个第二内镜检测图像和对应的图像描述文本，包括：
7.
8.一种大模型图文对数据集构建装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行权利要求1至7任一项所述的大模型图文对数据集构建方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的大模型图文对数据集构建方法中的步骤。
...【技术特征摘要】
1.一种大模型图文对数据集构建方法，其特征在于，包括：
2.根据权利要求1所述的大模型图文对数据集构建方法，其特征在于，所述计算所述检测图像组中的两个所述第二内镜检测图像的第一相似度，得到所述检测图像组的第一相似度，包括：
3.根据权利要求2所述的大模型图文对数据集构建方法，其特征在于，所述基于两个所述第二内镜检测图像上的病灶分割区域确定两个所述第二内镜检测图像的第二相似度，得到所述检测图像组的第二相似度，包括：
4.根据权利要求3所述的大模型图文对数据集构建方法，其特征在于，所述基于多个第一内镜检测图像和对应的图像描述文本确定多个第二内镜检测图像和对应的图像描述文本，包括：
5.根据权利要求4所述的大模型图文对数据集构建方法，其特征在于，所述基于多个第四内镜检测图像和对应的图像描述文本确定多个第二内镜检测图像和对应的图像描述文本，包括：
6.根据权利要求5所述...
【专利技术属性】
技术研发人员：熊廷顺，胡孝，
申请(专利权)人：武汉楚精灵医疗科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。