【技术实现步骤摘要】
本申请涉及图像处理，具体涉及一种大模型图文对数据集构建方法及装置。
技术介绍
1、目前传统的基于深度学习方法的检测技术存在可解释性差等诸多不足，亟需发展一种基于多模态大语言模型的辅助检测方法与系统，自动识别消化道检查图片是否异常，给出规范化的检查报告。而高质量的图文对数据集往往决定着多模态大语言模型的效果，传统的数据集构建方法考虑的因素较少，需要依靠人工标注，导致大模型图文对数据集的构建效率较低，数据质量参差不齐。
技术实现思路
1、本申请实施例提供一种大模型图文对数据集构建方法及装置，可以提高大模型图文对数据集的构建效率和数据质量。
2、第一方面，本申请提供的大模型图文对数据集构建方法，包括：
3、获取第一内镜检测图像和对应的图像描述文本；
4、基于多个第一内镜检测图像和对应的图像描述文本确定多个第二内镜检测图像和对应的图像描述文本；
5、基于多个所述第二内镜检测图像确定多个检测图像组，其中，所述检测图像组包括两个所述第二内镜检测图像；p>
6、计算所本文档来自技高网...
【技术保护点】
1.一种大模型图文对数据集构建方法，其特征在于，包括：
2.根据权利要求1所述的大模型图文对数据集构建方法，其特征在于，所述计算所述检测图像组中的两个所述第二内镜检测图像的第一相似度，得到所述检测图像组的第一相似度，包括：
3.根据权利要求2所述的大模型图文对数据集构建方法，其特征在于，所述基于两个所述第二内镜检测图像上的病灶分割区域确定两个所述第二内镜检测图像的第二相似度，得到所述检测图像组的第二相似度，包括：
4.根据权利要求3所述的大模型图文对数据集构建方法，其特征在于，所述基于多个第一内镜检测图像和对应的图像描述文本确定多个...
【技术特征摘要】
1.一种大模型图文对数据集构建方法，其特征在于，包括：
2.根据权利要求1所述的大模型图文对数据集构建方法，其特征在于，所述计算所述检测图像组中的两个所述第二内镜检测图像的第一相似度，得到所述检测图像组的第一相似度，包括：
3.根据权利要求2所述的大模型图文对数据集构建方法，其特征在于，所述基于两个所述第二内镜检测图像上的病灶分割区域确定两个所述第二内镜检测图像的第二相似度，得到所述检测图像组的第二相似度，包括：
4.根据权利要求3所述的大模型图文对数据集构建方法，其特征在于，所述基于多个第一内镜检测图像和对应的图像描述文本确定多个第二内镜检测图像和对应的图像描述文本，包括：
5.根据权利要求4所述的大模型图文对数据集构建方法，其特征在于，所述基于多个第四内镜检测图像和对应的图像描述文本确定多个第二内镜检测图像和对应的图像描述文本，包括：
6.根据权利要求5所述...
【专利技术属性】
技术研发人员：熊廷顺，胡孝，
申请(专利权)人：武汉楚精灵医疗科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。