【技术实现步骤摘要】
本专利技术涉及图像分割，具体的是一种基于文本提示的天体陨石坑图像实例分割方法及系统。
技术介绍
1、火星、月球等天体上存在着大量的陨石坑，通过研究天体陨石坑，我们可以了解天体表面的地质特征，有助于揭示天体的形成和演化过程。准确的分割检测出天体陨石坑，对于型号任务的准确着陆等深空探测任务提供了安全保障。近年来，研究者提出了大多数方法来进行图像分割，从卷积神经网络结合传统边缘检测算法到混合的监督与无监督聚类算法，图像分割精度得到了快速提升。但是，目前的方法仍然存在着缺陷与不足，大多数现有的模型算法会依赖于大量的数据标注。尽管有的模型在进行某一天体数据的训练之后表现得良好，但是在其它天体数据集中却表现不佳，即缺少了零样本分割的能力。最近，meta ai开源了一个计算机视觉和图像分割的基础模型sam，该模型训练了超过10亿个掩码，可以进行即时的零样本图像分割。虽然sam擅于分割的空间理解，但在语义理解方法存在局限性。一些现有的多模态大模型，如clip、albef、blip等，为语义理解提供了强大的图像主干，但无法直接进行分割任务。
技术实现思路
1、为解决上述
技术介绍
中提到的不足，本专利技术的目的在于提供一种基于文本提示的天体陨石坑图像实例分割方法及系统，能够实现对天体陨石坑图像的精准实例分割，能够为深空探测任务提供了技术保障。
2、第一方面，本专利技术的目的可以通过以下技术方案实现：一种基于文本提示的天体陨石坑图像实例分割方法，方法包括以下步骤：
3、接收天体陨石
4、对图像分割掩码进行过滤筛选，过滤掉非圆形和非椭圆形的图像分割掩码，得到过滤后的图像分割掩码；
5、接收文本提示，将过滤后的图像分割掩码与文本提示进行特征提取，得到m个文本特征向量和图像特征向量，将m个文本特征向量和图像特征向量进行相似度计算，得到m个相似度得分，选择与图像特征向量具有最大的相似度得分的文本特征向量作为分类的结果，实现对天体陨石坑图像的实例分割。
6、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述天体陨石坑图像通过探测器相机拍摄进行获取得到。
7、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述对天体陨石坑图像进行图像分割通过将天体陨石坑图像输入至预先建立的sam模型内进行图像分割。
8、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述预先建立的sam模型包括：图像编码器、提示编码器和掩码解码器；所述提示编码器采用基于文本提示的输入方式。
9、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述天体陨石坑图像分别经过图像编码器、提示编码器和掩码解码器后，从掩码解码器输出图像分割掩码。
10、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述文本提示进行特征提取通过采用clip、albef、blip的多模态图像-文本大模型进行特征提取。
11、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述预先建立的sam模型的表达式如下：
12、fimg＝φi-enc(ι)
13、tprompt＝φp-enc({p})
14、masks＝φm-dec(fimg+fc-mask,tprompt)
15、ι表示输入的天体陨石坑图像，φi-enc表示图像编码器，fimg表示输入的陨石坑图像经过图像编码器得到的中间特征。p表示文本提示，φp-enc表示提示编码器，tprompt表示文本提示经过提示编码器输出的嵌入tokens，φm-dec表示掩码解码器，fc-mask表示输入掩码，masks表示经过掩码解码器输出的结果。
16、结合第一方面，在第一方面的某些实现中，该方法还包括：所述对图像分割掩码进行过滤筛选的筛选方式采用圆度筛选：
17、其中，sam模型的输出包含图像分割掩码的像素面积s，得到半径周长表示为sam输出的图像掩码区域周长表示为p，当n＝d/p接近于1时，形状区域被判定为圆；定义θ＝a/b，其中a，b分别表示椭圆的长半轴和短半轴，当n＝θ＝1的时候，形状被判定为圆，对于椭圆形状的判断，椭圆的面积表示为w＝πab，如果图像分割掩码形状是椭圆，则满足q＝w/s＝1。
18、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述将m个文本特征向量和图像特征向量进行相似度计算，得到m个相似度得分的计算过程：
19、采用余弦相似度的方式进行相似度计算，分类的概率映射来自于相似度得分的softmax处理，表示为：
20、
21、其中scorei表示图像分割掩码对应第i个文本的概率，这里一共j个类别，为j个文本。
22、第二方面，为了达到上述目的，本专利技术公开了一种基于文本提示的天体陨石坑图像实例分割系统，包括：
23、图像分割模块，用于接收天体陨石坑图像，对天体陨石坑图像进行图像分割，得到图像分割掩码；
24、过滤筛选模块，用于对图像分割掩码进行过滤筛选，过滤掉非圆形和非椭圆形的图像分割掩码，得到过滤后的图像分割掩码；
25、提取计算模块，用于接收文本提示，将过滤后的图像分割掩码与文本提示进行特征提取，得到m个文本特征向量和图像特征向量，将m个文本特征向量和图像特征向量进行相似度计算，得到m个相似度得分，选择与图像特征向量具有最大的相似度得分的文本特征向量作为分类的结果，实现对天体陨石坑图像的实例分割。
26、结合第二方面，在第二方面的某些实现方式中，该系统还包括：所述图像分割模块内天体陨石坑图像通过探测器相机拍摄进行获取得到；
27、或者图像分割模块内对天体陨石坑图像进行图像分割通过将天体陨石坑图像输入至预先建立的sam模型内进行图像分割；
28、或者图像分割模块内预先建立的sam包括：图像编码器、提示编码器和掩码解码器；所述提示编码器采用基于文本提示的输入方式
29、或者图像分割模块内预先建立的sam模型的表达式如下：
30、fimg＝φi-enc(ι)
31、tprompt＝φp-enc({p})
32、masks＝φm-dec(fimg+fc-mask,tprompt)
33、ι表示输入的天体陨石坑图像，φi-enc表示图像编码器，fimg表示输入的陨石坑图像经过图像编码器得到的中间特征。p表示文本提示，φp-enc表示提示编码器，tprompt表示文本提示经过提示编码器输出的嵌入tokens，φm-dec表示掩码解码器，fc-mask表示输入掩码，masks表示经过掩码解码器输出的结果。
34、优选地，图像分割模块内天体陨石坑图像分别经过图像编码器、提示编码器和掩码解码器后，从掩码解码器输出图像分割掩码；
35、优选地，掩码筛选模块内本文档来自技高网...
【技术保护点】
1.一种基于文本提示的天体陨石坑图像实例分割方法，其特征在于，方法包括以下步骤：
2.根据权利要求1所述的一种基于文本提示的天体陨石坑图像实例分割方法，其特征在于，所述天体陨石坑图像通过探测器相机拍摄进行获取得到。
3.根据权利要求1所述的一种基于文本提示的天体陨石坑图像实例分割方法，其特征在于，所述对天体陨石坑图像进行图像分割通过将天体陨石坑图像输入至预先建立的SAM模型内进行图像分割。
4.根据权利要求3所述的一种基于文本提示的天体陨石坑图像实例分割方法，其特征在于，所述预先建立的SAM模型包括：图像编码器、提示编码器和掩码解码器；所述提示编码器采用基于文本提示的输入方式；
5.根据权利要求3所述的一种基于文本提示的天体陨石坑图像实例分割方法，其特征在于，所述天体陨石坑图像分别经过图像编码器、提示编码器和掩码解码器后，从掩码解码器输出图像分割掩码。
6.根据权利要求1所述的一种基于文本提示的天体陨石坑图像实例分割方法，其特征在于，所述文本提示进行特征提取通过采用CLIP、ALBEF、BLIP的多模态图像-文本大模型进
7.根据权利要求1所述一种基于文本提示的天体陨石坑图像实例分割方法，其特征在于，所述对图像分割掩码进行过滤筛选的筛选方式采用圆度筛选：
8.根据权利要求1所述的一种基于文本提示的天体陨石坑图像实例分割方法，其特征在于，所述将M个文本特征向量和图像特征向量进行相似度计算，得到M个相似度得分的计算过程：
9.一种基于文本提示的天体陨石坑图像实例分割系统，其特征在于，包括：
10.根据权利要求9所述的一种基于文本提示的天体陨石坑图像实例分割系统，其特征在于，所述图像分割模块内天体陨石坑图像通过探测器相机拍摄进行获取得到；
...【技术特征摘要】
1.一种基于文本提示的天体陨石坑图像实例分割方法，其特征在于，方法包括以下步骤：
2.根据权利要求1所述的一种基于文本提示的天体陨石坑图像实例分割方法，其特征在于，所述天体陨石坑图像通过探测器相机拍摄进行获取得到。
3.根据权利要求1所述的一种基于文本提示的天体陨石坑图像实例分割方法，其特征在于，所述对天体陨石坑图像进行图像分割通过将天体陨石坑图像输入至预先建立的sam模型内进行图像分割。
4.根据权利要求3所述的一种基于文本提示的天体陨石坑图像实例分割方法，其特征在于，所述预先建立的sam模型包括：图像编码器、提示编码器和掩码解码器；所述提示编码器采用基于文本提示的输入方式；
5.根据权利要求3所述的一种基于文本提示的天体陨石坑图像实例分割方法，其特征在于，所述天体陨石坑图像分别经过图像编码器、提示编码器和掩码解码器后，从掩码解...
【专利技术属性】
技术研发人员：丁运来，程骞，李家强，周钰栋，黄海，庞顺翔，王诗良，张兴华，
申请(专利权)人：深空探测实验室天都实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。