System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种用于嵌入式设备的图像分割方法、系统及计算机技术方案_技高网

一种用于嵌入式设备的图像分割方法、系统及计算机技术方案

技术编号:40146824 阅读:6 留言:0更新日期:2024-01-24 00:28
本发明专利技术提供一种用于嵌入式设备的图像分割方法、系统及计算机,方法包括:基于SAM模型的图片编码层对一次训练图片进行像素提取,以获取标准像素分类结果;构建初始学习模型,获取一次训练图片的识别像素分类结果;基于标准像素分类结果及识别像素分类结果构建损失函数,以获取最终学习模型;基于最终学习模型构建嵌入式分割模型,获取待分割图片,通过嵌入式分割模型对待分割图片进行图像分割。以一次训练图片为基准,使图片编码层为初始学习模型提供额外的监督信号,完成对图片编码层的功能学习及模型压缩,形成最终学习模型,将庞大的参数量大幅压缩,可适配嵌入式设备的硬件资源及性能,实现于嵌入式设备中对图像的高效处理。

【技术实现步骤摘要】

本申请涉及图像数据处理,特别是涉及一种用于嵌入式设备的图像分割方法、系统及计算机


技术介绍

1、图像分割是图像理解的重要组成部分,其具体是把图像划分成若干个互不相交的区域,使得在同一区域内的图像特征表现出一致性或相似性,而在不同区域间表现出明显的不同。

2、现有的图像分割大多使用sam模型进行图像分割,sam模型是一个提示型模型,其在1100万张图像上训练了超过10亿个掩码,实现了强大的零样本泛化。嵌入式设备,是指应用嵌入式系统的设备,嵌入式系统是以应用为中心,以计算机技术为基础,软件硬件可裁剪,适用于对功能、可靠性、成本、体积、功耗有严格要求的专用计算机系统,如ar眼镜、智能监控等,均属于嵌入式设备。

3、但嵌入式设备因其嵌入式系统的专用性,使其在硬件资源上受到一定限制,而sam模型需要较大的算力进行图像分割,嵌入式设备的硬件资源难以支撑,因此将在嵌入式设备中进行图像处理时延迟拉高。


技术实现思路

1、本申请实施例提供了一种用于嵌入式设备的图像分割方法、系统及计算机,以解决现有技术中因嵌入式设备的硬件资源有限,难以支撑通过sam模型进行图像分割,导致在嵌入式设备中进行图像处理时延迟拉高的技术问题。

2、第一方面,本申请实施例提供了一种用于嵌入式设备的图像分割方法,包括以下步骤:

3、获取一次训练图片,并基于sam模型的图片编码层对所述一次训练图片进行像素提取,以获取标准像素分类结果;

4、构建包括编码器层、线性映射层、位置编码层及分类层的初始学习模型,将所述一次训练图片切割为若干个第一子图片,将若干个所述第一子图片作为输入值输入所述线性映射层,以将若干个所述第一子图片转换为若干个向量图片,并输出至所述编码器层,通过所述位置编码层为所述编码器层内的所述向量图片赋予位置编码信息,通过所述编码器层对所述向量图片进行像素特征提取,以获取带位置编码信息的像素特征信息,并输出至所述分类层,通过所述分类层将所述像素特征信息转换为识别像素分类结果;

5、基于所述标准像素分类结果及所述识别像素分类结果构建损失函数,并基于所述损失函数校正所述初始学习模型,以获取最终学习模型;

6、基于所述最终学习模型构建嵌入式分割模型,并通过二次训练图片校正所述嵌入式分割模型,获取待分割图片,通过校正后的所述嵌入式分割模型对所述待分割图片进行图像分割。

7、进一步地,所述构建包括编码器层、线性映射层、位置编码层及分类层的初始学习模型的步骤包括:

8、构建包括两层编码层的编码器层;

9、构建与所述编码器层的输入端连接的线性映射层及位置编码层;

10、构建与所述编码器层的输出端连接的分类层,以形成初始学习模型。

11、进一步地,所述损失函数为:

12、,

13、其中,表示损失函数,表示标准像素分类结果,表示识别像素分类结果。

14、进一步地,所述基于所述最终学习模型构建嵌入式分割模型的具体步骤为:

15、构建与所述最终学习模型的输入端连接的图片切分模型;

16、构建与所述最终学习模型的输出端连接的解码模型;

17、构建与所述解码模型连接的像素提示模型;

18、构建与所述解码模型的输出端连接的输出模型,以形成嵌入式分割模型。

19、进一步地,所述并通过二次训练图片校正所述嵌入式分割模型的步骤包括:

20、获取二次训练图片,并将所述二次训练图片输入sam模型,以获取基于像素类别分割的若干个标准分割图片;

21、将所述二次训练图片输入所述图片切分模型,以获取若干个第二子图片,并将若干个所述第二子图片传输至所述最终学习模型;

22、于所述最终学习模型内获取所述第二子图片的识别像素分类结果,并将其传输至所述解码模型;

23、通过所述像素提示模型向所述解码模型输入像素坐标,将所述像素坐标与所述第二子图片的识别像素分类结果进行比对,以通过所述输出模型输出训练分割图片;

24、将所述训练分割图片与所述标准分割图片进行比对,以校正所述嵌入式分割模型。

25、第二方面,本申请实施例提供了一种用于嵌入式设备的图像分割系统,应用于如上述技术方案中的用于嵌入式设备的图像分割方法,所述系统包括:

26、基准模块,用于获取一次训练图片,并基于sam模型的图片编码层对所述一次训练图片进行像素提取,以获取标准像素分类结果;

27、第一构建模块,用于构建包括编码器层、线性映射层、位置编码层及分类层的初始学习模型,将所述一次训练图片切割为若干个第一子图片,将若干个所述第一子图片作为输入值输入所述线性映射层,以将若干个所述第一子图片转换为若干个向量图片,并输出至所述编码器层,通过所述位置编码层为所述编码器层内的所述向量图片赋予位置编码信息,通过所述编码器层对所述向量图片进行像素特征提取,以获取带位置编码信息的像素特征信息,并输出至所述分类层,通过所述分类层将所述像素特征信息转换为识别像素分类结果;

28、校正模块,用于基于所述标准像素分类结果及所述识别像素分类结果构建损失函数,并基于所述损失函数校正所述初始学习模型,以获取最终学习模型;

29、第二构建模块,用于基于所述最终学习模型构建嵌入式分割模型,并通过二次训练图片校正所述嵌入式分割模型,获取待分割图片,通过校正后的所述嵌入式分割模型对所述待分割图片进行图像分割。

30、第三方面,本申请实施例提供了一种计算机,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的用于嵌入式设备的图像分割方法。

31、第四方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述第一方面所述的用于嵌入式设备的图像分割方法。

32、相比于现有技术,本专利技术的有益效果在于:通过单独构建所述初始学习模型,将sam模型中的图片编码层与图片解码层进行分离,单独蒸馏图片编码层,以所述一次训练图片为基准,使sam模型的图片编码层为所述初始学习模型提供额外的监督信号,完成对sam模型的图片编码层的功能学习及模型压缩,形成所述最终学习模型,将庞大的参数量压缩为较小的参数量,进而可直接将由所述最终学习模型组成的所述嵌入式分割模型直接部署至嵌入式设备当中,因参数量大幅压缩,可适配嵌入式设备的硬件资源及硬件性能,实现于嵌入式设备中对图像的高效处理。进一步通过所述二次训练图片校正所述嵌入式模型,可进一步提高对图像处理的精度,使其处理结果与sam模型的处理结果保持较高的一致性。

33、本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。

本文档来自技高网...

【技术保护点】

1.一种用于嵌入式设备的图像分割方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的用于嵌入式设备的图像分割方法,其特征在于,所述构建包括编码器层、线性映射层、位置编码层及分类层的初始学习模型的步骤包括:

3.根据权利要求1所述的用于嵌入式设备的图像分割方法,其特征在于,所述损失函数为:

4.根据权利要求1所述的用于嵌入式设备的图像分割方法,其特征在于,所述基于所述最终学习模型构建嵌入式分割模型的具体步骤为:

5.根据权利要求4所述的用于嵌入式设备的图像分割方法,其特征在于,所述并通过二次训练图片校正所述嵌入式分割模型的步骤包括:

6.一种用于嵌入式设备的图像分割系统,应用于如权利要求1~5任一项所述的用于嵌入式设备的图像分割方法,其特征在于,所述系统包括:

7.一种计算机,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的用于嵌入式设备的图像分割方法。

8.一种存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至5中任一项所述的用于嵌入式设备的图像分割方法。

...

【技术特征摘要】

1.一种用于嵌入式设备的图像分割方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的用于嵌入式设备的图像分割方法,其特征在于,所述构建包括编码器层、线性映射层、位置编码层及分类层的初始学习模型的步骤包括:

3.根据权利要求1所述的用于嵌入式设备的图像分割方法,其特征在于,所述损失函数为:

4.根据权利要求1所述的用于嵌入式设备的图像分割方法,其特征在于,所述基于所述最终学习模型构建嵌入式分割模型的具体步骤为:

5.根据权利要求4所述的用于嵌入式设备的图像分割方法,其特征在于,所述并通过二次训...

【专利技术属性】
技术研发人员:刘晨
申请(专利权)人:江西求是高等研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1