System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 目标识别方法、装置、边侧设备和计算机可读存储介质制造方法及图纸_技高网

目标识别方法、装置、边侧设备和计算机可读存储介质制造方法及图纸

技术编号:40261382 阅读:6 留言:0更新日期:2024-02-02 22:51
本发明专利技术涉及图像处理技术领域,提供一种目标识别方法、装置、边侧设备和计算机可读存储介质,方法包括:获取待识别图像;将待识别图像输入目标识别模型的编码器,将待识别图像编码为高维向量,编码器采用综合梯度进行微调,综合梯度是云侧设备将边侧设备的第一梯度和自身的第二梯度进行加权平均后得到,第一梯度是边侧根据合成样本图像和训练样本图像确定的,合成样本图像是边侧对训练样本图像中多张图像蒸馏后得到,第二梯度是云侧根据训练样本图像中的预设图像确定的;将高维向量输入目标识别模型中的识别器,以进行目标识别。本发明专利技术保证识别准确性的同时提高了识别效率。

【技术实现步骤摘要】

本专利技术涉及图像处理,具体而言,涉及一种目标识别方法、装置、边侧设备和计算机可读存储介质


技术介绍

1、常见的目标识别的任务可以分为开集(open-set)场景和闭集(closed-set)场景,对于闭集场景,所有的待识别目标都是在训练集中预定义的,而对于开集场景,待识别目标通常与训练集不相交,训练集的样本量是远大于实际使用场景能接触的样本量,尤其是训练类别,往往要比实际使用场景支持的图像类别高1-2个数量级。

2、由于终端设备体积、资源的可得性等限制,难以独自完成复杂任务的计算,基于此,将云算力下沉、终端算力上移汇聚为边缘算力成为解决上述问题的一种理想方式。

3、如何在上述场景中保证识别准确性的同时提高识别效率是本领域技术人员亟待解决的技术问题。


技术实现思路

1、本专利技术的目的在于提供了一种目标识别方法、装置、边侧设备和计算机可读存储介质,其能够保证识别准确性的同时提高识别效率。

2、本专利技术的实施例可以这样实现:

3、第一方面,本专利技术提供一种目标识别方法,应用于边侧设备,所述边侧设备与云侧设备和端侧设备均通信连接,所述方法包括:

4、获取待识别图像;

5、将所述待识别图像输入预先训练的目标识别模型的编码器,以将所述待识别图像编码为高维向量,所述编码器的参数是在训练时以联邦学习中的梯度更新方式采用综合梯度进行调整的,所述综合梯度是所述云侧设备将所述边侧设备的第一梯度和所述云侧设备的第二梯度进行加权平均后得到,所述第一梯度是所述边侧设备根据合成样本图像和训练样本图像确定的,所述合成样本图像是所述边侧设备对所述训练样本图像中多张图像蒸馏后得到,所述训练样本图像包括预设图像和从所述端侧设备获取的回收图像,所述第二梯度是所述云侧设备根据所述预设图像确定的;

6、将所述高维向量输入所述目标识别模型中的识别器,以对所述待识别图像中的目标进行识别。

7、在可选的实施方式中,所述目标识别模型的编码器的训练方式为:

8、根据所述合成样本图像及所述训练样本图像确定第一梯度;

9、将所述第一梯度发送至所述云侧设备,以使所述云侧设备将所述第一梯度和所述第二梯度进行加权平均,得到所述综合梯度,并将所述综合梯度返回至所述边侧设备;

10、根据所述综合梯度对所述编码器进行微调,得到训练后的编码器。

11、在可选的实施方式中,所述训练样本图像为多张,所述根据所述合成样本图像及所述训练样本图像确定第一梯度的步骤包括:

12、利用所述编码器将所述合成样本图像编码为第一向量;

13、利用所述编码器将每一所述训练样本图像编码为第二向量;

14、根据所述第一向量与每一所述第二向量之间的距离确定损失函数;

15、将所述损失函数的梯度确定为所述第一梯度。

16、在可选的实施方式中,所述训练样本图像还包括回收图像,所述回收图像是所述边侧设备从端侧设备获取的,所述根据所述第一向量与每一所述第二向量之间的距离确定损失函数的步骤包括:

17、计算所述第一向量与每一所述第二向量之间的余弦值;

18、统计所述训练样本图像中相关图像的第一类别数量和非相关图像的第二类别数量,所述相关图像为所述训练样本图像中在生成所述合成样本图像时作为辅助生成信息的图像,所述非相关图像为所述训练样本图像中除所述相关图像之外的图像;

19、根据每一余弦值、所述第一类别数量、所述第二类别数量及所述相关图像的每一类别在生成所述合成样本图像时作为辅助生成信息的次数确定所述损失函数。

20、在可选的实施方式中,所述根据每一余弦值、所述第一类别数量、所述第二类别数量及所述相关图像的每一类别在生成所述合成样本图像时作为辅助生成信息的次数确定所述损失函数的步骤包括:

21、根据每一余弦值、所述第一类别数量、所述第二类别数量及所述相关图像的每一类别在生成所述合成样本图像时作为辅助生成信息的次数,将损失函数表示为:,其中,为损失函数,是取最大值函数,为所述第一类别数量,为所述第二类别数量,为所述相关图像的集合,为所述非相关图像的集合,为所述第一向量与第类别的图像的第二向量之间的角度,为相关图像的第类别在生成所述合成样本图像时作为辅助生成信息的次数,为所述相关图像和所述非相关图像的间隔常数且。

22、在可选的实施方式中,所述训练样本图像还包括回收图像,所述回收图像是所述边侧设备从端侧设备获取的,所述云侧设备将所述第一梯度和所述第二梯度进行加权平均,得到所述综合梯度的步骤包括:

23、获取所述预设图像所属类别的类别数和所述回收图像所属类别的类别数;

24、根据所述预设图像所属类别的类别数、所述回收图像所属类别的类别数、所述第一梯度、所述第二梯度进行加权平均得到所述综合梯度。

25、在可选的实施方式中,所述根据所述预设图像所属类别的类别数、所述回收图像所属类别的类别数、所述第一梯度、所述第二梯度进行加权平均得到所述综合梯度的步骤包括:

26、根据所述预设图像所属类别的类别数、所述回收图像所述类别的类别数、所述第一梯度、所述第二梯度,利用公式得到所述综合梯度,其中,为所述综合梯度,为所述预设图像所属类别的类别数,为所述回收图像所属类别的类别数,为所述第一梯度;为所述第二梯度。

27、第二方面,本专利技术提供一种目标识别装置,应用于边侧设备,所述边侧设备与云侧设备和端侧设备均通信连接,所述装置包括:

28、获取模块,用于获取待识别图像;

29、编码模块,用于将所述待识别图像输入预先训练的目标识别模型的编码器,以将所述待识别图像编码为高维向量,所述编码器的参数在训练时以联邦学习中的梯度更新方式采用综合梯度进行调整的,所述综合梯度是所述云侧设备将所述边侧设备的第一梯度和所述云侧设备的第二梯度进行加权平均后得到,所述第一梯度是所述边侧设备根据合成样本图像和训练样本图像确定的,所述合成样本图像是所述边侧设备对所述训练样本图像中多张图像蒸馏后得到,所述训练样本图像包括预设图像和从所述端侧设备获取的回收图像,所述第二梯度是所述云侧设备根据所述预设图像确定的;

30、识别模块,用于将所述高维向量输入所述目标识别模型中的识别器,以对所述待识别图像中的目标进行识别。

31、第三方面,本专利技术提供一种边侧设备,包括处理器和存储器,所述存储器用于存储程序,所述处理器用于在执行所述程序时,实现前述实施方式中任一项所述的目标识别方法。

32、第四方面,本专利技术提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如前述实施方式中任一项所述的目标识别方法。

33、本专利技术实施例在训练目标识别模型的编码器时,采用由边侧设备的第一梯度和云侧设备的第二梯度加权平均后得到的综合梯度对编码器进行微调,将待识别图像输入训练后的编码器,将待识本文档来自技高网...

【技术保护点】

1.一种目标识别方法,其特征在于,应用于边侧设备,所述边侧设备与云侧设备和端侧设备均通信连接,所述方法包括:

2.如权利要求1所述的目标识别方法,其特征在于,所述目标识别模型的编码器的训练方式为:

3.如权利要求2所述的目标识别方法,其特征在于,所述训练样本图像为多张,所述根据所述合成样本图像及所述训练样本图像确定第一梯度的步骤包括:

4.如权利要求3所述的目标识别方法,其特征在于,所述训练样本图像还包括回收图像,所述回收图像是所述边侧设备从端侧设备获取的,所述根据所述第一向量与每一所述第二向量之间的距离确定损失函数的步骤包括:

5.如权利要求4所述的目标识别方法,其特征在于,所述根据每一余弦值、所述第一类别数量、所述第二类别数量及所述相关图像的每一类别在生成所述合成样本图像时作为辅助生成信息的次数确定所述损失函数的步骤包括:

6.如权利要求1所述的目标识别方法,其特征在于,所述训练样本图像还包括回收图像,所述回收图像是所述边侧设备从端侧设备获取的,所述云侧设备将所述第一梯度和所述第二梯度进行加权平均,得到所述综合梯度的步骤包括:

7.如权利要求6所述的目标识别方法,其特征在于,所述根据所述预设图像所属类别的类别数、所述回收图像所属类别的类别数、所述第一梯度、所述第二梯度进行加权平均得到所述综合梯度的步骤包括:

8.一种目标识别装置,其特征在于,应用于边侧设备,所述边侧设备与云侧设备和端侧设备均通信连接,所述装置包括:

9.一种边侧设备,其特征在于,包括处理器和存储器,所述存储器用于存储程序,所述处理器用于在执行所述程序时,实现权利要求1-7中任一项所述的目标识别方法。

10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的目标识别方法。

...

【技术特征摘要】

1.一种目标识别方法,其特征在于,应用于边侧设备,所述边侧设备与云侧设备和端侧设备均通信连接,所述方法包括:

2.如权利要求1所述的目标识别方法,其特征在于,所述目标识别模型的编码器的训练方式为:

3.如权利要求2所述的目标识别方法,其特征在于,所述训练样本图像为多张,所述根据所述合成样本图像及所述训练样本图像确定第一梯度的步骤包括:

4.如权利要求3所述的目标识别方法,其特征在于,所述训练样本图像还包括回收图像,所述回收图像是所述边侧设备从端侧设备获取的,所述根据所述第一向量与每一所述第二向量之间的距离确定损失函数的步骤包括:

5.如权利要求4所述的目标识别方法,其特征在于,所述根据每一余弦值、所述第一类别数量、所述第二类别数量及所述相关图像的每一类别在生成所述合成样本图像时作为辅助生成信息的次数确定所述损失函数的步骤包括:

6.如权利要求1所述的...

【专利技术属性】
技术研发人员:胡峻毅白天刘闯张义夫庞天吉
申请(专利权)人:第六镜视觉科技西安有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1