System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 针对机器学习模型的比特翻转控制方法、系统以及装置制造方法及图纸_技高网
当前位置: 首页 > 专利查询>之江实验室专利>正文

针对机器学习模型的比特翻转控制方法、系统以及装置制造方法及图纸

技术编号:40466696 阅读:6 留言:0更新日期:2024-02-22 23:20
本说明书提供的针对机器学习模型的比特翻转控制方法、系统以及装置,首先将测试样本输入目标模型,得到第一精度结果,对目标模型中参数的比特位进行翻转,将测试样本输入到翻转后模型中,得到第二精度结果。根据第一精度结果和第二精度结果,确定目标网络层以及待校验比特位类型,并对其余参数的比特位进行翻转,直至通过各翻转后模型确定出各目标网络层以及各待校验比特位类型为止。当接收到校验请求时,向终端设备发送校验数据,以使其对本地模型进行校验。当确定本地模型中至少部分目标网络层包含的待校验比特位类型对应的参数发生比特翻转时,向终端设备发送标准参数,以使其通过标准参数校正本地模型,并通过校正后本地模型执行任务。

【技术实现步骤摘要】

本说明书涉及计算机,尤其涉及针对机器学习模型的比特翻转控制方法、系统以及装置


技术介绍

1、近年来,随着电子信息行业的迅速发展,电路的集成度以及复杂度逐渐提高,同时,由于电路的集成度以及复杂度较高等因素造成的比特翻转也成为较为严峻的问题。

2、目前,在机器学习领域,可以采用增加硬件(如:错误检查和纠正(error checkingand correcting,ecc)内存)的形式来校验比特翻转的现象。另外,也可以采用软件的形式来校验比特翻转的现象,例如:可以通过执行多次相同的计算任务,将出现次数较高的计算结果所对应的计算任务判定为未发生比特翻转的情况下所对应的计算任务。

3、但是,采用增加硬件的形式来校验比特翻转的现象的成本较高且较为复杂,并且采用软件的形式来校验比特翻转的现象的执行效率较低。

4、因此,如何降低在机器学习领域中校验比特翻转的成本以及提高校验比特翻转的执行效率是一个亟待解决的问题。


技术实现思路

1、本说明书提供了针对机器学习模型的比特翻转控制方法、系统以及装置,以部分的解决现有技术存在的上述问题。

2、本说明书采用下述技术方案:

3、本说明书提供了针对机器学习模型的比特翻转控制方法,包括:

4、将测试样本输入目标模型,得到针对所述目标模型的第一精度结果;

5、对所述目标模型中的网络层中参数的比特位进行翻转,得到翻转后模型,并将所述测试样本输入到该翻转后模型中,得到针对该翻转后模型的第二精度结果,根据所述第一精度结果以及所述第二精度结果,从所述目标模型中确定目标网络层以及该目标网络层中包含的待校验比特位类型,并对所述目标模型中其余参数的比特位进行翻转,得到下一翻转后模型,直至通过得到的各翻转后模型确定出各目标网络层以及各待校验比特位类型为止;

6、当接收到终端设备发送的校验请求时,向所述终端设备发送校验数据,以使所述终端设备根据所述校验数据,对所述终端设备部署的本地模型中所述各目标网络层包含的各待校验比特位类型对应的参数进行校验,所述本地模型是基于下发的所述目标模型的模型参数部署在所述终端设备本地的;

7、当确定所述本地模型中至少部分目标网络层包含的待校验比特位类型对应的参数发生比特翻转时,向所述终端设备发送标准参数,以使所述终端设备通过所述标准参数校正所述本地模型的参数,并通过校正后本地模型执行任务。

8、可选地,根据所述第一精度结果以及所述第二精度结果,从所述目标模型中确定目标网络层以及该目标网络层中包含的待校验比特位类型,具体包括:

9、确定所述第一精度结果和该翻转后模型对应的第二精度结果之间的偏差;

10、当所述偏差差大于预设的阈值时,将该翻转后模型中翻转比特位的参数所在的网络层作为目标网络层,以及将该翻转后模型中翻转比特位的参数所对应的比特位类型,作为待校验比特位类型。

11、可选地,对所述目标模型中其余参数的比特位进行翻转,得到下一翻转后模型,具体包括:

12、将所述目标模型中包含的所述目标网络层中除所述待校验比特位类型的其他比特位类型的参数的比特位进行翻转,得到下一翻转后模型。

13、可选地,在接收终端设备发送的校验请求之前,所述方法还包括:

14、将所述各目标网络层的网络层标识信息以及所述各待校验比特位类型的类型信息发送给所述终端设备进行保存。

15、可选地,所述参数的类型为浮点类型,所述待校验比特位类型包括:符号位、指数位和尾数位。

16、本说明书提供了针对机器学习模型的比特翻转控制系统,所述系统包括:服务器以及各终端设备;

17、所述服务器,用于将测试样本输入目标模型,得到针对所述目标模型的第一精度结果,并对所述目标模型中的网络层中参数的比特位进行翻转,得到翻转后模型,并将所述测试样本输入到该翻转后模型中,得到针对该翻转后模型的第二精度结果,根据所述第一精度结果以及所述第二精度结果,从所述目标模型中确定目标网络层以及该目标网络层中包含的待校验比特位类型,并对所述目标模型中其余参数的比特位进行翻转,得到下一翻转后模型,直至通过得到的各翻转后模型确定出各目标网络层以及各待校验比特位类型为止,接收所述终端设备发送的校验请求,并向所述终端设备发送校验数据,当确定所述本地模型中至少部分目标网络层包含的待校验比特位类型对应的参数发生比特翻转时,向所述终端设备发送标准参数;

18、针对每个终端设备,用于向所述服务器发送校验请求,并接收所述服务器发送的校验数据,并根据所述校验数据,对所述终端设备部署的本地模型中所述各目标网络层包含的各待校验比特位类型对应的参数进行校验,并通过所述服务器发送的标准参数校正所述本地模型的参数,以通过校正后本地模型执行任务,所述本地模型是基于下发的所述目标模型的模型参数部署在所述终端设备本地的。

19、本说明书提供了针对机器学习模型的比特翻转控制装置,包括:

20、测试模块:用于将测试样本输入目标模型,得到针对所述目标模型的第一精度结果;

21、翻转模块:用于对所述目标模型中的网络层中参数的比特位进行翻转,得到翻转后模型,并将所述测试样本输入到该翻转后模型中,得到针对该翻转后模型的第二精度结果,根据所述第一精度结果以及所述第二精度结果,从所述目标模型中确定目标网络层以及该目标网络层中包含的待校验比特位类型,并对所述目标模型中其余参数的比特位进行翻转,得到下一翻转后模型,直至通过得到的各翻转后模型确定出各目标网络层以及各待校验比特位类型为止;

22、校验模块:用于当接收到终端设备发送的校验请求时,向所述终端设备发送校验数据,以使所述终端设备根据所述校验数据,对所述终端设备部署的本地模型中所述各目标网络层包含的各待校验比特位类型对应的参数进行校验,所述本地模型是基于下发的所述目标模型的模型参数部署在所述终端设备本地的;

23、校正模块:用于当确定所述本地模型中至少部分目标网络层包含的待校验比特位类型对应的参数发生比特翻转时,向所述终端设备发送标准参数,以使所述终端设备通过所述标准参数校正所述本地模型的参数,并通过校正后本地模型执行任务。

24、可选地,所述翻转模块具体用于:

25、确定所述第一精度结果和该翻转后模型对应的第二精度结果之间的偏差;

26、当所述偏差差大于预设的阈值时,将该翻转后模型中翻转比特位的参数所在的网络层作为目标网络层,以及将该翻转后模型中翻转比特位的参数所对应的比特位类型,作为待校验比特位类型。

27、本说明书提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述针对机器学习模型的比特翻转控制方法。

28、本说明书提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述基于语音情感识别的本文档来自技高网...

【技术保护点】

1.针对机器学习模型的比特翻转控制方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,根据所述第一精度结果以及所述第二精度结果,从所述目标模型中确定目标网络层以及该目标网络层中包含的待校验比特位类型,具体包括:

3.如权利要求1所述的方法,其特征在于,对所述目标模型中其余参数的比特位进行翻转,得到下一翻转后模型,具体包括:

4.如权利要求1所述的方法,其特征在于,在接收终端设备发送的校验请求之前,所述方法还包括:

5.如权利要求1~4任一项所述的方法,其特征在于,所述参数的类型为浮点类型,所述待校验比特位类型包括:符号位、指数位和尾数位。

6.针对机器学习模型的比特翻转控制系统,其特征在于,所述系统包括:服务器以及各终端设备;

7.针对机器学习模型的比特翻转控制装置,其特征在于,包括:

8.如权利要求7所述的装置,其特征在于,所述翻转模块具体用于:

9.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1~5任一项所述的方法。

10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述权利要求1~5任一项所述的方法。

...

【技术特征摘要】

1.针对机器学习模型的比特翻转控制方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,根据所述第一精度结果以及所述第二精度结果,从所述目标模型中确定目标网络层以及该目标网络层中包含的待校验比特位类型,具体包括:

3.如权利要求1所述的方法,其特征在于,对所述目标模型中其余参数的比特位进行翻转,得到下一翻转后模型,具体包括:

4.如权利要求1所述的方法,其特征在于,在接收终端设备发送的校验请求之前,所述方法还包括:

5.如权利要求1~4任一项所述的方法,其特征在于,所述参数的类型为浮点类型,所述待校验比特位类型包括:符号位、指...

【专利技术属性】
技术研发人员:汤昭荣唐晓瑜崔姝瑶邱吉冰
申请(专利权)人:之江实验室
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1