代码大模型的测评方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:41233601 阅读:33 留言:0更新日期:2024-05-09 23:48
本申请涉及一种代码大模型的测评方法、装置、计算机设备和存储介质,涉及大数据技术领域,该方法通过获取Java代码大模型的测评集,然后将测评集输入至Java代码大模型中进行代码生成,得到各Java代码段对应的测评代码段,最后根据各Java代码段对测评代码段进行评测,得到测评结果。其中,测评集包括多个Java代码段的代码关键字段。上述方法通过大量的Java代码大模型的测评集对Java代码大模型进行测评,可以填补现有技术中对大模型测评时Java领域的缺失。而且,由于测评集包括多个Java代码段的代码关键字段,所以利用数量庞大的测评集进行Java代码大模型的测评,可以一定程度上提高测评的准确性。

【技术实现步骤摘要】

本申请涉及大数据,特别是涉及一种代码大模型的测评方法、装置、计算机设备和存储介质


技术介绍

1、代码大模型是用于生成代码的深度学习模型,在代码大模型使用之前,通常会利用测评集对代码大模型进行测评,以此来反映其代码生成能力。

2、目前,对代码大模型进行测评的方法主要是对python代码大模型代码生成能力进行测评,但是其缺乏对java代码生成能力的充分测评。而java作为一门编程语言在许多大型系统中占有很高的比重,而且java代码的编译过程与python的测试有很大的不同。

3、因此,如何对java代码大模型的代码生成能力进行测评是当前亟待解决的问题。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够对java代码大模型的代码生成能力进行测评的代码大模型的测评方法、装置、计算机设备和存储介质。

2、第一方面,本申请提供了一种代码大模型的测评方法,该方法包括:

3、获取java代码大模型的测评集;测评集包括多个java代码段的代码关键字段;

...

【技术保护点】

1.一种代码大模型的测评方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据各所述Java代码段对所述测评代码段进行评测,得到测评结果,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述测试代码字段对所述测评代码进行测试,得到所述测评结果,包括:

4.根据权利要求1所述的方法,其特征在于,所述根据各所述Java代码段对所述测评代码段进行评测,得到测评结果,包括:

5.根据权利要求1至4任意一项所述的方法,其特征在于,所述代码关键字段包括提示词关键字段、代码解释关键字段、测试代码字段中的至少一种。<...

【技术特征摘要】

1.一种代码大模型的测评方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据各所述java代码段对所述测评代码段进行评测,得到测评结果,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述测试代码字段对所述测评代码进行测试,得到所述测评结果,包括:

4.根据权利要求1所述的方法,其特征在于,所述根据各所述java代码段对所述测评代码段进行评测,得到测评结果,包括:

5.根据权利要求1至4任意一项所述的方法,其特征在于,所述代码关键字段包括提示词关键字段、代码解释关键字段、测试代码字段中的至少一种。

6...

【专利技术属性】
技术研发人员:范威
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1