一种大模型智能体评测方法和装置制造方法及图纸

技术编号:42974384 阅读:29 留言:0更新日期:2024-10-15 13:14
本发明专利技术实施例公开一种大模型智能体评测方法和装置,涉及人工智能技术领域。为在AI模拟人的风格化方面进行相对准确的评测而发明专利技术。该方法包括:生成预设人物的AI智能体;获取所述预设人物已往的发言背景信息和发言内容信息;其中,所述发言内容信息包括所述预设人物对给定问题的回答内容;根据所述发言背景信息和发言内容信息,生成评测集;根据所述评测集测试所述AI智能体,得到所述AI智能体对给定问题的回答内容;对比预设人物和AI智能体对给定问题的回答内容,并对AI智能体的回答内容中的回答用语和回答风格进行评分,以标识AI智能体和预设人物在回答用语和回答风格上发言的相似度。本发明专利技术适用于智能体评测场景中。

【技术实现步骤摘要】

本专利技术涉及人工智能,尤其涉及一种大模型智能体评测方法和装置


技术介绍

1、ai(artificial intelligence,人工智能)的兴起导致了新技术的发展,这些新技术正在改变我们的生活和工作方式。对话机器人是模仿人类对话的计算机程序,由人工智能提供支持,能够理解和响应用户的问题,通常是自然语言,用户可以通过对话的方式和ai交流。ai可以通过专业性和风格化两方面去模拟一个人,专业性是指数学、英语和逻辑等可以客观表明对错的技能或技能组合,风格化是指说话风格、人的性格和说话习惯等等人的个性化表达方式。通过专业性和风格化可以生成不同风格的ai智能体,面对不同的问题ai智能体可以根据自己的专业性和风格化加工去生成问题的反馈和用户交流,完成解答问题、情感陪伴等等作用,满足用户的需求。

2、用ai智能体模拟人需要对是否“像”进行评测,针对专业性是比较容易用对应的题目根据答案的对错进行判断是否到达了某一水准,类似考试,但在风格化方面,真实的人会根据环境、面对的人和语境等等不同的条件有不同的表达,在评测中很难穷举出这些变化,同时也无法找到每一个真人本文档来自技高网...

【技术保护点】

1.一种大模型智能体评测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的大模型智能体评测方法,其特征在于,所述生成预设人物的AI智能体,包括:

3.根据权利要求1或2所述的大模型智能体评测方法,其特征在于,所述发言背景信息包括给定问题、给定问题的类型、给定问题的提问对象、给定问题的提问时间和给定问题的提问场合。

4.根据权利要求3所述的大模型智能体评测方法,其特征在于,所述根据所述评测集测试所述AI智能体,得到所述AI智能体对给定问题的回答内容,包括:

5.根据权利要求4所述的大模型智能体评测方法,其特征在于,所述给定问题的类型包...

【技术特征摘要】

1.一种大模型智能体评测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的大模型智能体评测方法,其特征在于,所述生成预设人物的ai智能体,包括:

3.根据权利要求1或2所述的大模型智能体评测方法,其特征在于,所述发言背景信息包括给定问题、给定问题的类型、给定问题的提问对象、给定问题的提问时间和给定问题的提问场合。

4.根据权利要求3所述的大模型智能体评测方法,其特征在于,所述根据所述评测集测试所述ai智能体,得到所述ai智能体对给定问题的回答内容,包括:

5.根据权利要求4所述的大模型智能体评测方法,其特征在于,所述给定问题的类型包括决策类给定问题;

6.根据权利要求1所述的大模型智能体评测方法,其特征...

【专利技术属性】
技术研发人员:翟忠武胡月鹏
申请(专利权)人:北京面壁智能科技有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1