一种基于大模型的搜索分析方法及系统技术方案

技术编号:43081677 阅读:94 留言:0更新日期:2024-10-26 09:32
本发明专利技术公开了一种基于大模型的搜索分析方法及系统,属于大数据搜索分析技术领域,该方法的实现包括:首先将各个孤立的数据源进行连接起来,依据业务线,将相关的业务数据进行串联起来,集中建立大宽表,筛选出具备高质量检索的字段;其次通过提供支持语义识别的能力,将客户的搜索内容,转化为系统可识别的检索词;根据用户的搜索内容以及搜索结果的反应,分析用户的搜索倾向,以在后期的搜索内容,在搜索倾向性更加有所偏重;提供对于非结构数据处理的能力,实现对于非结构化数据的向量化处理,实现内网中文本搜图,进而提供符合客户期望的检索结果内容。本发明专利技术实现在海量数据中可以快速准确地检索出来用户的目标数据,解决数据孤岛的问题。

【技术实现步骤摘要】

本专利技术涉及大数据搜索分析,具体地说是一种基于大模型的搜索分析方法及系统


技术介绍

1、随着信息化的进一步深入,各个公司内部已经积累了大量的结构化以及非结构化数据,但是对于大数据下的隐藏价值,挖掘的手段有限,而且对于专业素质要求较高,需要精通业务、sql等专业能力,无形中提高了数据分析以及挖掘的难度,而且由于烟囱式地开发业务系统,一个公司内部的各个事业部里面,存在大量重复性数据,以及隔离性数据,导致数据孤岛的存在,难以为公司的数字化转型提供坚实的基础。大量的业务系统,积攒了海量的数据,除完成各个业务系统内部的信息化作用外,对于公司整体,并没有体现出更有价值的地方,无法实现跨系统搜索,无法实现整体数据的模糊匹配。


技术实现思路

1、本专利技术的技术任务是针对以上不足之处,提供一种基于大模型的搜索分析方法及系统,实现在海量数据中可以快速准确地检索出来用户的目标数据,解决数据孤岛的问题。

2、本专利技术解决其技术问题所采用的技术方案是:

3、一种基于大模型的搜索分析方法,该方法的实现包括本文档来自技高网...

【技术保护点】

1.一种基于大模型的搜索分析方法,其特征在于,该方法的实现包括:

2.根据权利要求1所述的一种基于大模型的搜索分析方法,其特征在于,该方法具体包括以下步骤:

3.根据权利要求2所述的一种基于大模型的搜索分析方法,其特征在于,所述分析检索字段,数据处理者结合企业整体的业务系统,将各个业务系统中相互关联的字段进行整理,判断是否具备检索能力,然后继续评估各个字段,优先选择具备大量检索的字段。

4.根据权利要求2所述的一种基于大模型的搜索分析方法,其特征在于,所述生成大宽表,根据主体分门别类地进行数据清洗、整理、汇总、转换,统一梳理成检索质量高的数据;并根据主...

【技术特征摘要】

1.一种基于大模型的搜索分析方法,其特征在于,该方法的实现包括:

2.根据权利要求1所述的一种基于大模型的搜索分析方法,其特征在于,该方法具体包括以下步骤:

3.根据权利要求2所述的一种基于大模型的搜索分析方法,其特征在于,所述分析检索字段,数据处理者结合企业整体的业务系统,将各个业务系统中相互关联的字段进行整理,判断是否具备检索能力,然后继续评估各个字段,优先选择具备大量检索的字段。

4.根据权利要求2所述的一种基于大模型的搜索分析方法,其特征在于,所述生成大宽表,根据主体分门别类地进行数据清洗、整理、汇总、转换,统一梳理成检索质量高的数据;并根据主体,将数据存放到统一的数据库中。

5.根据权利要求2所述的一种基于大模型的搜索分析方法,其特征在于,所述生成向量化数据,对于宽表数据进行向量化处理,首先将宽表数据进行转换成段落,再借助“paraphrase-multilingual-minilm-l12-v2”...

【专利技术属性】
技术研发人员:武连杰徐宏伟国靖罗超
申请(专利权)人:浪潮卓数大数据产业发展有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1