【技术实现步骤摘要】
本专利技术涉及大数据搜索分析,具体地说是一种基于大模型的搜索分析方法及系统。
技术介绍
1、随着信息化的进一步深入,各个公司内部已经积累了大量的结构化以及非结构化数据,但是对于大数据下的隐藏价值,挖掘的手段有限,而且对于专业素质要求较高,需要精通业务、sql等专业能力,无形中提高了数据分析以及挖掘的难度,而且由于烟囱式地开发业务系统,一个公司内部的各个事业部里面,存在大量重复性数据,以及隔离性数据,导致数据孤岛的存在,难以为公司的数字化转型提供坚实的基础。大量的业务系统,积攒了海量的数据,除完成各个业务系统内部的信息化作用外,对于公司整体,并没有体现出更有价值的地方,无法实现跨系统搜索,无法实现整体数据的模糊匹配。
技术实现思路
1、本专利技术的技术任务是针对以上不足之处,提供一种基于大模型的搜索分析方法及系统,实现在海量数据中可以快速准确地检索出来用户的目标数据,解决数据孤岛的问题。
2、本专利技术解决其技术问题所采用的技术方案是:
3、一种基于大模型的搜索分析方
...【技术保护点】
1.一种基于大模型的搜索分析方法,其特征在于,该方法的实现包括:
2.根据权利要求1所述的一种基于大模型的搜索分析方法,其特征在于,该方法具体包括以下步骤:
3.根据权利要求2所述的一种基于大模型的搜索分析方法,其特征在于,所述分析检索字段,数据处理者结合企业整体的业务系统,将各个业务系统中相互关联的字段进行整理,判断是否具备检索能力,然后继续评估各个字段,优先选择具备大量检索的字段。
4.根据权利要求2所述的一种基于大模型的搜索分析方法,其特征在于,所述生成大宽表,根据主体分门别类地进行数据清洗、整理、汇总、转换,统一梳理成检索质
...【技术特征摘要】
1.一种基于大模型的搜索分析方法,其特征在于,该方法的实现包括:
2.根据权利要求1所述的一种基于大模型的搜索分析方法,其特征在于,该方法具体包括以下步骤:
3.根据权利要求2所述的一种基于大模型的搜索分析方法,其特征在于,所述分析检索字段,数据处理者结合企业整体的业务系统,将各个业务系统中相互关联的字段进行整理,判断是否具备检索能力,然后继续评估各个字段,优先选择具备大量检索的字段。
4.根据权利要求2所述的一种基于大模型的搜索分析方法,其特征在于,所述生成大宽表,根据主体分门别类地进行数据清洗、整理、汇总、转换,统一梳理成检索质量高的数据;并根据主体,将数据存放到统一的数据库中。
5.根据权利要求2所述的一种基于大模型的搜索分析方法,其特征在于,所述生成向量化数据,对于宽表数据进行向量化处理,首先将宽表数据进行转换成段落,再借助“paraphrase-multilingual-minilm-l12-v2”...
【专利技术属性】
技术研发人员:武连杰,徐宏伟,国靖,罗超,
申请(专利权)人:浪潮卓数大数据产业发展有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。