【技术实现步骤摘要】
本专利技术涉及大模型文本处理，具体为一种基于大模型的面向汽车服务行业的低成本展示图片和公式的方法及系统。
技术介绍
1、随着人工智能技术的快速发展，一般知识问答系统在日常生活中的应用越来越广泛。知识问答系统不仅需要处理和理解用户提出的文本问题，还需要能够展示与问题相关的图片、公式等多模态信息。这些多模态信息的引入极大地丰富了问答系统的功能，提高了用户体验。
2、现有的知识问答系统大多依赖于向量库来存储和检索信息。这些向量库通常只支持纯文本形式的数据，对于图片、公式等非文本信息的处理能力有限。当需要处理这些非文本信息时，往往使用多模态处理技术将图片信息转换成纯文本。虽然可以解决信息表示的问题，但这一转换过程往往需要复杂的算法和大量的计算资源。这对于企业来说，不仅增加了运营成本，还可能因为资源的限制而无法满足大规模应用的需求。
技术实现思路
1、本专利技术的目的在于提供一种基于大模型的面向汽车服务行业的低成本展示图片和公式的方法及系统，以解决上述
技术介绍
中提出的问题。
2、为实现上述目的，本专利技术提供如下技术方案：一种基于大模型的面向汽车服务行业的低成本展示图片和公式的方法，所述方法包括以下步骤：
3、知识构建，将用户上传的文件转化为知识库中可检索和利用的知识资源，包括：用户文件上传、前端处理、后端文件接收与存储、调用知识库上传接口、文件内容整理、文件解析与切片以及上传到向量库；
4、知识问答，包括用户提问、知识库检索、生成提示语、提交
5、优选的，知识构建的具体操作包括：
6、用户文件上传：用户通过用户界面选择并上传他们希望转化为知识资源的文件，这些文件包括文本文档、pdf、ppt幻灯片、excel电子表格格式；
7、前端处理：前端应用接收到用户上传的文件后，调用后端提供的文件上传接口，确保文件从用户端安全地传输到服务器端；
8、后端文件接收与存储：后端服务器接收到文件后，进行文件存储操作，文件被保存在服务器的文件系统中，并生成一个唯一的文件标识符，用于后续操作；
9、调用知识库上传接口：后端服务器通过调用知识库的上传接口，将文件标识符传递给知识库系统，以触发文件解析和知识提取的过程；
10、文件解析与切片：知识库系统接收到文件标识符后，对文件进行解析，解析过程包括文本提取、格式转换、内容分析等，将文件内容分割成可索引和检索的单元；在切片时，保持段落的完整性，防止图片标签、公式标签与正文分到不同片段中；
11、上传到向量库：解析后的内容被进一步处理，转换成向量形式，然后上传到向量库中，向量库是一个存储和索引文件向量数据的系统，它允许快速检索和相似性比较。
12、优选的，文件内容整理的具体操作包括：
13、图片占位符转换：将文档中的所有图片进行识别，并转换为统一的占位符格式，以<img id＝"ridx"/>表示，其中ridx为图片在文档中的相对索引，确保文档的一致性，并便于后续的图片管理和引用，对应图片保存到minio中，将图片在minio中的保存地址，替换到文本中，如<img id＝”ridx”src＝”https://www.xxx.com/xxx.png”>；
14、公式处理：简单公式处理时，对于只包含基本算术运算和上下标的公式，应利用文档编辑软件的格式功能，将上下标的格式转换为html的<sub>和<sup>标签；复杂公式处理时，转换为图片：将复杂公式转换为图片，并使用<img id＝"ridx"/>标签进行标记，处理过程和“图片占位符转换”部分保持一致；转换为latex格式：通过光学字符识别技术，将复杂公式转换为latex格式，以便于在文档中以文本形式呈现，并保持其可编辑性和可检索性；页面页脚去除：在进行文档整理时，直接移除页面页脚的格式。
15、优选的，知识问答的具体操作包括：
16、用户提问：用户选用知识库并且进行提问；
17、知识库检索：系统接收到用户的提问后，在向量库中检索相关知识片段；
18、生成提示语：见检索到的知识片段和问题进行结合，生成提示语，在这个过程中，使用提示语如下，要求大模型将引用的<img><sub><sup>标签返回；
19、提交到大模型：生成的提示语随后被提交给大模型，大模型根据提示语中的指令和上下文信息，生成回答或执行相关的任务。
20、优选的，还包括对模型的提示语输出格式进行精细调整，具体操作如下：
21、数据集制定：收集与特殊格式prompt相关的数据集，确保这些数据反映prompt的多样性和复杂性，使用这些数据对模型进行再训练，以增强其对特定格式的适应性；
22、标注增强：对数据集中的prompt进行详细的标注，明确指出模型需要识别和理解的关键元素，如实体、关键词、语法结构；
23、特征工程：分析特殊格式prompt的特征，并设计相应的特征提取方法，以便模型能够更有效地捕捉这些特征；
24、评估和迭代：在微调过程中，持续评估模型对特殊格式prompt的理解能力，并根据评估结果进行迭代优化；
25、前端显示结果：大模型返回结果，前端进行展示时，由于<img><sub><sup>标签属于标准的html格式，使用支持html展示方式的输入框进行展示，以此达到低成本且不引用多模态模型的情况下，支持图片、公式展示的要求。
26、一种基于大模型的面向汽车服务行业的低成本展示图片和公式的系统，所述系统由知识构建模块以及只是回答模块组成；
27、知识构建模块，将用户上传的文件转化为知识库中可检索和利用的知识资源，包括：用户文件上传、前端处理、后端文件接收与存储、调用知识库上传接口、文件内容整理、文件解析与切片以及上传到向量库；
28、知识问答模块，包括用户提问、知识库检索、生成提示语、提交大模型以及前端显示结果。
29、优选的，知识构建模块包括：
30、用户文件上传：用户通过用户界面选择并上传他们希望转化为知识资源的文件，这些文件包括文本文档、pdf、ppt幻灯片、excel电子表格格式；
31、前端处理：前端应用接收到用户上传的文件后，调用后端提供的文件上传接口，确保文件从用户端安全地传输到服务器端；
32、后端文件接收与存储：后端服务器接收到文件后，进行文件存储操作，文件被保存在服务器的文件系统中，并生成一个唯一的文件标识符，用于后续操作；
33、调用知识库上传接口：后端服务器通过调用知识库的上传接口，将文件标识符传递给知识库系统，以触发文件解析和知识提取的过程；
34、文件解析与切片：知识库系统接收到文件标识符后，对文件进行解析，本文档来自技高网...
【技术保护点】
1.一种基于大模型的面向汽车服务行业的低成本展示图片和公式的方法，其特征在于：所述方法包括以下步骤：
2.根据权利要求1所述的一种基于大模型的面向汽车服务行业的低成本展示图片和公式的方法，其特征在于：知识构建的具体操作包括：
3.根据权利要求1所述的一种基于大模型的面向汽车服务行业的低成本展示图片和公式的方法，其特征在于：文件内容整理的具体操作包括：
4.根据权利要求1所述的一种基于大模型的面向汽车服务行业的低成本展示图片和公式的方法，其特征在于：知识问答的具体操作包括：
5.根据权利要求1所述的一种基于大模型的面向汽车服务行业的低成本展示图片和公式的方法，其特征在于：还包括对模型的提示语输出格式进行精细调整，具体操作如下：
6.一种根据权利要求1-5任意一项所述的基于大模型的面向汽车服务行业的低成本展示图片和公式的方法的基于大模型的面向汽车服务行业的低成本展示图片和公式的系统，其特征在于：所述系统由知识构建模块以及只是回答模块组成；
7.根据权利要求6所述的一种基于大模型的面向汽车服务行业的低成本展示图片和
8.根据权利要求6所述的一种基于大模型的面向汽车服务行业的低成本展示图片和公式的系统，其特征在于：文件内容整理的具体操作包括：
9.根据权利要求6所述的一种基于大模型的面向汽车服务行业的低成本展示图片和公式的系统，其特征在于：知识问答模块包括：
10.根据权利要求6所述的一种基于大模型的面向汽车服务行业的低成本展示图片和公式的系统，其特征在于：还包括调整模块，用于对模型的提示语输出格式进行精细调整，具体操作如下：
...【技术特征摘要】
1.一种基于大模型的面向汽车服务行业的低成本展示图片和公式的方法，其特征在于：所述方法包括以下步骤：
2.根据权利要求1所述的一种基于大模型的面向汽车服务行业的低成本展示图片和公式的方法，其特征在于：知识构建的具体操作包括：
3.根据权利要求1所述的一种基于大模型的面向汽车服务行业的低成本展示图片和公式的方法，其特征在于：文件内容整理的具体操作包括：
4.根据权利要求1所述的一种基于大模型的面向汽车服务行业的低成本展示图片和公式的方法，其特征在于：知识问答的具体操作包括：
5.根据权利要求1所述的一种基于大模型的面向汽车服务行业的低成本展示图片和公式的方法，其特征在于：还包括对模型的提示语输出格式进行精细调整，具体操作如下：
6.一种根据权利要求1-5任意一项所述的基于大模型的...
【专利技术属性】
技术研发人员：谢文倩，刘存喜，李廷，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。