大语言模型驱动的低成本公报数据抽取方法技术

本发明专利技术涉及一种能够在常规电脑设备上，高效地从公报发布网页中提取预定义指标数据的系统方法。该系统方法主要包括四步：首先，利用爬虫工具和正文抽取算法获取公报正文内容。其次，用表格图片识别工具识别报告中的表格图片，将全部信息整合为纯文本。接下来，将文本信息分段，并通过大语言模型API加上特定的提示词提取每一段中的指标名称和数据。最后，生成已提取到的全部指标名称的词向量和预定义指标名称的词向量，并经过词向量匹配筛选和调用大语言模型API做二次判定，确定并记录已提取到的全部指标中是否有预定义指标。通过这种方式，本系统实现了对不同地区发布的网页公报内容中的大量数据指标的自动提取，显著提高了市场调研的效率。

【技术实现步骤摘要】

技术介绍

技术实现思路

【技术保护点】

1.一种大语言模型驱动的低成本公报数据抽取方法，其特征在于，通过对应的模块对数据进行抽取，所述抽取方法包括以下步骤：

2.根据权利要求1所述的大语言模型驱动的低成本公报数据抽取方法，其特征在于，所述网页正文获取模块采用全自动化的爬虫工具来获取动态加载的全部网页信息，并且采用基于文本密度的网页正文抽取算法获取公报正文的内容，仅需要输入公报的网址即可启动运行。

3.根据权利要求1所述的大语言模型驱动的低成本公报数据抽取方法，其特征在于，所述报告信息解析模块具有图片识别功能和附件文档内容提取功能，图片识别功能采用了在本地常规电脑设备上可用的轻量级AI模型，可以获取表格图...

【技术特征摘要】

1.一种大语言模型驱动的低成本公报数据抽取方法，其特征在于，通过对应的模块对数据进行抽取，所述抽取方法包括以下步骤：

2.根据权利要求1所述的大语言模型驱动的低成本公报数据抽取方法，其特征在于，所述网页正文获取模块采用全自动化的爬虫工具来获取动态加载的全部网页信息，并且采用基于文本密度的网页正文抽取算法获取公报正文的内容，仅需要输入公报的网址即可启动运行。

3.根据权利要求1所述的大语言模型驱动的低成本公报数据抽取方法，其特征在于，所述报告信息解析模块具有图片识别功能和附件文档内容提取功能，图片识别功能采用了在本地常规电脑设备上可用的轻量级ai模型，可以获取表格图片里每个单元格的文字以及单元格位置信息。

4.根据权利要求1所述的大语言模型驱动的低成本公报数据抽取方法，其特征在于，所述指标数据提取模块向大语言模型api输...

【专利技术属性】
技术研发人员：伍三威，
申请(专利权)人：深圳小鹰网络科技有限公司，
类型：发明
国别省市：