【技术实现步骤摘要】
本专利技术涉及自然语言处理和信息抽取技术的领域，尤其涉及非结构化数据语义解析与可视化方法、系统、设备及介质。
技术介绍
1、随着技术的不断进步，各种信息收集工具层出不穷，导致大量非结构化文本数据和结构化但同义不同形的数据不断涌现。这些数据中蕴含着许多有价值的信息，但要从大量数据中提取出这些有效信息并整理成直观的可视化结构化数据，需要耗费大量的人力和精力。
2、在信息技术快速发展的时代，大型集团企业收集的数据具有以下特点。
3、1.大量性：随着企业规模的扩大，其数据产生和收集的规模与速度也在不断增长。无论这些数据是来自数据库还是其他来源，其数量都极其庞大，进一步呈现出大规模化的特性。
4、2.非结构化：随着数据收集工具的多样性和填报人员差异性的影响，除部分遵循强制规则的数据以外，大量数据以文本、图像、音频和视频等非结构化格式呈现，这给数据处理带来了相当的难度。这些数据没有固定的格式或结构，使得数据的理解和分析工作变得更加复杂。
5、3.复杂性：非结构化的数据可能包含大量的语义信息、背景信息、情感信息等，而且可能存在各种语法和表达错误，这使得数据的理解和分析更加复杂。
6、4.高价值：虽然这些数据难以处理，但是其中蕴含的信息和知识对企业来说具有很高的价值。如果通过有效的处理和分析，从中提取出有价值的信息和洞见，可以帮助企业做出更好的决策和行动。
7、目前，传统的文本处理技术如关键词提取和情感分析等虽然能够在一定程度上帮助人们理解文本内容，但在专业性词汇的深入理解
技术实现思路
1、有鉴于此，本专利技术提出了非结构化数据语义解析与可视化方法、系统、设备及介质，通过利用先进的语义解析技术，将非结构化数据高效地转化为结构化数据，从而提高了数据处理的效率和精度。同时，基于结构化的数据，采用创新的信息抽取方法，准确地抽取关键信息，并生成具有价值洞见的展示结果，从而为特定领域或行业提供强大的数据处理和分析能力。
2、基于上述目的，本专利技术实施例的一方面提供了非结构化数据语义解析与可视化方法，具体包括如下步骤：
3、获取用户输入的参考数据要求和非结构化数据；
4、对所述非结构化数据进行预处理，得到预处理后的数据；
5、将预处理后的数据进行语义解析转化为结构化数据并存储，根据参考数据要求对结构化数据进行描述关键信息；
6、根据关键信息整合组织结构化数据，得到有效信息；
7、基于有效信息和参考数据要求进行预测分析得到预测趋势和建议，并产生预测数据；
8、将有效信息和预测数据均进行可视化呈现，并根据参考数据要求或者关键信息产生输出结果和输出报告。
9、在一些实施例中，所述对所述非结构化数据进行预处理，得到预处理后的数据的步骤包括：
10、对非结构化数据进行语义补充或语法检查，补齐错误、遗漏的文字；
11、对非结构化数据进行初步清洗，去除重复数据和无效数据；
12、通过预设的预处理方案对初步清洗后的非结构化数据进行进一步清洗；
13、响应于进行预处理扩展，根据预处理扩展对非结构化数据进行自定义清洗；
14、完成清洗后得到预处理数据。
15、在一些实施例中，所述将预处理后的数据进行语义解析转化为结构化数据并存储的步骤包括：
16、响应于进行语义解析业务扩展，使用自定义扩展规则对预处理后的数据解析，得到扩展数据；
17、根据预设的语义解析方案对预处理后的数据或者扩展数据进行解析，得到结构化数据并存储。
18、在一些实施例中，所述根据参考数据要求对结构化数据描述关键信息的步骤包括：
19、根据参考数据要求对结构化数据描述包括全局上下文标记和语义标记的关键信息；
20、将所有的描述存放在结构化数据存储表中的不同列中，并基于结构化数据存储表设置列含义描述表。
21、在一些实施例中，所述根据关键信息整合组织结构化数据，得到有效信息的步骤包括：
22、识别结构化数据对应的关键信息中上下文标记和语义标记；
23、根据上下文标记对同类信息进行整合，得到整合数据；
24、识别整合数据中的标记点，根据标记点抽取得到有效信息；
25、对抽取到的有效信息进行组合存储，并和非结构化数据进行数据关联。
26、在一些实施例中，所述基于有效信息和参考数据要求进行预测分析得到预测趋势和建议，并产生预测数据的步骤包括：
27、基于参考数据要求、全局上下文标记、有效信息对结构化数据进行预测分析，得到预测趋势和建议；
28、根据预测趋势和建议产生预测数据；
29、将预测数据和原始数据设置不同的标记并整合存储。
30、在一些实施例中，方法还包括：
31、响应于输出结果未达到输出要求，则补充描述重新生成当前的输出结果。
32、本专利技术提出了非结构化数据语义解析与可视化系统，包括：
33、数据输入模块，配置为获取用户输入的参考数据要求和非结构化数据；
34、数据预处理模块，配置为对所述非结构化数据进行预处理，得到预处理后的数据；
35、语义解析模块，配置为将预处理后的数据进行语义解析转化为结构化数据并存储，根据参考数据要求对结构化数据进行描述关键信息；
36、有效信息抽取模块，配置为根据关键信息整合组织结构化数据，得到有效信息；
37、智能分析模块，配置为基于有效信息和参考数据要求进行预测分析得到预测趋势和建议，并产生预测数据；
38、数据可视化与输出模块，配置为将有效信息和预测数据均进行可视化呈现，并根据参考数据要求或者关键信息产生输出结果和输出报告。
39、本专利技术提出了一种计算机设备，包括：
40、至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述非结构化数据语义解析与可视化方法的步骤。
41、本专利技术提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行所述非结构化数据语义解析与可视化方法的步骤。
42、本专利技术至少具有以下有益技术效果：
43、本专利技术提出了非结构化数据语义解析与可视化方法、系统、设备及介质，方法包括：获取用户输入的参考数据要求和非结构化数据；对所述非结构化数据进行预处理，得到预处理后的数据；将预处理后的数据进行语义解析转化为结构化数据并存储，根据参考数据要求对结构化数据进行描述关键信息；根据关键信息整合组织结构化数据，得到有效信息；基于有效信息和参考数据要求进行预测分析得到预测趋势和建议，并产生预测数据；将有效信息和预测数据均进行可视化呈现，并根据参考数据要求或者关键信息产生输出结果和输出报告。本文档来自技高网...
【技术保护点】
1.非结构化数据语义解析与可视化方法，其特征在于，包括，
2.根据权利要求1所述的非结构化数据语义解析与可视化方法，其特征在于，所述对所述非结构化数据进行预处理，得到预处理后的数据的步骤包括：
3.根据权利要求1所述的非结构化数据语义解析与可视化方法，其特征在于，所述将预处理后的数据进行语义解析转化为结构化数据并存储的步骤包括：
4.根据权利要求1所述的非结构化数据语义解析与可视化方法，其特征在于，所述根据所述参考数据要求对所述结构化数据描述关键信息的步骤包括：
5.根据权利要求4所述的非结构化数据语义解析与可视化方法，其特征在于，所述根据所述关键信息整合组织结构化数据，得到有效信息的步骤包括：
6.根据权利要求5所述的非结构化数据语义解析与可视化方法，其特征在于，所述基于所述有效信息和参考数据要求进行预测分析得到预测趋势和建议，并产生预测数据的步骤包括：
7.根据权利要求1所述的非结构化数据语义解析与可视化方法，其特征在于，方法还包括：
8.非结构化数据语义解析与可视化系统，其特征在于，包括：<...
【技术特征摘要】
1.非结构化数据语义解析与可视化方法，其特征在于，包括，
2.根据权利要求1所述的非结构化数据语义解析与可视化方法，其特征在于，所述对所述非结构化数据进行预处理，得到预处理后的数据的步骤包括：
3.根据权利要求1所述的非结构化数据语义解析与可视化方法，其特征在于，所述将预处理后的数据进行语义解析转化为结构化数据并存储的步骤包括：
4.根据权利要求1所述的非结构化数据语义解析与可视化方法，其特征在于，所述根据所述参考数据要求对所述结构化数据描述关键信息的步骤包括：
5.根据权利要求4所述的非结构化数据语义解析与可视化方法，其特征在于，所述根据所述关键信息整合组织...
【专利技术属性】
技术研发人员：王旭，
申请(专利权)人：浪潮通用软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。