一种应用于电力交易的数据知识处理系统技术方案

本发明专利技术公开了一种应用于电力交易的数据知识处理系统，它包括非结构化数据处理模块和HTML转换模块，将非结构化数据处理模块抽取的文字内容、文本数据的文字内容进行HTML转换，使得所有数据格式统一并且支持网页显示；利用自然语言处理模块形成初步的知识图谱素材；利用知识图谱模块提供实体、属性、关系的可编辑选项进行优化形成有效知识库；利用问答模块提供问答交互能力；利用查询模块实现知识定位及关联推荐；利用推荐模块提供针对不同市场主体用户推荐其属性相关和行为相关的电力交易知识和数据；利用学习模块将知识图谱形成的行业知识进行目录展示；实现分散数据的统一、版本的归档、格式的统一，为市场主体提供智能化主动服务。动服务。动服务。

【技术实现步骤摘要】
一种应用于电力交易的数据知识处理系统


[0001]本专利技术属于电力交易系统
，尤其涉及一种应用于电力交易的数据知识处理系统。

技术介绍

[0002]当前国家发展改革委进一步加快推进电力市场化改革，从国家层面出台了相关政策，贵州省政府相关部门、南方电网公司、贵州电网公司等也相继制定并印发了落实相关要求的管理办法、实施方案等，形成了一系列政策法规、制度规定、业务流程、历史数据等相关数据信息。基于以上数据和业务需求开发了电力交易相关系统，在系统应用过程中发现仍存在以下几点问题：1、数据分散，知识更新速度快，存在多个版本；2、数据格式不统一，阅读感官不佳；3、无法有效快速的支撑电力交易行业知识库内容的积累；4、已有的电力交易相关系统为市场主体用户提供的功能比较单一，基本上都是传统的增删改查功能。以上问题导致目前电力交易工作中用户侧在文档确认、规范查询、流程了解上造成极大不便，影响电力交易服务效率；也无法为不同的市场主体用户提供有针对性的数据支撑和有效的知识推荐，无法提供智能化主动服务；同时业务人员在专业能力提升、日常学习上没有一个高效的学习服务平台；而且现有系统对提供的数据知识安全管控较薄弱、且缺少追溯功能。

技术实现思路

[0003]本专利技术要解决的技术问题是：提出一种应用于电力交易的数据知识处理系统，以解决现有技术的电力交易系统存在的不足。
[0004]本专利技术技术方案：
[0005]一种应用于电力交易的数据知识处理系统，它包括：
[0006]非结构化数据处理模块：通过OCR图片识别技术将pdf、图片等非结构化格式的文字内容进行抽取，存入数据库；
[0007]HTML转换模块：将非结构化数据处理模块抽取的文字内容、文本数据的文字内容进行HTML转换，使得所有数据格式统一并且支持网页显示；
[0008]自然语言处理模块：通过自然语言处理模块实现对结构化数据的自动理解和拆分，形成知识图谱素材；
[0009]知识图谱模块：接收自然语言处理模块的输出内容，通过可视化方式展示，提供实体、属性、关系的可编辑选项进行优化形成有效知识库；
[0010]问答模块：提供问答交互能力，通过文字输入和语音输入方式触发知识内容；
[0011]查询模块：提供关键词查询，结合底层知识图谱关系，实现知识定位及关联推荐；
[0012]推荐模块：提供针对不同市场主体用户推荐其属性相关和行为相关的电力交易知识和数据；
[0013]学习模块：将知识图谱形成的行业知识进行目录展示，并提供全文查询下载、在线阅读、版本选择及练习计分功能。
[0014]它还包括：
[0015]统一接口模块：将由自然语言处理、知识图谱构建的行业知识库封装成标准接口供授信的第三方进行调用；
[0016]统一管理模块：提供友好的增删改查界面，给管理员对非结构化处理模块、 HTML模块、知识图谱模块和问答模块的参数进行配置。
[0017]它还包括：
[0018]前端交互模块：在web端、手机端或大屏端为用户提供知识咨询、推荐查询、学习培训及模块接入功能。
[0019]它还包括：
[0020]电力交易数据智能分析模块：结合知识图谱、自然语言处理技术，一方面在用户侧为市场主体提供针对其交易数据、交易行为的智能数据分析，形成个性画像，实时提示用户与其相关的电力交易政策及交易信息；另一方面为服务侧运营人员提供整体的、分类的各种智能统计分析结果，做出智能预测，辅助电力交易有效开展；
[0021]电力交易数据知识区块链数据鉴别模块：采用区块链技术，实现数据知识的签名防伪，实现可追溯能力，保障数据安全。
[0022]所述非结构化数据处理模块的实现方法包括:将用户输入的各类图片进行分析提取出文本信息，采用基于深度学习的算法实现；
[0023]所述HTML转换模块的实现方法包括:通过标准化处理将不同源的文档统一转换为PDF，在此过程中确保文档的样式不变且文本信息不会被转换为图片；然后再将转换后的PDF转换为HTML，从而实现了不同源文档的标准化输出。
[0024]所述自然语言处理模块的实现方法包括：
[0025]词库构建：首先完成结构化、半结构化数据提取，同时加入无监督新词发现算法，再结合主流开源基础词库，创建一套适合电力交易已有文档积累以及符合相关业务流程的词库；对于半结构化文本和结构化文本，经过处理后直接提取初始的词库，对于非结构化文档，则使用基于统计的无监督新词发现算法提取新词补充到词库；最后实现基于融合性分词技术的词的抽取，首先输入待分词文本，调用词库结合双向最大匹配算法进行计算，判断是否满足启发抽取规则，若不满足，调用N
‑
gram语言模型对分词文本进行处理；若满足启发规则，直接进行抽取加入词库；
[0026]所述知识图谱模块的实现方法包括：
[0027]利用自然语言处理模块，对输入的非结构化、结构化和半结构化数据进行处理，形成实体词库、关系词库、属性词库；然后直接进行知识表示处理；知识表示处理完成后进行实体对齐，然后进行属性矫正，同时进行本体构建和质量评估，本体构建完成进入知识更新，然后进行质量评估，质量评估完成后将生成的图谱知识存储知识图谱数据库，由知识图谱数据库向应用服务提供支撑，同时进行知识推理，知识推理的结果给到质量评估，然后在反馈给知识图谱数据库，从而形成自学习闭环。
[0028]所述问答模块的实现方法包括:通过文字输入及语音输入方式触发知识内容，具体步骤包括：
[0029]步骤1、若是文字输入，直接调用自然语言处理模块进行处理，然后调用知识图谱模块输出结果匹配答案库，输出答案；
[0030]步骤2、若是语音输入，则先调用语音识别模块，将语音转换为文字后，调用自然语言处理模块进行处理，然后调用知识图谱模块输出结果匹配答案库，输出答案；
[0031]步骤3、若是图片输入，则先调用OCR识别，将图片内文字识别，调用自然语言处理模块进行处理，然后调用知识图谱模块输出结果匹配答案库，输出答案；
[0032]所述查询模块的实现方法包括：输入文字查询内容后，调用自然语言处理模块，进行分词预处理，然后调用知识图谱模块，生成对应的特征词，在通过特征词和数据库数据进行匹配，最后得到查询结果；
[0033]所述推荐模块的实现方法包括：
[0034]从数据库或缓存中拿到用户行为数据，通过分析不同行为，生成当前用户的特征向量；从用户行为数据库提取行为数据，再进行行为特征转换，然后结合用户属性数据库的属性数据，生成用户行为特征向量；
[0035]将用户的特征向量通过“特征
‑
对应矩阵”的关系转化为初始推荐列表，接收到用户行为特征向量后，根据不同属性的特征值结合对应的相关表，从对应属性的候选集合完成初始推荐结果的生成；
[0036]对初始的推荐列表进行过滤及排名处理，从而生成该引擎的最终推荐结果；对初始推荐结果进行优化处理，先进行过滤操本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于电力交易的数据知识处理系统，它包括：非结构化数据处理模块：通过OCR图片识别技术将pdf、图片等非结构化格式的文字内容进行抽取，存入数据库；HTML转换模块：将非结构化数据处理模块抽取的文字内容、文本数据的文字内容进行HTML转换，使得所有数据格式统一并且支持网页显示；自然语言处理模块：通过自然语言处理模块实现对结构化数据的自动理解和拆分，形成知识图谱素材；知识图谱模块：接收自然语言处理模块的输出内容，通过可视化方式展示，提供实体、属性、关系的可编辑选项进行优化形成有效知识库；问答模块：提供问答交互能力，通过文字输入和语音输入方式触发知识内容；查询模块：提供关键词查询，结合底层知识图谱关系，实现知识定位及关联推荐；推荐模块：提供针对不同市场主体用户推荐其属性相关和行为相关的电力交易知识和数据；学习模块：将知识图谱形成的行业知识进行目录展示，并提供全文查询下载、在线阅读、版本选择及练习计分功能。2.根据权利要求1所述的一种应用于电力交易的数据知识处理系统，其特征在于：它还包括：统一接口模块：将由自然语言处理、知识图谱构建的行业知识库封装成标准接口供授信的第三方进行调用；统一管理模块：提供友好的增删改查界面，给管理员对非结构化处理模块、HTML模块、知识图谱模块和问答模块的参数进行配置。3.根据权利要求1所述的一种应用于电力交易的数据知识处理系统，其特征在于：它还包括：前端交互模块：在web端、手机端或大屏端为用户提供知识咨询、推荐查询、学习培训及模块接入功能。4.根据权利要求1所述的一种应用于电力交易的数据知识处理系统，其特征在于：它还包括：电力交易数据智能分析模块：结合知识图谱、自然语言处理技术，一方面在用户侧为市场主体提供针对其交易数据、交易行为的智能数据分析，形成个性画像，实时提示用户与其相关的电力交易政策及交易信息；另一方面为服务侧运营人员提供整体的、分类的各种智能统计分析结果，做出智能预测，辅助电力交易有效开展；电力交易数据知识区块链数据鉴别模块：采用区块链技术，实现数据知识的签名防伪，实现可追溯能力，保障数据安全。5.根据权利要求1所述的一种应用于电力交易的数据知识处理系统，其特征在于：所述非结构化数据处理模块的实现方法包括:将用户输入的各类图片进行分析提取出文本信息，采用基于深度学习的算法实现；所述HTML转换模块的实现方法包括:通过标准化处理将不同源的文档统一转换为PDF，在此过程中确保文档的样式不变且文本信息不会被转换为图片；然后再将转换后的PDF转换为HTML，从而实现了不同源文档的标准化输出。
6.根据权利要求1所述的一种应用于电力交易的数据知识处理系统，其特征在于：所述自然语言处理模块的实现方法包括：词库构建：首先完成结构化、半结构化数据提取，同时加入无监督新词发现算法，再结合主流开源基础词库，创建一套适合电力交易已有文档积累以及符合相关业务流程的词库；对于半结构化文本和结构化文本，经过处理后直接提取初始的词库，对于非结构化文档，则使用基于统计的无监督新词发现算法提取新词补充到词库；最后实现基于融合性分词技术的词的抽取，首先输入待分词文本，调用词库结合双向最大匹配算法进行计算，判断是否满足启发抽取规则，若不满足，调用N
‑
gram语言模型对分词文本进行处理；若满足启发规则，直接进行抽取加入词库；所述知识图谱模块的实现方法包括：利用自然语言处理模块，对输入的非结构化、结构化和半结构化数据进行处理，形成实体词库、关系词库、属性词库；然后直接进行知识表示处理；知识表示处理完成后进行实体对齐，然后进行属性矫正，同时进行本体构建和质量评估，本体构建完成进入知识更新，然后进行质量评估，质量评估完成后将生成的图谱知识存储知识图谱数据库，由知识图谱数据库向应用服务提供支撑，同时进行知识推理，知识推理的结果给到质量评估，然后在反馈给知识图谱数据库，从而形成自学习闭环。7.根据权利要求1所述的一种应用于电力交易的数据知识处理系统，其特征在于：所述问答模块的实现方法包括:通过文字输入及语音输入方式触发知识内容，具体步骤包括：步骤1、若是文字输入，直接调用自然语言处理模块进行处理，然后调用知识图谱模块输出结果匹配答案库，输出答案；步骤2、若是语音输入，则先调用语音识别模块，将语音转换为文字后，调用自然语言处理模块进行处理，...

【专利技术属性】
技术研发人员：李明莉，程其麟，罗国忠，张允清，朱明，高芳萍，朱刚毅，韩贵涛，纪飞雪，何登，安平，邓钧文，胡吟，李小璐，唐瑞，
申请(专利权)人：贵州电力交易中心有限责任公司，
类型：发明
国别省市：