【技术实现步骤摘要】
不同数据源的数据抽取方法、装置、设备及存储介质
本专利技术涉及数据抽取领域。更具体地说，本专利技术涉及一种不同数据源的数据抽取方法及装置。
技术介绍
随着互联网的快速发展，我们已经进入了大数据时代，世界充斥着各种模态的数据。在文本领域中，同样的数据在不同数据源也存在着不同的展现形式，既消耗了大量的存储资源，又对数据资源的使用造成不便。例如在各类知识库系统构建过程中，需要采集的信息大多空间和时间跨度大、涉及行业领域广、数据采集源多，并且结构化和非结构化数据混杂。因此迫切需要设计一种针对不同数据源的数据抽取方法。目前，基于不同数据源的数据抽取方法都采用人工的形式。对于一般的数据抽取系统，先由人工统计不同网站的属性名，按照自身的语义理解完成属性名映射表的构建，最后再进行后续的属性名映射和属性值填充的工作。这种方式消耗了大量的人力和时间成本，在专业领域的构建时，往往还需专家的参与，因此无法实现大规模的自动化工作。
技术实现思路
本专利技术的一个目的是提供一种不同数据源的数据抽取方法，其克服上述现有方法存在...
【技术保护点】
1.不同数据源的数据抽取方法，其特征在于，包括：/n获取数据源和数据源属性名，计算数据源属性名与预设属性名的相似度，若所述相似度大于预设阈值，则建立所述数据源属性名与所述预设属性名的映射关系，构建属性名映射表；/n根据所述属性名映射表，获取与所述预设属性名对应的不同数据源，根据数据源的优先级，按照设定的抽取规则抽取数据入库。/n
【技术特征摘要】
1.不同数据源的数据抽取方法，其特征在于，包括：
获取数据源和数据源属性名，计算数据源属性名与预设属性名的相似度，若所述相似度大于预设阈值，则建立所述数据源属性名与所述预设属性名的映射关系，构建属性名映射表；
根据所述属性名映射表，获取与所述预设属性名对应的不同数据源，根据数据源的优先级，按照设定的抽取规则抽取数据入库。
2.如权利要求1所述的不同数据源的数据抽取方法，其特征在于，所述计算数据源属性名与预设属性名的相似度的方法包括，根据最长公共子串算法、编辑距离算法和基于词嵌入的相似度算法分别计算数据源属性名与预设属性名的最长公共子串相似度、编辑距离相似度和基于词嵌入相似度；根据相似度权重，计算数据源属性名与预设属性名的总相似度，其中，式中，sim为总相似度，sim1为最长公共子串相似度，sim2为编辑距离相似度，sim3为基于词嵌入相似度，a、b、c为相似度权重，且a+b+c＝1。
3.如权利要求1所述的不同数据源的数据抽取方法，其特征在于，所述根据数据源的优先级，按照设定的抽取规则抽取数据入库包括，按照优先级顺序依次对数据源进行处理，其中，最高优先级的数据源按照相等规则直接抽取此数据源字段的值入库，抽取后，后续数据源不再处理，若最高优先级的数据源字段不存在，则跳出，进入下一优先级数据源的数据抽取；次高优先级的数据源按照正则匹配规则抽取此数据源字段中匹配到的值入库，抽取后，后续数据源不再处理，若次高优先级的数据源字段不存在，则跳出，进入下一优先级数据源的数据抽取。
4.如权利要求1所述的不同数据源的数据抽取方法，其特征在于，还包括，获取数据源更新的数据，并将其作为消息存放至消息队列中，当所述消息队列不空时，取出一个所述消息，获取所述消息的属性名，根据所述属性名映射表查找所述库中对应的原始数据，将所述原始数据的最后修改时间与所述消息的更新时间进行比对，若所述更新时间为最新，则按照设定的合并、更新规则更新所述库，否则跳出，其中，所述设定的合并、更新规则包括，根据所述属性名映射表查找所述原始数据对应的数据源的优先级，若所述消息对应的数据源的优先级高于所述原始数据对应的数据源的优先级，则将所述消息更新到所述库中，否则不更新。
5.不同数据源的数据抽取装置，其特征在于，包括，
属性名映射表构建模块，其用于获取数据源和数据源属性名，计算数据源属性名与预设属性名的相似度，若所述相似度大于预设阈值，则建立所述数据源属性名与所述预设属性名的映...
【专利技术属性】
技术研发人员：李欣，赵志云，葛自发，孙小宁，张冰，万欣欣，袁钟怡，赵忠华，孙立远，付培国，王禄恒，王晴，
申请(专利权)人：国家计算机网络与信息安全管理中心，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。