一种不动产数据整合系统及方法技术方案

本发明专利技术公开了一种不动产数据整合系统及方法，涉及数据处理领域。本发明专利技术包括：不动产单元中设有多种数据库；不动产数据整合单元包括：数据采集模块采集多种数据库信息并数字化处理；数据抽取模块对采集到的数据进行抽取；数据清洗模块清洗出有效数据；数据转换模块根据转换规则将有效数据进行转换；数据加载模块将匹配完成的数据进行加载的；服务器包括用于存储数据的不动产正式数据库和向智能终端发送信息的通信模块。本发明专利技术通过对不同系统和多种数据库内的不动产数据进行整合，利用数据的采集、抽取、清洗、转换、匹配和加载将所有数据整合到新的数据库内，简化了数据整合的步骤，提高了数据整合的效率，给工作人员带来了极大方便。

【技术实现步骤摘要】
一种不动产数据整合系统及方法
本专利技术属于数据处理领域，特别是涉及一种不动产数据整合系统及方法。
技术介绍
目前各地在土地调查、土地登记、房产调查测绘、房屋产权管理等业务中所生产的基础数据库类数据多数情况下是依赖于某个特定应用系统，所生成的数据高度依赖于特定的软件应用系统，只能在特定软件中或特定的业务系统中才能使用，无法供外部应用，导致数据丧失了其本该具有的独立于业务的特性。在分散登记背景下的多种业务数据来源、多种介质来源的数据分别遵循各自相关的行业标准，有时同一种业务在不同时期，会对应不同的业务标准，无疑给数据整合造成了非常大的难度，主要表现为标准不一、数据精度不一、数据要素不齐全、没有关联、历史数据复杂。综上，因不动产的多源异构、多业务多时点、无业务独立性等特点，在房产和土地登记数据整合过程中，必然涉及数据模式不匹配、数据内容不唯一、语义冲突等问题。
技术实现思路
本专利技术的目的在于提供一种不动产数据整合系统及方法，通过对不同系统和多种数据库内的不动产数据进行整合，利用数据的采集、抽取、清洗、转换、匹配和加载将所有数据整合到新的数据库内，解决了现有的不动产数据系统种类多、数据分散带来的整合困难、依靠编程整合难度大，费时费力的问题。为解决上述技术问题，本专利技术是通过以下技术方案实现的：本专利技术为一种不动产数据整合系统，包括不动产单元、不动产数据整合单元、服务器和智能终端，所述不动产数据整合单元分别与不动产单元和服务器连接；所述服务器与智能终端无线连接；所述不动产单元包括若干种数据库；所述不动产数据整合单元包括：用于采集不动产单元中多种数据库信息并进行数字化处理的数据采集模块；用于对采集到的数据进行抽取的数据抽取模块；用于根据清洗规则清洗出有效数据的数据清洗模块；用于根据转换规则将有效数据进行转换的数据转换模块；用于根据定义规则进行匹配的规则匹配模块；用于将匹配完成的数据进行加载的数据加载模块；所述服务器包括用于将加载完成的数据存储到不动产正式数据库和向智能终端发送信息的通信模块。优选地，所述智能终端包括智能手机、PC机和平板电脑。本专利技术为一种不动产数据整合方法，包括如下步骤：其中，数据抽取包括如下步骤：S101采集的数据进行字段映射；S102对映射的字段进行关联得到原始中转数据；S103判断原始数据是否需要增量；若是，则执行步骤S104；若否，则执行步骤S105；S104对元数据进行增量抽取，得到待清洗数据；S105对元数据进行全量抽取，到的待清洗数据；其中，数据清洗包括如下步骤：S201设置清洗规则，将元数据进行规范化处理；S202根据清洗规则对需要的数据进行替换得到干净的中转数据；S203根据清洗规则对缺失的数据进行补缺得到干净的中转数据；其中，数据转换包括如下步骤：S301对清洗后的有效数据进行表或数据的拆分；S302对拆分完成的数据或表进行数据计算；S303根据关联规则，对多表进行关联查询、匹配，得到与目标匹配的明细数据；其中，数据加载包括如下步骤：S401设置加载方式对元数据进行增量加载；S402设置加载方式对元数据进行全量加载；S403将加载数据与明细数据进行数据比对得到文件数据。优选地，所述数据抽取包括全量抽取和增量抽取，其中，抽取过程中将数据拆分成几个部分并行抽取。优选地，所述加载方式包括时间戳方式、日志表方式、全表对比方式和全表删除插入的方式。本专利技术具有以下有益效果：本专利技术通过对不同系统和多种数据库内的不动产数据进行整合，利用数据的采集、抽取、清洗、转换、匹配和加载将所有数据整合到新的数据库内，简化了数据整合的步骤，提高了数据整合的效率，给工作人员带来了极大方便。当然，实施本专利技术的任一产品并不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一种不动产数据整合系统的系统框图；图2为本专利技术一种不动产数据整合方法中的数据抽取步骤图；图3为本专利技术一种不动产数据整合方法中的数据清洗步骤图；图4为本专利技术一种不动产数据整合方法中的数据转换步骤图；图5为本专利技术一种不动产数据整合方法中的数据加载步骤图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。请参阅图1所示，本专利技术为一种不动产数据整合系统，包括不动产单元、不动产数据整合单元、服务器和智能终端，不动产数据整合单元分别与不动产单元和服务器连接；服务器与智能终端无线连接；不动产单元包括多种不动产数据库，如土地数据库、房屋数据库、林权数据库、矿产数据库；不动产数据整合单元包括：用于采集不动产单元中多种数据库信息并进行数字化处理的数据采集模块；用于对采集到的数据进行抽取的数据抽取模块；用于根据清洗规则清洗出有效数据的数据清洗模块；用于根据转换规则将有效数据进行转换的数据转换模块；用于根据定义规则进行匹配的规则匹配模块；用于将匹配完成的数据进行加载的数据加载模块；服务器包括用于将加载完成的数据存储到不动产正式数据库和向智能终端发送信息的通信模块。其中，智能终端包括智能手机、PC机和平板电脑。本专利技术为一种不动产数据整合方法，包括如下步骤：其中如图2所示，数据抽取包括如下步骤：S101采集的数据进行字段映射；S102对映射的字段进行关联得到原始中转数据；S103判断原始数据是否需要增量；若是，则执行步骤S104；若否，则执行步骤S105；S104对元数据进行增量抽取，得到待清洗数据；S105对元数据进行全量抽取，到的待清洗数据；其中如图3所示，数据清洗包括如下步骤：S201设置清洗规则，将元数据进行规范化处理；S202根据清洗规则对需要的数据进行替换得到干净的中转数据；S203根据清洗规则对缺失的数据进行补缺得到干净的中转数据；其中如图4所示，数据转换包括如下步骤：S301对清洗后的有效数据进行表或数据的拆分；S302对拆分完成的数据或表进行数据计算；S303根据关联规则，对多表进行关联查询、匹配，得到与目标匹配的明细数据，制定关联规则；其中如图5所示，数据加载包括如下步骤：S401设置加载方式对元数据进行增量加载；S402设置加载方式对元数据进行全量加载；S403将加载数据与明细数据进行数据比对得到文件数据。其中，数据抽取包括全量抽取和增量抽取，抽取过程中将数据拆分成几个部分并行抽取，以便提高抽取效率，对抽取过程制定抽取的时间、频度以及抽取的流程以完善抽取过程。其中，加载方式包括时间戳方式、日志表方式、全表对比方式和全表删除插入的方式；时间戳方式对源数据抽取相对简单但当数据变动时工作量较大；日志表方式不需要修改业务表中数据结构但更新日志记录操作麻烦；全表对比方式对系统结构没有任何影响，管理维护统一但设计复杂，执行速度慢；全表删除插入方式规则简单速度快但不能体现出被删数据，不能实现增量加载。值得注意的本文档来自技高网...

【技术保护点】
1.一种不动产数据整合系统，包括不动产单元、不动产数据整合单元、服务器和智能终端，其特征在于：所述不动产数据整合单元分别与不动产单元和服务器连接；所述服务器与智能终端无线连接；所述不动产单元包括若干种数据库；所述不动产数据整合单元包括：用于采集不动产单元中多种数据库信息并进行数字化处理的数据采集模块；用于对采集到的数据进行抽取的数据抽取模块；用于根据清洗规则清洗出有效数据的数据清洗模块；用于根据转换规则将有效数据进行转换的数据转换模块；用于根据定义规则进行匹配的规则匹配模块；用于将匹配完成的数据进行加载的数据加载模块；所述服务器包括用于将加载完成的数据存储到不动产正式数据库和向智能终端发送信息的通信模块。

【技术特征摘要】
1.一种不动产数据整合系统，包括不动产单元、不动产数据整合单元、服务器和智能终端，其特征在于：所述不动产数据整合单元分别与不动产单元和服务器连接；所述服务器与智能终端无线连接；所述不动产单元包括若干种数据库；所述不动产数据整合单元包括：用于采集不动产单元中多种数据库信息并进行数字化处理的数据采集模块；用于对采集到的数据进行抽取的数据抽取模块；用于根据清洗规则清洗出有效数据的数据清洗模块；用于根据转换规则将有效数据进行转换的数据转换模块；用于根据定义规则进行匹配的规则匹配模块；用于将匹配完成的数据进行加载的数据加载模块；所述服务器包括用于将加载完成的数据存储到不动产正式数据库和向智能终端发送信息的通信模块。2.根据权利要求1所述的一种不动产数据整合系统，其特征在于，所述智能终端包括智能手机、PC机和平板电脑。3.一种不动产数据整合方法，其特征在于，包括如下步骤：其中，数据抽取包括如下步骤：S101采集的数据进行字段映射；S102对映射的字段进行关联得到原始中转数据；S103判断原始数据是否需要增量；若是，则执行步骤S104；若否...

【专利技术属性】
技术研发人员：许庆刚，朱继远，王莉，冯帅，赵琼琼，钱亮亮，卢书奎，
申请(专利权)人：安徽迈普德康信息科技有限公司，
类型：发明
国别省市：安徽,34