一种数据交互方法及装置制造方法及图纸

本发明专利技术实施例提供了一种数据交互方法及装置，该方法包括：若接收到数据导出指令，则通过检索映射列表中记录的多条映射关系，在目标硬盘区域中查找与关系数据库管理系统RDBMS中的第一外部表对应的第一内部文件；将第一内部文件导出到分布式文件系统HDFS中；若接收到数据导入指令，则通过检索映列表中记录的多条映射关系，确定目标硬盘区域中是否已存在待从HDFS中导入的第二内部文件；若否，则将第二内部文件导入至目标硬盘区域中，并在RDBMS中生成第二外部表；在映射列表中建立第二外部表与第二内部文件的映射关系。本发明专利技术有效降低RDBMS对数据库表所在磁盘的输入/输出操作，从而有效保证了RDBMS原业务资源，提升了RDBMS的处理效率以及资源利用率。

A Data Interaction Method and Device

【技术实现步骤摘要】
一种数据交互方法及装置
本专利技术实施例涉及通信领域，尤其涉及一种数据交互方法及装置。
技术介绍
如图1所示为现有技术实施例中的RDBMS(RelationalDatabaseManagementSystem，关系数据库管理系统)与HDFS(HadoopDistributedFileSystem，Hadoop分布式文件系统)的数据交互示意图。具体的，在现有技术实施例中，若需要将RDBMS系统中的数据导出到HDFS系统中，则需要通过第三方软件或编程访问RDBMS，从而通过RDBMS从数据库硬盘区域中读取数据库表，再导出到HDFS中。将HDFS中的数据表导入到RDBMS中，同样是需要通过RDBMS将数据库表写入到数据库硬盘区域。由此可见，在现有技术中，任何数据的导入和导出过程均会请求RDBMS进行处理以及需要使用底层的系统资源(CPU/IO)，尤其是IO资源。在极端情况下(数据量大以及持续时间长)导入/导出过程会大量使用RDBMS的计算和处理资源，同时大量占用数据库文件(DBF，DigitalBeamForming)所在磁盘的IO资源，严重影响到RDBMS系统中的原有业务的正常运行和使用，导致原有业务处理资源不足、处理效率降低，甚至是服务宕机等严重问题。
技术实现思路
本专利技术实施例提供一种数据交互方法及装置，以解决现有技术中在数据交互过程中占用RDBMS大量的输入/输入资源，导致RDBMS处理能力降低的问题。为了解决上述问题，本专利技术公开了一种数据交互方法，所述方法包括：若接收到数据导出指令，则通过检索映射列表中记录的多条映射关系，在目标硬盘区域中查找与关系数据库管理系统RDBMS中的第一外部表对应的第一内部文件；将第一内部文件导出到分布式文件系统HDFS中；若接收到数据导入指令，则通过检索映列表中记录的多条映射关系，确定目标硬盘区域中是否已存在待从HDFS中导入的第二内部文件；若否，则将第二内部文件导入至目标硬盘区域中，并在RDBMS中生成第二外部表；以及，在映射列表中建立第二外部表与第二内部文件的映射关系。在本专利技术的一个优选的实施例中，方法进一步包括：若接收到数据写入指令，则对数据写入指令进行解析，以获取数据写入指令中的数据流；在目标硬盘区域中生成第三内部文件，并将数据流写入第三内部文件；以及，在RDBMS中生成第三外部表；在映射列表中建立第三内部文件与第三外部表的映射关系。在本专利技术的一个优选的实施例中，若接收到数据导出指令，则通过检索映射列表中记录的多条映射关系，在目标硬盘区域中查找与关系数据库管理系统RDBMS中的第一外部表对应的第一内部文件的步骤，具体包括：若接收到数据导出指令，则获取数据导出指令中携带的第一外部表信息；将第一外部表信息与映射列表中记录的多条映射关系进行匹配；提取匹配成功的映射关系中包括的第一内部文件信息，第一内部文件信息包括第一内文件的文件名以及位置信息；依据第一内部文件信息，在目标硬盘区域中的指定区域查找第一内部文件。在本专利技术的一个优选的实施例中，将第一内部文件导出到分布式文件系统HDFS中的步骤，具体包括：复制第一内部文件；依据数据导出指令中携带的HDFS参数，将复制后的第一内部文件导出到HDFS中的指定区域。在本专利技术的一个优选的实施例中，若接收到数据导入指令，则通过检索映列表中记录的多条映射关系，确定目标硬盘区域中是否已存在待从HDFS中导入的第二内部文件的步骤，具体包括：若接收到数据导入指令，则获取导入指令中携带的第二外部表信息与第二内部文件信息，其中，第二内部文件信息用于标识HDFS中的第二内部文件，第二外部表信息用于标识RDBMS中的第二外部表；将第二内部文件信息与映射列表中记录的多条映射关系进行匹配；若匹配成功，则确定目标硬盘区域中已存在第二内部文件。若匹配失败，则确定目标硬盘区域中不存在第二内部文件。在本专利技术的一个优选的实施例中，其特征在于，若确定目标硬盘区域中已存在第二内部文件，则方法进一步包括：判断匹配成功的映射关系中包括的外部表信息是否与第二外部表信息一致；若否，则依据第二外部表信息，在RDBMS中生成第二外部表，并更新映射列表中与第二内部信息对应的映射关系。根据本专利技术的另一方面，提供了一种数据交互装置，包括：查找模块，用于若接收到数据导出指令，则通过检索映射列表中记录的多条映射关系，在目标硬盘区域中查找与关系数据库管理系统RDBMS中的第一外部表对应的第一内部文件；导出模块，用于将第一内部文件导出到分布式文件系统HDFS中；确定模块，用于若接收到数据导入指令，则通过检索映列表中记录的多条映射关系，确定目标硬盘区域中是否已存在待从HDFS中导入的第二内部文件；导入模块，用于若否，则将第二内部文件导入至目标硬盘区域中，并在RDBMS中生成第二外部表；以及，建立模块，用于在映射列表中建立第二外部表与第二内部文件的映射关系。在本专利技术的一个优选的实施例中，装置进一步包括：解析模块，用于若接收到数据写入指令，则对数据写入指令进行解析，以获取数据写入指令中的数据流；第一生成模块，用于在目标硬盘区域中生成第三内部文件，并将数据流写入第三内部文件；以及，第二生成模块，用于在RDBMS中生成第三外部表；建立模块进一步用于在映射列表中建立第三内部文件与第三外部表的映射关系。在本专利技术的一个优选的实施例中，查找模块进一步用于：若接收到数据导出指令，则获取数据导出指令中携带的第一外部表信息；将第一外部表信息与映射列表中记录的多条映射关系进行匹配；提取匹配成功的映射关系中包括的第一内部文件信息，第一内部文件信息包括第一内文件的文件名以及位置信息；依据第一内部文件信息，在目标硬盘区域中查找第一内部文件。在本专利技术的一个优选的实施例中，导出模块进一步用于：复制第一内部文件；依据数据导出指令中携带的HDFS参数，将复制后的第一内部文件导出到HDFS中的指定区域。在本专利技术的一个优选的实施例中，确定模块进一步用于：若接收到数据导入指令，则获取导入指令中携带的第二外部表信息与第二内部文件信息，其中，第二内部文件信息用于标识HDFS中的第二内部文件，第二外部表信息用于标识RDBMS中的第二外部表；将第二内部文件信息与映射列表中记录的多条映射关系进行匹配；若匹配成功，则确定目标硬盘区域中已存在第二内部文件；若匹配失败，则确定目标硬盘区域中不存在第二内部文件。在本专利技术的一个优选的实施例中，若确定模块确定目标硬盘区域中已存在第二内部文件，则装置进一步包括：判断模块，用于判断匹配成功的映射关系中包括的外部表信息是否与第二外部表信息一致；第三生成模块，用于若否，则依据第二外部表信息，在RDBMS中生成第二外部表；更新模块，用于更新映射列表中与第二内部信息对应的映射关系。与现有技术相比，本专利技术实施例中的技术方案在将RDBMS系统中的数据库表导入出HDFS中时，通过将硬盘的目标硬盘区域中与数据库表对应的内部文件导出到HDFS，从而跳过通过RDBMS将数据库表导出数据表所在磁盘的操作。在将HDFS中的内部文件导入到RDBMS中时，亦是将内部文件存储到目标硬盘区域，并以“备份”的形式在RDBMS中生成与内部文件对应的数据库表，同样跳过通过RDBMS将数据库表导入到数据库表所在磁盘的操作。可见，本专利技术能够有效降低R本文档来自技高网...

【技术保护点】
1.一种数据交互方法，其特征在于，包括：若接收到数据导出指令，则通过检索映射列表中记录的多条映射关系，在目标硬盘区域中查找与关系数据库管理系统RDBMS中的第一外部表对应的第一内部文件；将所述第一内部文件导出到分布式文件系统HDFS中；若接收到数据导入指令，则通过检索所述映列表中记录的多条映射关系，确定所述目标硬盘区域中是否已存在待从所述HDFS中导入的第二内部文件；若否，则将所述第二内部文件导入至所述目标硬盘区域中，并在所述RDBMS中生成第二外部表；以及，在所述映射列表中建立所述第二外部表与所述第二内部文件的映射关系。

【技术特征摘要】
1.一种数据交互方法，其特征在于，包括：若接收到数据导出指令，则通过检索映射列表中记录的多条映射关系，在目标硬盘区域中查找与关系数据库管理系统RDBMS中的第一外部表对应的第一内部文件；将所述第一内部文件导出到分布式文件系统HDFS中；若接收到数据导入指令，则通过检索所述映列表中记录的多条映射关系，确定所述目标硬盘区域中是否已存在待从所述HDFS中导入的第二内部文件；若否，则将所述第二内部文件导入至所述目标硬盘区域中，并在所述RDBMS中生成第二外部表；以及，在所述映射列表中建立所述第二外部表与所述第二内部文件的映射关系。2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：若接收到数据写入指令，则对所述数据写入指令进行解析，以获取所述数据写入指令中的数据流；在所述目标硬盘区域中生成第三内部文件，并将所述数据流写入所述第三内部文件；以及，在所述RDBMS中生成第三外部表；在所述映射列表中建立所述第三内部文件与所述第三外部表的映射关系。3.根据权利要求1所述的方法，其特征在于，所述若接收到数据导出指令，则通过检索映射列表中记录的多条映射关系，在目标硬盘区域中查找与关系数据库管理系统RDBMS中的第一外部表对应的第一内部文件的步骤，具体包括：若接收到所述数据导出指令，则获取所述数据导出指令中携带的第一外部表信息；将所述第一外部表信息与所述映射列表中记录的多条映射关系进行匹配；提取匹配成功的映射关系中包括的第一内部文件信息，所述第一内部文件信息包括第一内文件的文件名以及位置信息；依据所述第一内部文件信息，在所述目标硬盘区域中的指定区域查找所述第一内部文件。4.根据权利要求1所述的方法，其特征在于，所述将所述第一内部文件导出到分布式文件系统HDFS中的步骤，具体包括：复制所述第一内部文件；依据所述数据导出指令中携带的HDFS参数，将复制后的第一内部文件导出到所述HDFS中的指定区域。5.根据权利要求1所述的方法，其特征在于，所述若接收到数据导入指令，则通过检索所述映列表中记录的多条映射关系，确定所述目标硬盘区域中是否已存在待从所述HDFS中导入的第二内部文件的步骤，具体包括：若接收到所述数据导入指令，则获取所述导入指令中携带的第二外部表信息与第二内部文件信息，其中，所述第二内部文件信息用于标识所述HDFS中的第二内部文件，所述第二外部表信息用于标识所述RDBMS中的第二外部表；将所述第二内部文件信息与所述映射列表中记录的多条映射关系进行匹配；若匹配成功，则确定所述目标硬盘区域中已存在所述第二内部文件。若匹配失败，则确定所述目标硬盘区域中不存在所述第二内部文件。6.根据权利要求5所述的方法，其特征在于，若确定所述目标硬盘区域中已存在所述第二内部文件，则所述方法进一步包括：判断匹配成功的映射关系中包括的外部表信息是否与所述第二外部表信息一致；若否，则依据所述第二外部表信息，在所述RDBMS中生成所述第二...

【专利技术属性】
技术研发人员：陈怡，赵晗，
申请(专利权)人：大唐移动通信设备有限公司，
类型：发明
国别省市：北京,11