一种异构数据的处理方法及装置制造方法及图纸

本申请公开了一种异构数据的处理方法及装置。接收用户发送的用户数据文件，确定所述用户数据文件中用户数据的键，以及各键所对应的键值，根据所述键及其对应的键值创建数据表，将确定出的所述键及其键值转换为标定的数据格式，并将转换后的键和键值存储于所述数据表中。业务提供方的服务器会针对接收到的用户数据文件，建立数据表，在将用户数据文件中的数据转换成标定的数据格式，并存储在建立的数据表中。相较于现有技术而言，本方法可以将原本在用户数据文件中以字符串类型存储的数据，转换为相应类型的数据存储在数据表中，而不需要借助人工操作完成数据的转换。既提升了对异构数据的处理效率，也保证了处理结果的准确性。

A method and device for processing heterogeneous data

The present application discloses a method and device for processing heterogeneous data. The user data file receiving user, determine the user data of the user data in the file keys, and keys corresponding to the key, the key and the corresponding key data tables are created according to converting the key is determined and the key for the calibration data format, and the converted key and key stored in the data table. The server of the business provider will set up the data table for the received user data files, transform the data in the user data file into the calibration data format, and store it in the established data table. Compared with the existing technology, this method can transform data stored in the user data file into the corresponding type data and store it in the data table without the need of manual operation to complete data transformation. It not only improves the processing efficiency of heterogeneous data, but also ensures the accuracy of the processing results.

【技术实现步骤摘要】
一种异构数据的处理方法及装置
本申请涉及计算机
，尤其涉及一种异构数据的处理方法及装置。
技术介绍
目前，业务提供方可以面向不同的用户(既可以是个人用户，也可以是企业用户)提供相应业务。某些场景下，业务提供方所提供的某些业务需要使用用户数据，那么，用户就需要向业务提供方提供该用户自身的用户数据(对于企业用户而言，用户数据可以是该企业内的人员数据，诸如：人员的姓名、出生年月、性别等等)，以便业务提供方根据用户数据提供相应的业务。然而，不同用户所提供的用户数据并不具有统一的标准，与业务提供方所标定的数据格式之间存在一定差异(这类由用户所提供的数据也称为：异构数据)，尤其是在不同的企业用户向业务提供方提供各企业内人员数据的场景下，不同的业务用户所使用的数据格式各不相同，这就需要将不同格式的用户数据转换成业务系统内部统一的标定的数据格式。现有技术中，业务提供方会借助人工的方式，将用户数据的数据格式转换成业务提供方式所标定的数据格式，并存储。但显然，在存储过程中，现有技术的上述方式效率较低，尤其在面对企业用户所提供的人员数据时，其数据量通常都在上百～上万条数据，使用人工的方式转换数据将耗费较长的时间，导致效率过低，并且也不能保证转换后数据的准确性。
技术实现思路
本申请实施例提供一种异构数据的处理方法，用以解决现有技术中对异构数据进行存储时效率较低的问题。本申请实施例提供一种异构数据的处理装置，用以解决现有技术中对异构数据进行存储时效率较低的问题。本申请实施例采用下述技术方案：本申请实施例提供的一种异构数据的处理方法，包括：接收用户发送的用户数据文件；确定所述用户数据文件中用户数据的键，以及各键所对应的键值；根据所述键及其对应的键值创建数据表；将确定出的所述键及其键值转换为标定的数据格式，并将转换后的键和键值存储于所述数据表中。本申请实施例提供的一种异构数据的处理装置，包括：接收模块，接收用户发送的用户数据文件；确定模块，确定所述用户数据文件中用户数据的键，以及各键所对应的键值；创建模块，根据所述键及其对应的键值创建数据表；转换模块，将确定出的所述键及其键值转换为标定的数据格式，并将转换后的键和键值存储于所述数据表中。本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：业务提供方的服务器会针对接收到的用户数据文件，确定出其中的键和键值，并依据此建立数据表，在将用户数据文件中的数据转换成标定的数据格式，并存储在建立的数据表中。相较于现有技术而言，本申请中的上述方法可以将原本在用户数据文件中以字符串类型存储的数据，转换为相应类型的数据存储在数据表中，而不需要借助人工操作完成数据的转换。既提升了对异构数据的处理效率，也保证了处理结果的准确性。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本申请实施例提供的异构数据的处理过程示意图；图2为本申请实施例提供的在实际应用场景下的异构数据的处理过程示意图；图3为本申请实施例提供的异构数据的处理装置结构示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。如前所述，当业务提供方在录入用户数据的过程中，将通常会以数据表的形式存储用户数据，并且，业务提供方往往会按照自身所定义的格式(如：数据表结构、日期格式、文本格式等等)存储用户数据。但不同用户所提供的用户数据具有不同的格式，换言之，用户数据与业务提供方所定义的格式存在格式上的异构。在此情况下，业务提供方通常会采用人工操作的方式，将用户数据的格式转换成相应的数据格式。显然，这样的方式效率较低，尤其是面对大量用户数据的情况下，人工操作的耗时较长，且容易出错。基于此，就需要一种非人工方式将异构的用户数据按照业务提供方所定义的格式进行存储的方法。故在本申请实施例中，提供一种异构数据的处理方法，如图1所示，以实现自动且高效地将不同异构的用户数据按照设定格式进行存储。需要说明的是，本申请实施例中所述的业务提供方可以是能够提供在线业务的业务提供方，诸如：网站、电信运营商、银行等。具体地，执行所述方法的执行主体，可以是业务提供方的服务器(为了便于描述，下文中简称为：服务器)，诸如：网站服务器、电信运营商服务器、银行服务器等，这里并不构成对本申请的限定。以下结合附图，详细说明本申请各实施例提供的技术方案。如图1所示，示出了本申请实施中的异构数据的处理过程，该过程具体包括以下步骤：S101：接收用户发送的用户数据文件。在实际应用中，当用户想要获得由业务提供方所提供的相应业务时，就会向业务提供方发送该用户自身的用户数据，并以文件的方式发送给服务器。在本申请实施例中，用户数据可以是一种关系型数据，如：键(key)-值(value)方式的数据，那么，作为本申请实施例中的一种方式，所述的用户数据文件，可包括但不限于：逗号分隔值(Comma-SeparatedValues，CSV)文件、Excel文件等用于存储关系型数据的文件。当然，在本申请实施例中，用户可以是个人用户，也可以是企业用户。当用户为个人用户时，其用户数据可以是反映该用户个人信息的数据(诸如：姓名、身份证号等)；而当用户为企业用户时，其用户数据可以是企业内部的员工数据(诸如：各员工的姓名、身份证号等)。S102：确定所述用户数据文件中用户数据的键，以及各键所对应的键值。关系型数据中包含键和相应的键值，故服务器在接收到用户数据文件后，便可以确定出用户数据文件中的键和键值。可以认为，通过本步骤确定键和键值的过程，也就确定了用户数据文件中的表结构，以便后续过程构建符合业务提供方的数据表，以存储用户数据。另需要说明的是，本步骤中的确定过程，也包含确定键值类型的过程。具体而言，在实际应用中，对于CSV文件格式或Excel文件格式的用户数据文件而言，均将其中的具体数据(即，键值)的类型定义为字符串，而不区分日期、数字、文本等类型的数据，从而，现有技术中只能通过人工的方式辨别数据的类型，完成数据的转换。那么，通过本步骤，也就可以确定出各键值的数据类型。S103：根据所述键名及其对应的键值创建数据表。考虑到实际应用中，业务提供方将以数据表的方式存储用户数据，所以在本申请实施例中，服务器将针对用户数据文件创建数据表，以便于存储用户数据文件中的用户数据。当然，可以认为，在确定了用户数据文件中键和键值后，也就确定了数据表所需的列数和行数，故可以根据键和键值创建数据表。S104：将确定出的所述键及其键值转换为标定的数据格式，并将转换后的键和键值存储于所述数据表中。在本申请实施例中，对键和键值的转换过程，包括对数据类型的转换，例如：针对表征日期的字符串，将其转换成日期格式的数据；针对数字字符串，将其转换为数字格式等。具体来说，以日期数据为例：假设，某用户数据文件中的表征日期的字符串均为“XX日XX月XXXX年”，而业务提供方所本文档来自技高网...

【技术保护点】
一种异构数据的处理方法，其特征在于，包括：接收用户发送的用户数据文件；确定所述用户数据文件中用户数据的键，以及各键所对应的键值；根据所述键及其对应的键值创建数据表；将确定出的所述键及其键值转换为标定的数据格式，并将转换后的键和键值存储于所述数据表中。

【技术特征摘要】
1.一种异构数据的处理方法，其特征在于，包括：接收用户发送的用户数据文件；确定所述用户数据文件中用户数据的键，以及各键所对应的键值；根据所述键及其对应的键值创建数据表；将确定出的所述键及其键值转换为标定的数据格式，并将转换后的键和键值存储于所述数据表中。2.如权利要求1所述的方法，其特征在于，所述用户数据文件包括Excel文件。3.如权利要求2所述的方法，其特征在于，确定所述用户数据中包含的键，具体包括：获取所述Excel文件中的首行用户数据；识别所述首行用户数据中包含的分隔的各数据，将分隔的每一数据作为所述用户数据的每一键。4.如权利要求2所述的方法，其特征在于，在根据所述键及其对应的键值创建数据表之前，所述方法还包括：检验所述键及其对应的键值的列数相同；和/或检验所述键的数量与标定的键数相同；和/或检验所述键值中不存在空值。5.如权利要求2所述的方法，其特征在于，将确定出的所述键值转换为标定的数据格式，具体包括：将所述键值按照不同的数据类型进行强制转换；将强制转换得到的转换结果的数据格式作为该键值的标定的数据格式；其中，所述数据类型包括：日期字符串、数字字符串、文本字符串。6.如权利要求2所述的方法，其特征在于，根据所述键及其对应的键值创建数据表，具体包括：根据所述键及其键值，确定所述Excel对应的表结构；根据所述表结构创建数据表，并为所述数据表的命名。7.如权利要求6所述的方法，其特征在于，为所述数据表的命名，具体包括：确定所述Excel文件的文件名；将所述文件名确定为所述数据表的表名。8.如权利要求7所述的方法，其特征在于，在根据所述键及其对应的键值创建数据表之前，所述方法还包括：根据所述Excel文件的文件名，查询已创建的所有数据表的表名；当查询到表名与所述文件名一致的数据表时，...

【专利技术属性】
技术研发人员：方腾飞，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY