数据处理方法、装置、计算设备及存储介质制造方法及图纸

本申请公开了数据处理方法、装置、计算设备及存储介质。其中，数据处理方法包括：获取用户标识对应的身份验证信息，其中，该身份验证信息用于登录云存储系统；获取与所述用户标识关联的一个或多个访问地址，其中，各访问地址用于访问所述云存储系统中与该访问地址对应的目标数据块；当获取到对所述一个或多个访问地址所对应目标数据块的处理指示时，通过所述身份验证信息访问所述云存储系统；当云存储系统对所述身份验证信息验证通过时，从云存储系统获取所述一个或多个访问地址所对应的目标数据块；根据处理指示，对所述一个或多个访问地址所对应的目标数据块分别进行相应的处理操作。

Data processing method, device, computing device and storage medium

The application discloses a data processing method, a device, a computing device and a storage medium. Among them, the data processing methods include obtaining authentication information corresponding to the user identity, in which the authentication information is used to log in to the cloud storage system; one or more access addresses associated with the user identity are obtained, in which the access addresses are used to access the said cloud storage system to correspond to the access address. A target data block; when a processing indication of the target data block corresponding to the one or more access addresses is obtained, the said cloud storage system is accessed through the authentication information; when the cloud storage system validating the authentication information, one or more access addresses are obtained from the cloud storage system. According to the processing instructions, the corresponding target data blocks corresponding to one or more access addresses are processed separately.

【技术实现步骤摘要】
数据处理方法、装置、计算设备及存储介质
本申请涉及云计算领域，尤其涉及数据处理方法、装置、计算设备及存储介质。
技术介绍
云服务是由网络资源提供数据计算和数据存储服务的方式。通常，云服务可以包括云计算服务和云存储服务。云计算是计算资源动态可扩展的计算方式，可以通过分布式计算节点对计算任务进行分布式处理。云存储是通过集群应用、网络技术和分布式文件系统等技术，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的技术。一些应用场景中，云计算系统和云存储系统通常分别进行部署和管理。
技术实现思路
根据本申请一个方面，提供了一种数据处理方法，包括：在云计算系统中获取用户标识对应的身份验证信息，其中，该身份验证信息用于登录云存储系统；获取与所述用户标识关联的一个或多个访问地址，其中，各访问地址用于访问所述云存储系统中与该访问地址对应的目标数据块；当获取到对所述一个或多个访问地址所对应目标数据块的处理指示时，通过所述身份验证信息访问所述云存储系统，以便所述云存储系统对所述身份验证信息进行验证；当所述云存储系统对所述身份验证信息验证通过时，从所述云存储系统获取所述一个或多个访问地址所对应的目标数据块；根据所述处理指示，对所述一个或多个访问地址所对应的目标数据块分别进行相应的处理操作。在一些实施例中，在获取所述处理指示之前，该方法还包括：确定与所述所对应目标数据块关联的数据库表结构，其中，该数据库表结构用于描述所述所对应目标数据块待转换成的数据结构；所述获取所述处理指示，包括：从所述客户端获取关于所述数据库表结构的表操作指示，并将其作为所述处理指示；所述对所述一个或多个访问地址所对应的目标数据块分别进行相应的处理操作，包括：将所述所对应目标数据块中各数据文件分别按照所述数据库表结构转化为相应的数据表；根据所述处理指示，在每个数据文件对应的数据表中执行相应的处理操作。在一些实施例中，所述确定与所述所对应目标数据块关联的数据库表结构，包括：生成与所述所对应目标数据块关联的优化记录柱格式的数据库表结构；所述将所述所对应目标数据块中各数据文件分别按照所述数据库表结构转化为相应的数据表，包括：将所述一个或多个访问地址所对应的目标数据块中各数据文件存储在相应的原始数据表中，其中，各数据文件对应的原始数据表与该数据文件的数据结构一致；通过蜂箱式数据仓库应用的表插入方式，将所述原始数据表中内容写入所述优化记录柱格式的数据库表结构，以生成所述数据表。在一些实施例中，所述获取用户标识对应的身份验证信息，包括：从所述用户标识对应的客户端接收所述身份验证信息，所述身份验证信息包括用于登录所述云存储系统的身份标识和密码。在一些实施例中，所述获取与所述用户标识关联的一个或多个访问地址，包括：接收所述用户标识对应的客户端所确定的一个或多个地址信息，并将其作为所述一个或多个访问地址。在一些实施例中，所述获取与所述用户标识关联的一个或多个访问地址，包括：通过所述身份验证信息访问所述云存储系统；当所述云存储系统对所述身份验证信息验证通过时，从所述云存储系统获取所述用户标识所对应的一个或多个访问地址，其中，每个访问地址对应于一个目标数据块。在一些实施例中，所述通过所述身份验证信息访问所述云存储系统，以及从所述云存储系统获取所述一个或多个访问地址所对应的目标数据块，包括：将所述一个或多个访问地址分配到多个计算节点，并指示各计算节点分别通过相应访问地址访问所述云存储系统，以便从获取该计算节点所分配访问地址对应的目标数据块；所述根据所述处理指示，对获取的所述目标数据块进行相应处理，包括：指示各计算节点分别根据所述处理指示对该计算节点所对应的目标数据块进行相应处理。在一些实施例中，云计算系统包括蜂箱式数据仓库应用和用于访问云存储系统的云存储对象访问系统。所述当获取到对所述一个或多个访问地址所对应目标数据块的处理指示时，通过所述身份验证信息访问所述云存储系统，包括：当获取所述处理指示时，在所述蜂箱式数据仓库应用中建立与所述用户标识对应的连接会话，并将所述用户标识对应的身份验证信息设置为所述连接会话的属性参数，以便所述文件访问系统获取与所述用户标识对应的身份验证信息；在所述云存储对象访问系统中，利用从所述连接会话获取的身份验证信息，访问所述云存储系统。在一些实施例中，该方法还包括：获取与所述处理操作对应的处理结果；将所述处理结果传输到所述云存储系统，以便所述云存储系统将所述处理结果与所述所对应的目标数据块关联存储。根据本申请又一个方面，提供了一种数据处理装置，包括：第一获取单元，用于获取用户标识对应的身份验证信息，其中，该身份验证信息用于登录云存储系统；第二获取单元，用于获取与所述用户标识关联的一个或多个访问地址，其中，各访问地址用于访问所述云存储系统中与该访问地址对应的目标数据块；验证单元，用于当所述第二获取单元获取到对所述一个或多个访问地址所对应目标数据块的处理指示时，通过所述身份验证信息访问所述云存储系统，以便所述云存储系统对所述身份验证信息进行验证；第三获取单元，用于当所述云存储系统对所述身份验证信息验证通过时，从所述云存储系统获取所述一个或多个访问地址所对应的目标数据块；计算单元，用于根据所述处理指示，对所述一个或多个访问地址所对应的目标数据块分别进行相应的处理操作。在一些实施例中，该装置还包括表创建单元；在所述第二获取单元获取所述处理指示之前，所述表创建单元，用于确定与所述所对应目标数据块关联的数据库表结构，其中，该数据库表结构用于描述所述所对应目标数据块待转换成的数据结构；所述第二获取单元根据下述方式获取所述处理指示：从所述客户端获取关于所述数据库表结构的表操作指示，并将其作为所述处理指示；所述计算单元根据下述方式对所述一个或多个访问地址所对应的目标数据块分别进行相应的处理操作：将所述所对应目标数据块中各数据文件分别按照所述数据库表结构转化为相应的数据表；根据所述处理指示，在每个数据文件对应的数据表中执行相应的处理操作。在一些实施例中，所述表创建单元根据下述方式确定与所述所对应目标数据块关联的数据库表结构：生成与所述所对应目标数据块关联的优化记录柱格式的数据库表结构。计算单元根据下述方式所述将所述所对应目标数据块中各数据文件分别按照所述数据库表结构转化为相应的数据表：将所述一个或多个访问地址所对应的目标数据块中各数据文件存储在相应的原始数据表中，其中，各数据文件对应的原始数据表与该数据文件的数据结构一致；通过蜂箱式数据仓库应用的表插入方式，将所述原始数据表中内容写入所述优化记录柱格式的数据库表结构，以生成所述数据表。在一些实施例中，所述第一获取单元根据下述方式获取用户标识对应的身份验证信息：从所述用户标识对应的客户端接收所述身份验证信息，所述身份验证信息包括用于登录所述云存储系统的身份标识和密码。在一些实施例中，所述第二获取单元根据下述方式获取与所述用户标识关联的一个或多个访问地址：接收所述用户标识对应的客户端所确定的一个或多个地址信息，并将其作为所述一个或多个访问地址。在一些实施例中，所述第二获取单元根据下述方式获取与所述用户标识关联的一个或多个访问地址：指示所述验证单元通过所述身份验证信息访问本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：在云计算系统中获取用户标识对应的身份验证信息，其中，该身份验证信息用于登录云存储系统，其中，所述云计算系统与所述云存储系统各自独立部署；获取与所述用户标识关联的一个或多个访问地址，其中，各访问地址用于访问所述云存储系统中与该访问地址对应的目标数据块；当获取到对所述一个或多个访问地址所对应目标数据块的处理指示时，通过所述身份验证信息访问所述云存储系统，以便所述云存储系统对所述身份验证信息进行验证；当所述云存储系统对所述身份验证信息验证通过时，从所述云存储系统获取所述一个或多个访问地址所对应的目标数据块；以及根据所述处理指示，对所述一个或多个访问地址所对应的目标数据块分别进行相应的处理操作。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：在云计算系统中获取用户标识对应的身份验证信息，其中，该身份验证信息用于登录云存储系统，其中，所述云计算系统与所述云存储系统各自独立部署；获取与所述用户标识关联的一个或多个访问地址，其中，各访问地址用于访问所述云存储系统中与该访问地址对应的目标数据块；当获取到对所述一个或多个访问地址所对应目标数据块的处理指示时，通过所述身份验证信息访问所述云存储系统，以便所述云存储系统对所述身份验证信息进行验证；当所述云存储系统对所述身份验证信息验证通过时，从所述云存储系统获取所述一个或多个访问地址所对应的目标数据块；以及根据所述处理指示，对所述一个或多个访问地址所对应的目标数据块分别进行相应的处理操作。2.如权利要求1所述的方法，其中，在获取所述处理指示之前，该方法还包括：确定与所述所对应目标数据块关联的数据库表结构，其中，该数据库表结构用于描述所述所对应目标数据块待转换成的结构化数据结构；所述获取所述处理指示，包括：从所述客户端获取关于所述数据库表结构的表操作指示，并将其作为所述处理指示；所述对所述一个或多个访问地址所对应的目标数据块分别进行相应的处理操作，包括：将所述所对应目标数据块中各数据文件分别按照所述数据库表结构转化为相应的数据表；根据所述处理指示，在每个数据文件对应的数据表中执行相应的处理操作。3.如权利要求2所述的方法，其中，所述确定与所述所对应目标数据块关联的数据库表结构，包括：生成与所述所对应目标数据块关联的优化记录柱格式的数据库表结构；所述将所述所对应目标数据块中各数据文件分别按照所述数据库表结构转化为相应的数据表，包括：将所述一个或多个访问地址所对应的目标数据块中各数据文件存储在相应的原始数据表中，其中，各数据文件对应的原始数据表与该数据文件的数据结构一致；通过蜂箱式数据仓库应用的表插入方式，将所述原始数据表中内容写入所述优化记录柱格式的数据库表结构，以生成所述数据表。4.如权利要求1所述的方法，其中，所述获取用户标识对应的身份验证信息，包括：从所述用户标识对应的客户端接收所述身份验证信息，所述身份验证信息包括用于登录所述云存储系统的身份标识和密码。5.如权利要求1所述的方法，其中，所述获取与所述用户标识关联的一个或多个访问地址，包括：接收所述用户标识对应的客户端所确定的一个或多个地址信息，并将其作为所述一个或多个访问地址。6.如权利要求1所述的方法，其中，所述获取与所述用户标识关联的一个或多个访问地址，包括：通过所述身份验证信息访问所述云存储系统；当所述云存储系统对所述身份验证信息验证通过时，从所述云存储系统获取所述用户标识所对应的一个或多个访问地址，其中，每个访问地址对应于一个目标数据块。7.如权利要求1所述的方法，其中，所述通过所述身份验证信息访问所述云存储系统，以及从所述云存储系统获取所述一个或多个访问地址所对应的目标数据块，包括：将所述一个或多个访问地址分配到多个计算节点，并指示各计算节点分别通过相应访问地址访问所述云存储系统，以便从所述云存储系统获取该计算节点所分配访问地址对应的目标数据块；所述根据所述处理指示，对获取的所述目标数据块进行相应处理，包括：指示各计算节点分别根据所述处理指示对该计算节点所对应的目标数据块...

【专利技术属性】
技术研发人员：龚高晟，陆可，赵明，
申请(专利权)人：腾讯科技深圳有限公司，腾讯云计算北京有限责任公司，
类型：发明
国别省市：广东,44