数据处理方法及装置制造方法及图纸

本公开提供一种数据处理方法及装置，涉及互联网技术领域。方法应用于虚拟机终端，所述虚拟机终端所在的终端设备上的物理存储设备通过映射，在网络主机的虚拟机中创建有虚拟存储设备，所述方法包括：从所述物理存储设备中读取待处理文件；根据所述待处理文件生成对应的校验码；将所述待处理文件和校验码传输至所述虚拟机；将所述待处理文件和校验码保存在所述终端设备的缓存中；接收所述虚拟机发送的文件写入请求；在所述文件写入请求中携带有校验码时，根据所述终端设备的缓存中是否保存有所述文件写入请求中携带的校验码，分别进行与所述文件写入请求对应的文件写入操作。从而提升数据处理性能。

Data Processing Method and Device

The present disclosure provides a data processing method and device, which relates to the field of Internet technology. The method is applied to a virtual machine terminal. The physical storage device on the terminal device where the virtual machine terminal is located creates a virtual storage device in the virtual machine of the network host through mapping. The method includes reading the file to be processed from the physical storage device, generating the corresponding check code according to the file to be processed, and transmitting the file to the check code. The virtual machine; stores the file to be processed and the check code in the cache of the terminal device; receives the file writing request sent by the virtual machine; carries the check code in the file writing request, carries out the check code corresponding to the file writing request according to whether or not the file is saved in the cache of the terminal device. File write operation. In order to improve the performance of data processing.

【技术实现步骤摘要】
数据处理方法及装置
本公开涉及互联网
，具体而言，涉及一种数据处理方法及装置。
技术介绍
随着互联网技术的快速发展，各种场景下的数据处理变得越来越普遍。例如，在虚拟化技术中，为了确保数据的可靠性，在虚拟机上进行数据处理时，往往会对数据进行副本创建及副本存储等处理。
技术实现思路
有鉴于此，本公开提供一种数据处理方法及装置。第一方面，本公开提供了一种数据处理方法，应用于虚拟机终端，所述虚拟机终端所在的终端设备上的物理存储设备通过映射，在网络主机的虚拟机中创建有虚拟存储设备，所述方法包括：从所述物理存储设备中读取待处理文件；根据所述待处理文件生成对应的校验码；将所述待处理文件和校验码传输至所述虚拟机；将所述待处理文件和校验码保存在所述终端设备的缓存中；接收所述虚拟机发送的文件写入请求；在所述文件写入请求中携带有校验码时，根据所述终端设备的缓存中是否保存有所述文件写入请求中携带的校验码，分别进行与所述文件写入请求对应的文件写入操作。可选地，根据所述终端设备的缓存中是否保存有所述文件写入请求中携带的校验码，分别进行与所述文件写入请求对应的文件写入操作的步骤，包括：查询所述终端设备的缓存中是否保存有所述文件写入请求中携带的校验码；若所述终端设备的缓存中保存有所述文件写入请求中携带的校验码，将所述终端设备的缓存中存储的与该校验码对应的待处理文件作为副本文件写入到所述物理存储设备中；若所述终端设备的缓存中未保存有所述文件写入请求中携带的校验码，向所述虚拟存储设备发送请求读取与所述文件写入请求对应的完整文件的文件读取请求，以从所述虚拟存储设备读取完整文件并写入到所述物理存储设备中。可选地，根据所述待处理文件生成对应的校验码的步骤，包括：根据预设算法采用待处理文件中的部分数据或者全部数据进行计算，得到校验码。第二方面，本公开提供一种数据处理方法，应用于网络主机的虚拟机，虚拟机终端所在的终端设备上的物理存储设备通过映射，在所述网络主机的虚拟机中创建有虚拟存储设备，所述方法包括：接收所述终端设备发送的待处理文件和校验码；将所述待处理文件和校验码保存在所述虚拟机的缓存中；将所述待处理文件发送至请求调用该文件的文件调用对象；接收所述文件调用对象根据所述待处理文件反馈的待写入文件；根据所述待写入文件生成对应的校验码；根据所述虚拟机的缓存中是否保存有生成的所述校验码，分别生成与所述待写入文件对应的文件写入请求并发送至所述终端设备。可选地，根据所述虚拟机的缓存中是否保存有生成的所述校验码，分别生成与所述待写入文件对应的文件写入请求并发送至所述终端设备的步骤，包括：判断所述虚拟机的缓存中是否保存有生成的所述校验码；若所述虚拟机的缓存中保存有生成的所述校验码，则根据该校验码生成第一文件写入请求并发送至所述终端设备，所述第一文件写入请求中包括生成的所述校验码；若所述虚拟机的缓存中未保存有生成的所述校验码，则根据所述待写入文件生成第二文件写入请求并发送至所述终端设备，所述第二文件写入请求包括所述待写入文件。可选地，根据所述待写入文件生成对应的校验码的步骤，包括：根据预设算法采用所述待写入文件中的部分数据或者全部数据进行计算，得到校验码。第三方面，本公开提供一种数据处理装置，应用于虚拟机终端，所述虚拟机终端所在的终端设备上的物理存储设备通过映射，在网络主机的虚拟机中创建有虚拟存储设备，所述数据处理装置包括：文件读取模块，用于从所述物理存储设备中读取待处理文件；校验码生成模块，用于根据所述待处理文件生成对应的校验码；信息传输模块，用于将所述待处理文件和校验码传输至所述虚拟机；信息缓存模块，用于将所述待处理文件和校验码保存在所述终端设备的缓存中；请求接收模块，用于接收所述虚拟机发送的文件写入请求；信息处理模块，用于在所述文件写入请求中携带有校验码时，根据所述终端设备的缓存中是否保存有所述文件写入请求中携带的校验码，分别进行与所述文件写入请求对应的文件写入操作。可选地，所述信息处理模块用于，在所述文件写入请求中携带有校验码时，查询所述终端设备的缓存中是否保存有所述文件写入请求中携带的校验码；若所述终端设备的缓存中保存有所述文件写入请求中携带的校验码，将所述终端设备的缓存中存储的与该校验码对应的待处理文件作为副本文件写入到所述物理存储设备中；若所述终端设备的缓存中未保存有所述文件写入请求中携带的校验码，向所述虚拟存储设备发送请求读取与所述文件写入请求对应的完整文件的文件读取请求，以从所述虚拟存储设备读取完整文件并写入到所述物理存储设备中。可选地，所述校验码生成模块，用于根据预设算法采用待处理文件中的部分数据或者全部数据进行计算，得到校验码。第四方面，本公开提供一种数据处理装置，应用于网络主机的虚拟机，虚拟机终端所在的终端设备上的物理存储设备通过映射，在所述网络主机的虚拟机中创建有虚拟存储设备，所述数据处理装置包括：信息接收模块，用于接收所述终端设备发送的待处理文件和校验码；数据缓存模块，用于将所述待处理文件和校验码保存在所述虚拟机的缓存中；文件发送模块，用于将所述待处理文件发送至请求调用该文件的文件调用对象；文件接收模块，用于接收所述文件调用对象根据所述待处理文件反馈的待写入文件；信息生成模块，用于根据所述待写入文件生成对应的校验码；数据处理模块，用于根据所述虚拟机的缓存中是否保存有生成的所述校验码，分别生成与所述待写入文件对应的文件写入请求并发送至所述终端设备。可选地，所述数据处理模块用于，判断所述虚拟机的缓存中是否保存有生成的所述校验码；若所述虚拟机的缓存中保存有生成的所述校验码，则根据该校验码生成第一文件写入请求并发送至所述终端设备，所述第一文件写入请求中包括生成的所述校验码；若所述虚拟机的缓存中未保存有生成的所述校验码，则根据所述待写入文件生成第二文件写入请求并发送至所述终端设备，所述第二文件写入请求包括所述待写入文件。可选地，所述信息生成模块用于根据预设算法采用所述待写入文件中的部分数据或者全部数据进行计算，得到校验码。第五方面，本公开提供一种终端设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述终端设备侧的数据处理方法。第六方面，本公开提供一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，所述计算机程序运行时控制所述计算机可读存储介质所在终端设备执行上述终端设备侧的数据处理方法。本公开提供的数据处理方法及装置，通过引入校验码和缓存，使得传输相同文件时，无需对文件内容进行传输、传输校验码即可实现对相应文件的确认，减少了网络传输内容，从而节省了传输带宽，提高了传输效率，提升了整体数据处理性能。为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本公开的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本公开提供的一种应用场景示意图。图2为本公开提供的一种终端设备的方框示意图。图3为本公开提供的一种终端设备侧的数据本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，应用于虚拟机终端，所述虚拟机终端所在的终端设备上的物理存储设备通过映射，在网络主机的虚拟机中创建有虚拟存储设备，所述方法包括：从所述物理存储设备中读取待处理文件；根据所述待处理文件生成对应的校验码；将所述待处理文件和校验码传输至所述虚拟机；将所述待处理文件和校验码保存在所述终端设备的缓存中；接收所述虚拟机发送的文件写入请求；在所述文件写入请求中携带有校验码时，根据所述终端设备的缓存中是否保存有所述文件写入请求中携带的校验码，分别进行与所述文件写入请求对应的文件写入操作。

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于虚拟机终端，所述虚拟机终端所在的终端设备上的物理存储设备通过映射，在网络主机的虚拟机中创建有虚拟存储设备，所述方法包括：从所述物理存储设备中读取待处理文件；根据所述待处理文件生成对应的校验码；将所述待处理文件和校验码传输至所述虚拟机；将所述待处理文件和校验码保存在所述终端设备的缓存中；接收所述虚拟机发送的文件写入请求；在所述文件写入请求中携带有校验码时，根据所述终端设备的缓存中是否保存有所述文件写入请求中携带的校验码，分别进行与所述文件写入请求对应的文件写入操作。2.根据权利要求1所述的数据处理方法，其特征在于，根据所述终端设备的缓存中是否保存有所述文件写入请求中携带的校验码，分别进行与所述文件写入请求对应的文件写入操作的步骤，包括：查询所述终端设备的缓存中是否保存有所述文件写入请求中携带的校验码；若所述终端设备的缓存中保存有所述文件写入请求中携带的校验码，将所述终端设备的缓存中存储的与该校验码对应的待处理文件作为副本文件写入到所述物理存储设备中；若所述终端设备的缓存中未保存有所述文件写入请求中携带的校验码，向所述虚拟存储设备发送请求读取与所述文件写入请求对应的完整文件的文件读取请求，以从所述虚拟存储设备读取完整文件并写入到所述物理存储设备中。3.根据权利要求1所述的数据处理方法，其特征在于，根据所述待处理文件生成对应的校验码的步骤，包括：根据预设算法采用待处理文件中的部分数据或者全部数据进行计算，得到校验码。4.一种数据处理方法，其特征在于，应用于网络主机的虚拟机，虚拟机终端所在的终端设备上的物理存储设备通过映射，在所述网络主机的虚拟机中创建有虚拟存储设备，所述方法包括：接收所述终端设备发送的待处理文件和校验码；将所述待处理文件和校验码保存在所述虚拟机的缓存中；将所述待处理文件发送至请求调用该文件的文件调用对象；接收所述文件调用对象根据所述待处理文件反馈的待写入文件；根据所述待写入文件生成对应的校验码；根据所述虚拟机的缓存中是否保存有生成的所述校验码，分别生成与所述待写入文件对应的文件写入请求并发送至所述终端设备。5.根据权利要求4所述的数据处理方法，其特征在于，根据所述虚拟机的缓存中是否保存有生成的所述校验码，分别生成与所述待写入文件对应的文件写入请求并发送至所述终端设备的步骤，包括：判断所述虚拟机的缓存中是否保存有生成的所述校验码；若所述虚拟机的缓存中保存有生成的所述校验码，则根据该校验码生成第一文件写入请求并发送至所述终端设备，所述第一文件写入请求中包括生成的所述校验码；若所述虚拟机的缓存中未保存有生成的所述校验码，则根据所述待写入文件生成第二文件写入请求并发送至所述终端设备，所述第二文件写入请求包括所述待写入文件。6.根据权利要求5所述的数据处理方...

【专利技术属性】
技术研发人员：罗友春，
申请(专利权)人：新华三云计算技术有限公司，
类型：发明
国别省市：四川,51