本申请提供数据处理方法、装置和电子设备。该数据处理方法包括：获取待处理数据块；判断所述待处理数据块是否包括空洞数据块；在所述待处理数据块包括空洞数据块的情况下，删除所述待处理数据块。这样能够通过对待处理数据块是否包括空洞数据块进行判断，进而删除包括空洞数据块的待处理数据块，从而降低镜像文件的文件大小，在存储过程中节省资源。在存储过程中节省资源。在存储过程中节省资源。
【技术实现步骤摘要】
数据处理方法、装置和电子设备
[0001]本申请涉及信息处理
，具体而言，涉及数据处理方法、镜像文件处理方法、装置和电子设备。
技术介绍
[0002]在openstack软件栈中，虚拟机需要镜像才能正常运行，其中，Raw格式的镜像文件通常能够与Ceph存储系统搭配，从而快速创建出虚拟机。但由于Raw格式的镜像文件通常是稀疏的，在数据中存在大量无意义的空洞数据，导致镜像文件的文件大小往往较大，在存储过程中需要占用较多的资源。
技术实现思路
[0003]本申请实施例的目的在于提供数据处理方法、装置和电子设备，用于解决现有技术中，镜像文件存储时占用较多资源的问题。
[0004]本申请实施例第一方面提供了一种数据处理方法，所述方法包括：
[0005]获取待处理数据块；
[0006]判断所述待处理数据块是否包括空洞数据块；
[0007]在所述待处理数据块包括空洞数据块的情况下，删除所述待处理数据块。
[0008]于一实施例中，所述方法还包括：将Raw格式的镜像文件进行分割，以生成所述待处理数据块。
[0009]于一实施例中，所述待处理数据块的数据类型为字符数组；以及，
[0010]获取待处理数据块，具体包括：
[0011]利用C语言扩展模块中的字符指针获取所述待处理数据块。
[0012]于一实施例中，所述方法还包括：在所述Python代码程序中，通过调用import函数导入所述C语言扩展模块。
[0013]于一实施例中，所述C语言扩展模块通过Cython代码程序编译生成。
[0014]于一实施例中，判断所述待处理数据块是否包括空洞数据块，具体包括：
[0015]通过遍历所述待处理数据块，判断所述待处理数据块中非空字节的占比或数量是否小于或等于第一预设阈值；
[0016]若是，则包括空洞数据块；或，
[0017]若否，则不包括空洞数据块。
[0018]于一实施例中，判断所述待处理数据块是否包括空洞数据块，具体包括：
[0019]通过遍历所述待处理数据块，判断所述待处理数据块中连续空字节的数量或字节长度占比是否大于或等于第二预设阈值；
[0020]若是，则包括空洞数据块；或，
[0021]若否，则不包括空洞数据块。
[0022]于一实施例中，所述方法还包括：
[0023]在所述待处理数据块不包括空洞数据块的情况下，存储所述待处理数据块。
[0024]本申请实施例第二方面提供了一种数据处理装置，包括：
[0025]获取单元，用于获取待处理数据块；
[0026]判断单元，用于判断所述待处理数据块是否包括空洞数据块；
[0027]删除单元，用于在所述待处理数据块包括空洞数据块的情况下，删除所述待处理数据块。
[0028]本申请实施例第三方面提供了一种电子设备，其特征在于，包括：
[0029]存储器，用以存储计算机程序；
[0030]处理器，用以执行本申请方法实施例中任一项所述的方法。
[0031]采用本申请实施例所提供的数据处理方法，该方法包括获取待处理数据块，然后判断该待处理数据块是否包括空洞数据块，然后在该待处理数据块包括空洞数据块的情况下，删除该待处理数据块。这样能够通过对待处理数据块是否包括空洞数据块进行判断，进而删除包括空洞数据块的待处理数据块，从而降低镜像文件的文件大小，在存储过程中节省资源。
附图说明
[0032]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0033]图1为本申请一实施例提供的电子设备的结构示意图；
[0034]图2为本申请一实施例提供的，电子设备与终端交互示意图；
[0035]图3为本申请一实施例提供的，多个电子设备组成的服务器集群的结构示意图；
[0036]图4为本申请一实施例提供的，数据处理方法的具体流程示意图；
[0037]图5为本申请一实施例提供的，具体应用场景下数据处理方法的具体流程示意图；
[0038]图6为本申请一实施例提供的，数据处理装置的具体结构示意图；
[0039]图7为本申请一实施例提供的，镜像文件处理装置的具体结构示意图。
具体实施方式
[0040]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。在本申请的描述中，诸如“第一”、“第二”、“第三”等术语仅用于区分描述，而不能理解为指示或暗示相对重要性或先后顺序。
[0041]如前所述，Raw格式的镜像文件通常能够与Ceph存储系统搭配，从而快速创建出虚拟机。但由于Raw格式的镜像文件通常是稀疏的，在数据中存在大量无意义的空洞数据，导致镜像文件的文件大小往往较大，在存储过程中需要占用较多的资源。
[0042]比如，在将该镜像文件存储至Ceph存储系统时，由于镜像文件的文件大小往往较大，需要占用较多的存储空间；当然，若将该Raw格式的镜像文件在上传至OpenStack服务器，或在不同OpenStack服务器集群之间进行同步时，由于镜像文件的文件大小往往较大，此时也需要占用较多的带宽。
[0043]如图1所示，本实施例提供一种电子设备1，包括：至少一个处理器11和存储器12，图1中以一个处理器为例。处理器11和存储器12可以通过总线10连接，存储器12存储有可被处理器11执行的指令，指令被处理器11执行，以使电子设备1可执行下述的实施例中方法的全部或部分流程。
[0044]该电子设备1可以是笔记本电脑、台式电脑、其组成的服务器或服务器集群等，比如该电子设备1可以是OpenStack虚拟化平台中，用于实现虚拟资源管理的OpenStack服务器，或多个OpenStack服务器组成的OpenStack服务器集群。
[0045]如图2所示，在实际应用中，电子设备1还可以对接一个或多个终端2，电子设备1可以分别和每个终端2进行数据通信。该终端可以是用户的手机、笔记本电脑、台式电脑等。于一实施例中，当用户需要上传镜像文件至作为服务器的电子设备1时，可以通过终端2将镜像文件上传至电子设备1。
[0046]如图3所示，于一实施例中，多个电子设备1分别作为不同的服务器集群，不同服务器集群之间通常需要进行镜像文件的同步，可以通过定时任务等，将镜像文件从一个服务器集群发送至另一个服务器集群，从而实现不同服务器集群之间镜像文件的同步。
[0047]如图4所示为本申请一实施例的数据处理方法的流程示意图，该方法部分或全部步骤可由图1所示的电子设备1作为OpenStack服务器来执行，该方法部分或全部步骤也可由图2所示的终端2来执行，这里可以以电子设备1作为OpenStack服务本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取待处理数据块；判断所述待处理数据块是否包括空洞数据块；在所述待处理数据块包括空洞数据块的情况下，删除所述待处理数据块。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：将Raw格式的镜像文件进行分割，以生成所述待处理数据块。3.根据权利要求1所述的方法，其特征在于，所述待处理数据块的数据类型为字符数组；以及，获取待处理数据块，具体包括：利用C语言扩展模块中的字符指针获取所述待处理数据块。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：在Python代码程序中，通过调用import函数导入所述C语言扩展模块。5.根据权利要求4所述的方法，其特征在于，所述C语言扩展模块通过Cython代码程序编译生成。6.根据权利要求1所述的方法，其特征在于，判断所述待处理数据块是否包括空洞数据块，具体包括：通过遍历所述待处理数据块，判断所述待处理数据块...
【专利技术属性】
技术研发人员：庞玮，
申请(专利权)人：奇安信网神信息技术北京股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。