【技术实现步骤摘要】
数据文件的处理方法、装置、设备及存储介质
[0001]本申请涉及大数据
，具体而言，本申请涉及一种数据文件的处理方法、装置、电子设备以及计算机可读存储介质。
技术介绍
[0002]随着人工智能时代的到来，各行业开始注重从海量的数据中挖掘潜在价值。例如，运营商、金融机构、政府等通过应用AI模型基于各种场景下产生的大量数据进行推理，以获取潜藏在数据中的价值。由于服务器资源的限制，在进行推理之前，一般会对待推理的大数据进行分割，并依据分割所得的数据进行推理。
[0003]目前，存在两种推理方式。其中，第一种方式在获取到大数据文件之后，仅对大数据文件进行基础分片，然后基于分片文件进行推理，该方式对服务器资源(主要指CPU和内存)消耗巨大，推理效率比较低下。第二种方式只是对基础分片稍作改善，其推理效率针对小部分场景有提升，对大部分场景提升的效果并不明显。
技术实现思路
[0004]本申请实施例所示的方案旨在能解决上述技术问题之一。
[0005]根据本申请实施例的一个方面，提供了一种数据文件的处理方
【技术保护点】
【技术特征摘要】
1.一种数据文件的处理方法，其特征在于，所述方法包括：若待处理数据文件未配置第一规则集，校验规则池中的分片规则，并根据校验所得的至少一个匹配规则从多个经验集中确定第二规则集；通过所述第二规则集对所述待处理数据文件进行分片处理，并将得到的分片文件发送至服务器，所述第一规则集为与所述服务器相适配的规则集。2.根据权利要求1所述的方法，其特征在于，每个分片规则配置有优先级别；所述校验规则池中的分片规则，包括：按照优先级别从高到低的顺序依次对规则池中的每个分片规则进行校验，以确定每个分片规则与服务器资源的第一匹配度；将大于预设阈值的第一匹配度所对应的分片规则确定为所述匹配规则。3.根据权利要求2所述的方法，其特征在于，所述根据校验所得的至少一个匹配规则从多个经验集中确定第二规则集，包括：确定每个经验集与所述至少一个匹配规则的第二匹配度，所述经验集包括所述规则池中至少一个分片规则；根据最大的第二匹配度所对应的经验集确定所述第二规则集。4.根据权利要求2或者3所述的方法，其特征在于，所述对规则池中的每个分片规则进行校验，以确定每个分片规则与服务器资源的第一匹配度，包括：确定每个分片规则的第一资源，所述第一资源是相应的分片规则处理所述待处理数据文件所需的服务器资源；比对第二资源与每项第一资源的匹配程度，以确定相应的分片规则与所述第二资源的第一匹配度，所述第二资源为当前提供的服务器资源。5.根据权利要求1所述的方法，其特征在于，若所述第二规则集包括特征防护分片规则；所述通过所述第二规则集对所述待处理数据文件进行分片处理，包括：根据所述第二...
【专利技术属性】
技术研发人员：蒋冬良，周如龙，欧阳晔，
申请(专利权)人：广州亚信技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。