一种数据处理方法、调度器及客户端设备技术

本发明专利技术实施例提供了一种数据处理方法、调度器及客户端设备，其中，方法包括：调度器响应于目标客户端发送的数据处理请求，根据数据处理请求中目标客户端的位置信息，获得多个满足预设约束条件的目标存储点的域名，调度器根据数据处理请求中目标客户端的设备标识，将包括各域名的数据处理信息发送至与设备标识对应的目标客户端，以使目标客户端根据数据处理信息，执行与数据处理请求对应的数据处理操作。本发明专利技术提高了对数据的处理效率。本发明专利技术提高了对数据的处理效率。本发明专利技术提高了对数据的处理效率。

【技术实现步骤摘要】
一种数据处理方法、调度器及客户端设备


[0001]本专利技术涉及数据处理
，特别是涉及一种数据处理方法、调度器及客户端设备。

技术介绍

[0002]现有对数据进行存储和处理，主要是通过配置有分布式数据存储和处理方案的服务器来实现的。
[0003]然而伴随着数据数量的增多，若要维持对数据存储和处理的效率，就需要提升服务器的计算能力。而现有提升服务器计算能力的方式，主要是通过增加边缘服务器，或对数据进行分片存储。但是，由于现有数据的分片、验签等操作还是在服务器中进行，导致在面对大量数据处理业务时，服务器算力负荷过高。因此，如何基于现有服务器运算能力提高对数据的处理效率已成为亟待解决的问题。

技术实现思路

[0004]本专利技术实施例的目的在于提供一种数据处理方法、调度器及客户端设备，以实现基于现有服务器运算能力提高对数据的处理效率的专利技术目的。具体技术方案如下：
[0005]一种数据处理方法，所述方法包括：
[0006]调度器响应于目标客户端发送的数据处理请求，根据所述数据处理请求中所述目标客户端的位置信息，获得多个满足预设约束条件的目标存储点的域名；
[0007]所述调度器根据所述数据处理请求中所述目标客户端的设备标识，将包括各所述域名的数据处理信息发送至与所述设备标识对应的所述目标客户端，以使所述目标客户端根据所述数据处理信息，执行与所述数据处理请求对应的数据处理操作。
[0008]可选的，所述根据所述数据处理请求中所述目标客户端的位置信息，获得多个满足预设约束条件的目标存储点的域名，包括：
[0009]所述调度器响应于所述目标客户端发送的数据处理请求，调用预设存储点信息表，对所述预设存储点信息表中的各存储点进行如下处理：
[0010]将所述预设存储点信息表中的、与所述目标客户端的空间距离不大于预设距离阈值的存储点确定为备选存储点，其中，所述空间距离是所述存储点的第一空间坐标，与所述位置信息中携带的第二空间坐标之间的距离，所述第一空间坐标是所述预设存储点信息表中的一个参数；
[0011]对各备选存储点进行如下处理：
[0012]将满足条件一或条件二中至少一个条件的所述备选存储点，确定为所述满足预设条件的目标存储点，并获取所述目标存储点的所述域名，其中，所述条件一是所述备选存储点的带宽不小于预设带宽阈值，所述条件二是所述备选存储点的中央处理器占用率不大于预设中央处理器占用阈值。
[0013]可选的，所述数据处理请求为分片文件存储请求，所述调度器根据所述数据处理
请求中所述目标客户端的设备标识，将包括各所述域名的数据处理信息发送至与所述设备标识对应的所述目标客户端，以使所述目标客户端根据所述数据处理信息，执行与所述数据处理请求对应的数据处理操作，包括：
[0014]所述调度器调用与所述设备标识具有对应关系的接口，将所述数据处理信息发送至所述目标客户端，以使所述目标客户端将生成的文件分片数据组，分别存储至各所述域名各自对应的目标存储点，完成分片文件存储操作。
[0015]可选的，所述数据处理请求为分片文件加载请求，所述调度器根据所述数据处理请求中所述目标客户端的设备标识，将包括各所述域名的数据处理信息发送至与所述设备标识对应的所述目标客户端，以使所述目标客户端根据所述数据处理信息，执行与所述数据处理请求对应的数据处理操作，包括：
[0016]所述调度器根据所述数据处理请求中的加载文件标识，查找与所述加载文件标识对应的目标分片索引数据；
[0017]所述调度器调用与所述设备标识具有对应关系的接口，将包括各所述域名和所述目标分片索引数据的所述数据处理信息发送至所述目标客户端，以使所述目标客户端对所述目标分片索引数据进行解析，获得目标文件的各分片标识，并基于各下载速率和各所述分片标识，从一个所述域名对应的所述目标存储点，或多个所述域名各自对应的所述目标存储点，加载所述目标文件的各分片，其中，所述下载速率是所述目标客户端从所述目标存储点加载数据的速率。
[0018]可选的，所述目标客户端是经过鉴权，并存储有表征鉴权通过的鉴权标识的客户端，所述鉴权的过程包括：
[0019]所述调度器响应于待鉴权客户端发送的鉴权请求，判断所述鉴权请求中携带的用户信息是否与用户校验信息一致，且所述鉴权请求中携带的设备信息是否与设备校验信息一致；
[0020]在所述用户信息与所述用户校验信息一致，且所述设备信息与所述设备校验信息一致时，将所述待鉴权客户端确定为所述目标客户端，并将所述鉴权标识发送至所述目标客户端。
[0021]一种调度器，所述调度器包括：
[0022]域名获取模块，用于响应于目标客户端发送的数据处理请求，根据所述数据处理请求中所述目标客户端的位置信息，获得多个满足预设约束条件的目标存储点的域名；
[0023]域名反馈模块，用于根据所述数据处理请求中所述目标客户端的设备标识，将包括各所述域名的数据处理信息发送至与所述设备标识对应的所述目标客户端，以使所述目标客户端根据所述数据处理信息，执行与所述数据处理请求对应的数据处理操作。
[0024]可选的，所述域名获取模块被设置为：
[0025]所述调度器响应于所述目标客户端发送的数据处理请求，调用预设存储点信息表，对所述预设存储点信息表中的各存储点进行如下处理：
[0026]将所述预设存储点信息表中的、与所述目标客户端的空间距离不大于预设距离阈值的存储点确定为备选存储点，其中，所述空间距离是所述存储点的第一空间坐标，与所述位置信息中携带的第二空间坐标之间的距离，所述第一空间坐标是所述预设存储点信息表中的一个参数；
[0027]对各备选存储点进行如下处理：
[0028]将满足条件一或条件二中至少一个条件的所述备选存储点，确定为所述满足预设条件的目标存储点，并获取所述目标存储点的所述域名，其中，所述条件一是所述备选存储点的带宽不小于预设带宽阈值，所述条件二是所述备选存储点的中央处理器占用率不大于预设中央处理器占用阈值。
[0029]可选的，所述域名反馈模块被设置为：
[0030]在所述数据处理请求为分片文件存储请求时，调用与所述设备标识具有对应关系的接口，将所述数据处理信息发送至所述目标客户端，以使所述目标客户端将生成的文件分片数据组，分别存储至各所述域名各自对应的目标存储点，完成分片文件存储操作。
[0031]可选的，所述域名反馈模块被设置为：
[0032]在所述数据处理请求为分片文件加载请求时，根据所述数据处理请求中的加载文件标识，查找与所述加载文件标识对应的目标分片索引数据；
[0033]所述调度器调用与所述设备标识具有对应关系的接口，将包括各所述域名和所述目标分片索引数据的所述数据处理信息发送至所述目标客户端，以使所述目标客户端对所述目标分片索引数据进行解析，获得目标文件的各分片标识，并基于各下载速率和各所述分片标识，从一个所述域名对应的所述目标存储点，或多个所述域名各本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：调度器响应于目标客户端发送的数据处理请求，根据所述数据处理请求中所述目标客户端的位置信息，获得多个满足预设约束条件的目标存储点的域名；所述调度器根据所述数据处理请求中所述目标客户端的设备标识，将包括各所述域名的数据处理信息发送至与所述设备标识对应的所述目标客户端，以使所述目标客户端根据所述数据处理信息，执行与所述数据处理请求对应的数据处理操作。2.根据权利要求1所述的方法，其特征在于，所述根据所述数据处理请求中所述目标客户端的位置信息，获得多个满足预设约束条件的目标存储点的域名，包括：所述调度器响应于所述目标客户端发送的数据处理请求，调用预设存储点信息表，对所述预设存储点信息表中的各存储点进行如下处理：将所述预设存储点信息表中的、与所述目标客户端的空间距离不大于预设距离阈值的存储点确定为备选存储点，其中，所述空间距离是所述存储点的第一空间坐标，与所述位置信息中携带的第二空间坐标之间的距离，所述第一空间坐标是所述预设存储点信息表中的一个参数；对各备选存储点进行如下处理：将满足条件一或条件二中至少一个条件的所述备选存储点，确定为所述满足预设条件的目标存储点，并获取所述目标存储点的所述域名，其中，所述条件一是所述备选存储点的带宽不小于预设带宽阈值，所述条件二是所述备选存储点的中央处理器占用率不大于预设中央处理器占用阈值。3.根据权利要求1所述的方法，其特征在于，所述数据处理请求为分片文件存储请求，所述调度器根据所述数据处理请求中所述目标客户端的设备标识，将包括各所述域名的数据处理信息发送至与所述设备标识对应的所述目标客户端，以使所述目标客户端根据所述数据处理信息，执行与所述数据处理请求对应的数据处理操作，包括：所述调度器调用与所述设备标识具有对应关系的接口，将所述数据处理信息发送至所述目标客户端，以使所述目标客户端将生成的文件分片数据组，分别存储至各所述域名各自对应的目标存储点，完成分片文件存储操作。4.根据权利要求1所述的方法，其特征在于，所述数据处理请求为分片文件加载请求，所述调度器根据所述数据处理请求中所述目标客户端的设备标识，将包括各所述域名的数据处理信息发送至与所述设备标识对应的所述目标客户端，以使所述目标客户端根据所述数据处理信息，执行与所述数据处理请求对应的数据处理操作，包括：所述调度器根据所述数据处理请求中的加载文件标识，查找与所述加载文件标识对应的目标分片索引数据；所述调度器调用与所述设备标识具有对应关系的接口，将包括各所述域名和所述目标分片索引数据的所述数据处理信息发送至所述目标客户端，以使所述目标客户端对所述目标分片索引数据进行解析，获得目标文件的各分片标识，并基于各下载速率和各所述分片标识，从一个所述域名对应的所述目标存储点，或多个所述域名各自对应的所述目标存储点，加载所述目标文件的各分片，其中，所述下载速率是所述目标客户端从所述目标存储点加载...

【专利技术属性】
技术研发人员：刘鹏，
申请(专利权)人：青岛海尔科技有限公司海尔智家股份有限公司，
类型：发明
国别省市：