数据处理方法、装置、设备以及计算机存储介质制造方法及图纸

本发明专利技术实施例涉及计算机数据处理技术领域，公开了一种数据处理方法，该方法包括：获取计算环境参数；所述计算环境参数包括原始计算数据；根据所述计算环境参数确定随机数据数量、目标计算设备的设备总数以及各个所述目标计算设备分别对应的待分配编码任务量；根据所述随机数据数量、设备总数以及所述待分配编码任务量对所述原始计算数据进行计算，得到各个所述目标计算设备分别对应的设备编码数据；通过各个所述目标计算设备根据用户输入数据和所述设备编码数据进行计算，得到多个中间结果；根据所有所述中间结果确定所述用户输入数据对应的处理后数据。通过上述方式，本发明专利技术实施例提高了边缘计算环境下的数据处理的效率。施例提高了边缘计算环境下的数据处理的效率。施例提高了边缘计算环境下的数据处理的效率。

【技术实现步骤摘要】
数据处理方法、装置、设备以及计算机存储介质


[0001]本专利技术实施例涉及计算机数据处理
，具体涉及一种数据处理方法、装置、设备以及计算机存储介质。

技术介绍

[0002]现有的基于边缘计算环境的数据处理方法中，任务分配通常是将计算任务平均分配到各个边缘计算设备上。
[0003]专利技术人在实施本专利技术的过程中发现：现有的基于边缘计算环境的数据处理的方法存在效率较低的问题。

技术实现思路

[0004]鉴于上述问题，本专利技术实施例提供了一种数据处理方法、装置、设备以及计算机存储介质，用于解决现有技术中存在的数据处理的效率较低的问题。
[0005]根据本专利技术实施例的一个方面，提供了一种数据处理方法，所述方法包括：
[0006]获取计算环境参数；所述计算环境参数包括原始计算数据；
[0007]根据所述计算环境参数确定随机数据数量、目标计算设备的设备总数以及各个所述目标计算设备分别对应的待分配编码任务量；
[0008]根据所述随机数据数量、设备总数以及所述待分配编码任务量对所述原始计算数据进行计算，得到各个所述目标计算设备分别对应的设备编码数据；
[0009]通过各个所述目标计算设备根据用户输入数据和所述设备编码数据进行计算，得到多个中间结果；
[0010]根据所有所述中间结果确定所述用户输入数据对应的处理后数据。
[0011]在一种可选的方式中，所述计算环境参数包括所述原始计算数据的数量、计算任务规模、可选计算设备的数量、各个可选计算设备的资源限制数量、以及各个可选计算设备的单位代价；所述目标计算设备为所述可选计算设备中的至少一个。
[0012]在一种可选的方式中，所述方法还包括：
[0013]确定{1，
…
，(W)
max
}与的交集是否为空；其中，{1，
…
，Wmax为[1，Wmax]中所有自然数的集合；W为所有所述可选计算设备的资源限制数量的集合；(W)
max
为W中最大的元素；r∈{1，
…
，(W)
max
}；w
j
为可选计算设备j的所述资源限制数量；k为所述可选计算设备的数量；m为所述计算任务规模；r为所述随机数据数量；
[0014]若所述交集为非空，将r的取值在{1，
…
，(W)
max
}中进行遍历，确定各个r取值分别对应的
[0015]根据所述各个r值分别对应的从{1，
…
，(W)
max
}中确定r的最小值r
min
和r的最大值r
max
；
[0016]以r
min
≤r≤r
max
为约束条件，以资源消耗总代价c
sum
(r)最小为优化目标，求得r的最优解，将所述最优解确定为所述随机数据数量；其中，θ
r
为所述目标计算设备的数量；c
j
为可选计算设备j的单位代价，并且满足c
j
≥c
j
‑1；
[0017]根据所述随机数据数量确定所述目标计算设备的设备总数以及所述待分配编码任务量。
[0018]在一种可选的方式中，r为自然数；所述方法还包括：依次计算r的值从1递增至(W)
max
时对应的将第一个满足的r值确定为r
min
；
[0019]依次计算r的值从(W)
max
递减至1时对应的将第一个满足的r值确定为r
max
。
[0020]在一种可选的方式中，所述方法还包括：
[0021]将所述目标计算设备的数量θ
r
确定为
[0022]将目标计算设备j对应的所述待分配编码任务量V(B
j
)确定为：
[0023][0024]在一种可选的方式中，所述方式还包括：
[0025]生成随机数据；所述随机数据的数量为所述随机数据数量；
[0026]根据所述设备总数和所述待分配编码任务量确定各个所述目标计算设备分别对应的编码系数矩阵；
[0027]根据所述编码系数矩阵对所述随机数据和所述原始计算数据进行编码，得到所述各个目标计算设备分别对应的所述设备编码数据。
[0028]在一种可选的方式中，所述方式还包括：
[0029]构造(m+r)
×
(m+r)维的编码系数矩阵B如下：
[0030][0031]将目标计算设备j的编码系数矩阵B
j
确定为：
[0032][0033]其中，E
t
为t
×
t维的单位矩阵；O
r，m
为r
×
m维的零矩阵；为矩阵中的索引从a到b的行向量组成的矩阵；r为所述随机数据数量；m为计算任务规模；z∈{1，...，θ
r
‑
1}；V(B
z
)＝r；V(B
j
)为目标计算设备j对应的所述待分配编码任务量；θ
r
为所述目标计算设备的数量。
[0034]根据本专利技术实施例的另一方面，提供了一种数据处理装置，包括：
[0035]获取模块，用于获取计算环境参数；所述计算环境参数包括原始计算数据；
[0036]分配模块，用于根据所述计算环境参数确定随机数据数量、目标计算设备的设备总数以及各个所述目标计算设备分别对应的待分配编码任务量；
[0037]编码模块，用于根据所述随机数据数量、设备总数以及所述待分配编码任务量对所述原始计算数据进行计算，得到各个所述目标计算设备分别对应的设备编码数据；
[0038]计算模块，用于通过各个所述目标计算设备根据用户输入数据和所述设备编码数据进行计算，得到多个中间结果；
[0039]确定模块，用于根据所有所述中间结果确定所述用户输入数据对应的处理后数据。
[0040]根据本专利技术实施例的另一方面，提供了一种数据处理设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如所述的数据处理方法的操作。
[0041]根据本专利技术实施例的又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使数据处理设备执行以下所述的数据处理方法的操作。
[0042]本专利技术实施例通过获取计算环境参数；其中，计算环境参数包括原始计算数据；根据计算环境参数确定随机数据数量、目标计算设备的设备总数以及各个目标计算设备分别对应的待分配编码任务量；根据随机数据数量、设备总数以及待分配编码任务量对原始计算数据进行计算，得到各个目标计算设备分别对应的设备编码数据；通过各个目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取计算环境参数；所述计算环境参数包括原始计算数据；根据所述计算环境参数确定随机数据数量、目标计算设备的设备总数以及各个所述目标计算设备分别对应的待分配编码任务量；根据所述随机数据数量、设备总数以及所述待分配编码任务量对所述原始计算数据进行计算，得到各个所述目标计算设备分别对应的设备编码数据；通过各个所述目标计算设备根据用户输入数据和所述设备编码数据进行计算，得到多个中间结果；根据所有所述中间结果确定所述用户输入数据对应的处理后数据。2.根据权利要求1所述的方法，其特征在于，所述计算环境参数包括所述原始计算数据的数量、计算任务规模、可选计算设备的数量、各个可选计算设备的资源限制数量、以及各个可选计算设备的单位代价；所述目标计算设备为所述可选计算设备中的至少一个。3.根据权利要求2所述的方法，其特征在于，所述根据所述计算环境参数确定随机数据数量、目标计算设备的设备总数以及各个所述目标计算设备分别对应的待分配编码任务量，包括：确定{1，
…
，(W)
max
}与的交集是否为空；其中，{1，
…
，Wmax为[1，Wmax]中所有自然数的集合；W为所有所述可选计算设备的资源限制数量的集合；(W)
max
为W中最大的元素；的元素；w
j
为可选计算设备j的所述资源限制数量；k为所述可选计算设备的数量；m为所述计算任务规模；r为所述随机数据数量；若所述交集为非空，将r的取值在{1，
…
，(W)
max
}中进行遍历，确定各个r取值分别对应的根据所述各个r值分别对应的从{1，
…
，(W)
max
}中确定r的最小值r
min
和r的最大值r
max
；以r
min
≤r≤r
max
为约束条件，以资源消耗总代价c
sum
(r)最小为优化目标，求得r的最优解，将所述最优解确定为所述随机数据数量；其中，θ
r
为所述目标计算设备的数量；c
j
为可选计算设备j的单位代价，并且满足c
j
≥c
j
‑1；根据所述随机数据数量确定所述目标计算设备的设备总数以及所述待分配编码任务量。4.根据权利要求3所述的方法，其特征在于，r为自然数；所述根据所述各个r值分别对应的从{1，
…
，(W)
max
}中确定r的最小值r
min
和r的最大值r
max
，包括：依次计算r的值从1递增至(W)
max
时对应的将第一个满足的r值确定为r
min
；依次计算r的值从(W)
max
递减至1时对应的将第一...

【专利技术属性】
技术研发人员：曹春明，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：