数据传输方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了一种数据传输方法、装置、电子设备及存储介质，数据传输方法包括：获取表格数据文档；对表格数据文档进行解析，得到预设格式的数据文件；利用web worker创建至少一个worker线程对预设格式的数据文件进行数据转换，将预设格式的数据文件转换成多个json键值对；依据预先设定的验证规则对多个json键值对的内容进行验证；响应用户提交数据的请求，将通过验证的数据定量等分，分批次发送至后端服务器，利用多个线程对数据进行处理，提高数据处理效率，避免单线程处理数据造成的卡顿、资源浪费；提升交互体验。

【技术实现步骤摘要】
数据传输方法、装置、电子设备及存储介质
本专利技术涉及计算机
，具体而言，涉及一种数据传输方法、装置、电子设备及存储介质。
技术介绍
工业互联网平台面向各种角色的用户群体，当用户采集、更新工业设备数据信息时，就会面临大数据的批处理问题。现有技术中，通常主要依赖后端技术，可以通过提高服务器的配置，增加服务器数量，提升服务器的性能来加快批量处理速度，但单纯的依赖后端技术，复杂程度增加，有时也会造成资源浪费，前端仅由在浏览器中单线程运行的JavaScript上传数据，会导致页面响应缓慢甚至卡顿。
技术实现思路
本专利技术的目的包括，例如，提供了一种数据传输方法、装置、电子设备及存储介质，其能够利用多个线程对数据进行处理，提高数据处理效率，避免单线程处理数据造成的卡顿、资源浪费；提升交互体验。本专利技术的实施例可以这样实现：第一方面，本专利技术提供一种数据传输方法，所述数据传输方法包括：获取表格数据文档；对所述表格数据文档进行解析，得到预设格式的数据文件；利用webworker创建至少一个worker线程对所述预设格式的数据文件进行数据转换，将所述预设格式的数据文件转换成多个json键值对；依据预先设定的验证规则对所述多个json键值对的内容进行验证；响应用户提交数据的请求，将通过所述验证的数据定量等分，分批次发送至后端服务器。在可选的实施方式中，所述预设格式的数据文件为二进制数据流，对所述表格数据文档进行解析，得到预设格式的数据文件的步骤包括：通过FileReader将所述表格数据文档进行解析，得到二进制数据流。在可选的实施方式中，所述对所述表格数据文档进行解析，得到预设格式的数据文件步骤之后，所述方法还包括：生成对所述表格数据文档进行解析结果，所述解析结果包括解析成功的数据以及解析失败的数据。在可选的实施方式中，将通过所述验证的数据定量等分，分批次发送至后端服务器之后，所述方法还包括：接收后端服务器返回的接收回执数据，所述接收回执数据包括所述后端服务器接收成功的数据及所述后端服务器接收失败的数据；依据所述接收回执数据以及所述表格数据文档生成发送结果数据，所述发送结果数据包括发送成功的数据以及发送失败的数据。在可选的实施方式中，所述方法还包括：接收用户的导出数据请求，所述导出数据请求包含待导出数据的范围；依据所述导出数据请求通过后端接口获取所述待导出数据的数据总量；依据所述导出数据请求及所述数据总量生成多个数据获取指令，将所述数据获取指令发送至后端服务器；其中，多个所述数据获取指令要求获取的数据量之和为所述待导出数据的数据总量；接收所述后端服务器响应数据获取指令发送的返回数据。在可选的实施方式中，接收所述后端服务器响应数据获取指令发送的返回数据后，所述方法还包括：将所述返回数据写入预先设定的表格模板生成表格文件。在可选的实施方式中，响应用户提交数据的请求，将通过所述验证的数据定量等分，分批次发送至后端服务器之后，所述方法还包括：生成发送进度数据，所述发送进度数据为已发送数据量与通过所述验证的数据总量的比值。第二方面，本专利技术提供一种数据传输装置，所述数据传输装置用于执行如前述实施方式任意一项所述的数据传输方法，所述数据传输装置包括：获取模块，用于获取表格数据文档；处理模块，用于对所述表格数据文档进行解析，得到预设格式的数据文件；所述处理模块还用于利用webworker创建至少一个worker线程对所述预设格式的数据文件进行数据转换，将所述预设格式的数据文件转换成多个json键值对；依据预先设定的验证规则对所述多个json键值对的内容进行验证；发送模块，用于响应用户提交数据的请求，将通过所述验证的数据定量等分，分批次发送至所述后端服务器。第三方面，本专利技术提供一种电子设备，所述电子设备包括处理器，所述处理器用于执行计算机可读程序指令，所述计算机可读程序指令被执行时实现如前述实施方式任意一项所述的数据传输方法的步骤。第四方面，本专利技术提供一种存储介质，所述存储介质存储有计算机可读程序指令，该计算机可读程序指令被处理器执行时实现如前述实施方式任意一项所述的数据传输方法的步骤。相对于现有技术，本申请实施例的有益效果之一包括：本申请实施例提供了一种数据传输方法、装置、电子设备及存储介质，数据传输方法包括：获取表格数据文档；对表格数据文档进行解析，得到预设格式的数据文件；利用webworker创建至少一个worker线程对预设格式的数据文件进行数据转换，将预设格式的数据文件转换成多个json键值对；依据预先设定的验证规则对多个json键值对的内容进行验证；响应用户提交数据的请求，将通过验证的数据定量等分，分批次发送至后端服务器，利用多个线程对数据进行处理，提高数据处理效率，避免单线程处理数据造成的卡顿、资源浪费；提升交互体验。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本申请实施例提供的一种数据传输方法的流程示意图；图2为本申请实施例提供的另一种数据传输方法的流程示意图；图3为本申请实施例提供的另一种数据传输方法的流程示意图；图4为本申请实施例提供的另一种数据传输方法的流程示意图；图5为本申请实施例提供的一种数据传输装置的功能框图；图6为本申请实施例提供的一种电子设备的功能框图。图标：300-数据传输装置；310-获取模块；320-处理模块；330-发送模块；410-处理器；411-存储器；412-总线；413-通信接口。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。在本专利技术的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该专利技术产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指本文档来自技高网...

【技术保护点】
1.一种数据传输方法，其特征在于，所述数据传输方法包括：/n获取表格数据文档；/n对所述表格数据文档进行解析，得到预设格式的数据文件；/n利用web worker创建至少一个worker线程对所述预设格式的数据文件进行数据转换，将所述预设格式的数据文件转换成多个json键值对；/n依据预先设定的验证规则对所述多个json键值对的内容进行验证；/n响应用户提交数据的请求，将通过验证的数据定量等分，分批次发送至后端服务器。/n

【技术特征摘要】
1.一种数据传输方法，其特征在于，所述数据传输方法包括：
获取表格数据文档；
对所述表格数据文档进行解析，得到预设格式的数据文件；
利用webworker创建至少一个worker线程对所述预设格式的数据文件进行数据转换，将所述预设格式的数据文件转换成多个json键值对；
依据预先设定的验证规则对所述多个json键值对的内容进行验证；
响应用户提交数据的请求，将通过验证的数据定量等分，分批次发送至后端服务器。


2.根据权利要求1所述的数据传输方法，其特征在于，所述预设格式的数据文件为二进制数据流，对所述表格数据文档进行解析，得到预设格式的数据文件的步骤包括：
通过FileReader将所述表格数据文档进行解析，得到二进制数据流。


3.根据权利要求1所述的数据传输方法，其特征在于，所述对所述表格数据文档进行解析，得到预设格式的数据文件步骤之后，所述方法还包括：
显示对所述表格数据文档进行解析结果，所述解析结果包括解析成功的数据以及解析失败的数据。


4.根据权利要求1所述的数据传输方法，其特征在于，将通过验证的数据定量等分，分批次发送至后端服务器之后，所述方法还包括：
接收后端服务器返回的接收回执数据，所述接收回执数据包括所述后端服务器接收成功的数据及所述后端服务器接收失败的数据；
依据所述接收回执数据以及所述表格数据文档生成发送结果数据，所述发送结果数据包括发送成功的数据以及发送失败的数据。


5.根据权利要求1所述的数据传输方法，其特征在于，所述方法还包括：
接收用户的导出数据请求，所述导出数据请求包含待导出数据的范围；
依据所述导出数据请求通过后端接口获取所述待导出数据的数据总量；
依据所述导出数据请求及所述数据总量生成多...

【专利技术属性】
技术研发人员：潘永高，苟庆，余海情，
申请(专利权)人：树根互联技术有限公司，
类型：发明
国别省市：广东;44