【技术实现步骤摘要】
本申请涉及大数据数据存储，尤其涉及一种数据处理方法、装置、电子设备及计算机可读介质。
技术介绍
1、目前，普通投资者在资本市场缺少专业程度和投入时间，缺少信息优势，缺少分析团队且频繁交易、无计划的交易以及冲动交易，大部分散户交易都是频繁交易，30％的散户每天都要交易一次，但是操作越多，成本就会越高，获利的机会就会越小，在全球的股市中，a股的换手率是全球换手率前几的。股市市场每个阶段都会有不同的市场热点，而每次新的热点出来，散户可以通过数据分析工具pandas读取以电子表格文件格式存储的表格数据csv文件查看热点，数据压缩比小、数据读取速度慢，影响快速决策，从而导致较大的交易风险。
技术实现思路
1、有鉴于此，本申请实施例提供一种数据处理方法、装置、电子设备及计算机可读介质，能够解决现有的用户通过数据分析工具pandas读取以电子表格文件格式存储的表格数据csv文件查看热点，数据压缩比小、数据读取速度慢，影响快速决策，从而导致较大的交易风险的问题。
2、为实现上述目的，根据本申请实施例的一个方面，提供了一种数据处理方法，包括：
3、接收用户上传数据，确定对应的存储路径类型；
4、基于存储路径类型和用户上传数据，生成数据存储任务，锁定所述数据存储任务的状态为准备中，并授予目标计算集群对所述数据存储任务的状态的更改权限；
5、调用底座代理接口，以提交数据存储任务至目标计算集群，启动协程，以轮询数据存储任务的状态，进而通过目标计算集群中的目标
6、将目标存储文件格式的数据基于存储路径类型对应的存储路径按列进行存储，并更改状态为完成。
7、可选地，在更改状态为完成之后，数据处理方法还包括：
8、更新数据存储格式的活跃字段的字段值为真。
9、可选地，数据处理方法还包括：
10、响应于轮询到状态为失败，提示用户重新上传数据，并执行数据重新上传进程。
11、可选地，存储路径类型，包括：平台级存储路径和用户级存储路径。
12、可选地，将目标存储文件格式的数据基于存储路径类型对应的存储路径按列进行存储，包括：
13、确定存储路径类型对应的存储路径所关联的工作空间；
14、将目标存储文件格式的数据按列存储于工作空间。
15、可选地，数据处理方法还包括：
16、确定对工作空间具有处理权限的用户标识；
17、响应于用户对工作空间的访问请求，获取对应的访问用户标识，若访问用户标识在具有处理权限的用户标识中，对访问用户标识对应的用户开放对工作空间中存储的数据的访问权限。
18、可选地，数据处理方法还包括：
19、基于目标期望值和因子表达式，对工作空间中的数据进行筛选，以得到目标因子集合，并提交目标因子集合至因子库，生成因子报告并输出。
20、另外，本申请还提供了一种数据处理装置，包括：
21、接收单元，被配置成接收用户上传数据，确定对应的存储路径类型；
22、任务生成单元，被配置成基于存储路径类型和用户上传数据，生成数据存储任务，锁定所述数据存储任务的状态为准备中，并授予目标计算集群对所述数据存储任务的状态的更改权限；
23、轮询单元，被配置成调用底座代理接口，以提交数据存储任务至目标计算集群，启动协程，以轮询数据存储任务的状态，进而通过目标计算集群中的目标节点将数据存储任务对应的用户上传数据序列化为目标存储文件格式的数据；
24、数据存储单元，被配置成将目标存储文件格式的数据基于存储路径类型对应的存储路径按列进行存储，并更改状态为完成。
25、可选地，数据存储单元进一步被配置成：
26、更新数据存储格式的活跃字段的字段值为真。
27、可选地，数据处理装置还包括提示单元，被配置成：
28、响应于轮询到状态为失败，提示用户重新上传数据，并执行数据重新上传进程。
29、可选地，存储路径类型，包括：平台级存储路径和用户级存储路径。
30、可选地，数据存储单元进一步被配置成：
31、确定存储路径类型对应的存储路径所关联的工作空间；
32、将目标存储文件格式的数据按列存储于工作空间。
33、可选地，数据处理装置还包括权限开放单元，被配置成：
34、确定对工作空间具有处理权限的用户标识；
35、响应于用户对工作空间的访问请求，获取对应的访问用户标识，若访问用户标识在具有处理权限的用户标识中，对访问用户标识对应的用户开放对工作空间中存储的数据的访问权限。
36、可选地，数据处理装置还包括数据筛选单元，被配置成：
37、基于目标期望值和因子表达式，对工作空间中的数据进行筛选，以得到目标因子集合，并提交目标因子集合至因子库，生成因子报告并输出。
38、另外，本申请还提供了一种数据处理电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上述的数据处理方法。
39、另外，本申请还提供了一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现如上述的数据处理方法。
40、为实现上述目的，根据本申请实施例的又一个方面，提供了一种计算机程序产品。
41、本申请实施例的一种计算机程序产品，包括计算机程序，程序被处理器执行时实现本申请实施例提供的数据处理方法。
42、上述专利技术中的一个实施例具有如下优点或有益效果：本申请通过接收用户上传数据，确定对应的存储路径类型；基于存储路径类型和用户上传数据，生成数据存储任务，锁定所述数据存储任务的状态为准备中，并授予目标计算集群对所述数据存储任务的状态的更改权限；调用底座代理接口，以提交数据存储任务至目标计算集群，启动协程，以轮询数据存储任务的状态，进而通过目标计算集群中的目标节点将数据存储任务对应的用户上传数据序列化为目标存储文件格式的数据；将目标存储文件格式的数据基于存储路径类型对应的存储路径按列进行存储，并更改状态为完成。从而实现数据有更大的压缩比，读入就是表格型的数据结构对象，速度快，可以及时辅助决策，降低交易风险。
43、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
本文档来自技高网...【技术保护点】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在所述更改所述状态为完成之后，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求1所述的方法，其特征在于，所述存储路径类型，包括：平台级存储路径和用户级存储路径。
5.根据权利要求1所述的方法，其特征在于，所述将所述目标存储文件格式的数据基于所述存储路径类型对应的存储路径按列进行存储，包括：
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
7.根据权利要求5所述的方法，其特征在于，所述方法还包括：
8.一种数据处理装置，其特征在于，包括：
9.根据权利要求8所述的装置，其特征在于，所述数据存储单元进一步被配置成：
10.根据权利要求8所述的装置，其特征在于，所述装置还包括提示单元，被配置成：
11.根据权利要求8所述的装置，其特征在于，所述存储路径类型，包括：平台级存储路径和用户级存储路径。
12.根据权利要求8
13.根据权利要求12所述的装置，其特征在于，所述装置还包括权限开放单元，被配置成：
14.一种数据处理电子设备，其特征在于，包括：
15.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
16.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在所述更改所述状态为完成之后，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求1所述的方法，其特征在于，所述存储路径类型，包括：平台级存储路径和用户级存储路径。
5.根据权利要求1所述的方法，其特征在于，所述将所述目标存储文件格式的数据基于所述存储路径类型对应的存储路径按列进行存储，包括：
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
7.根据权利要求5所述的方法，其特征在于，所述方法还包括：
8.一种数据处理装置，其特征在于，包括：
9.根据权利要求8所述的装置，其特征在于，所述数据存储单元进...
【专利技术属性】
技术研发人员：尹亮，叶志远，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。