【技术实现步骤摘要】
数据导出方法及相关产品
本申请涉及数据传输
，具体涉及一种数据导出方法及相关产品。
技术介绍
随着信息化的成熟，数据采集工作日益完善，数据的种类越来越多，从而可以在数据库中存储有一个用户对应的大量数据，商家可以从该数据库中拿取用户的数据，通过大数据技术为用户做商品推荐。由于每个用户的数据量较多，导出过程极为困难，目前存在以下两种导出方式：1、对大数据进行拆分，分批次导出，这种导出方法会消耗过多的业务时间，而且需要用户反复执行相同的导出操作，降低了用户的体验，影响后续业务应用的开展。2、“一次导出，持续等待”，即向数据库服务器发起一个数据导出请求，该请求用户从该数据库中导出到指定存储路径，该数据库服务器在接收到请求后，按照其所能承受的数据传输速率，将数据导出到该指定存储路径，由于数据量过大，将占用内存资源过大，等待时间过长，没有充分利用分布式服务的性能。因此，目前的大数据导出技术单一，导出时间过长，且导出过程复杂，当在单服务器上导出大数据量的时，可能会导致服务器内存溢出，服务器存在宕机的风险，用户体验低。...
【技术保护点】
1.一种数据导出方法，其特征在于，包括：/n第一设备接收用户终端发送的数据导出请求，所述数据导出请求包括待导出数据的数据标识和所述待导出数据的内存；/n如所述待导出数据的内存大于第一阈值，所述第一设备将所述数据导出请求拆分为N个子数据导出请求，并为每个子数据导出请求添加第二设备集群中的第二设备的设备标识，且任意两个子数据导出请求之间的设备标识不同；/n所述第一设备向所述第二设备集群广播所述N个子数据导出请求，以便目标第二设备向所述用户终端导出与目标子数据导出请求对应的子待导出数据，所述目标子数据导出请求为所述N个子数据导出请求中的任意一个子数据导出请求，所述目标第二设备为所...
【技术特征摘要】
1.一种数据导出方法，其特征在于，包括：
第一设备接收用户终端发送的数据导出请求，所述数据导出请求包括待导出数据的数据标识和所述待导出数据的内存；
如所述待导出数据的内存大于第一阈值，所述第一设备将所述数据导出请求拆分为N个子数据导出请求，并为每个子数据导出请求添加第二设备集群中的第二设备的设备标识，且任意两个子数据导出请求之间的设备标识不同；
所述第一设备向所述第二设备集群广播所述N个子数据导出请求，以便目标第二设备向所述用户终端导出与目标子数据导出请求对应的子待导出数据，所述目标子数据导出请求为所述N个子数据导出请求中的任意一个子数据导出请求，所述目标第二设备为所述第二设备集群中与所述目标子数据请求的设备标识对应的第二设备；以及以便所述用户终端根据接收到的子待导出数据，合成所述待导出数据。
2.根据权利要求1所述的方法，其特征在于，所述第一设备将所述数据导出请求拆分为N个子数据导出请求，并为每个子数据导出请求添加第二设备集群中的第二设备的设备标识，包括：
所述第一设备获取所述待导出数据对应的多个数据类型；
所述第一设备获取所述多个数据类型对应的关键词，对所述多个数据类型对应的关键词进行分类，并对属于一类的关键词所对应的数据类型构建一个子数据导出请求，得到N个子数据导出请求；
所述第一设备为每个子数据导出请求添加第二设备集群中的第二设备的设备标识。
3.根据权利要求1所述的方法，其特征在于，所述所述第一设备将所述数据导出请求拆分为N个子数据导出请求，并为每个子数据导出请求添加第二设备集群中的第二设备的设备标识，包括：
所述第一设备获取所述待导出数据对应的多个数据类型；
所述第一设备确定每个数据类型对应的数据格式，并将数据格式相同的数据类型构建一个子数据导出请求，得到N个子数据导出请求；
所述第一设备为每个子数据导出请求添加第二设备集群中的第二设备的设备标识。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述第一设备向所述第二设备集群广播所述N个子数据导出请求，包括：
所述第一设备通过消息队列向所述第二设备集群广播所述N个子数据导出请求。
5.根据权利要求4所述的方法，其特征在于，所述第一设备通过消息队列向第二设备集群广播所述N个子数据导出请求之前，所述方法还包括：
所述第一设备创建所述消息队列的用户名、密码、访问路径以及端口号；
所述第一设备将所述用户名、所述密码、所述...
【专利技术属性】
技术研发人员：徐国强，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。