【技术实现步骤摘要】
一种基于JAVA优化处理同步数据的方法及装置
[0001]本专利技术属于数据同步
，具体涉及一种基于JAVA优化处理同步数据的方法及装置。
技术介绍
[0002]在线数据除了在主要的系统内进行保存，以及进行新增、编辑、删除的操作为，有分析价值的在线数据还会被引用在各个不同的系统中来使用，而通过数据同步的方法即可最有效率的达成数据的共享，并避免了在不同数据中的数据不一致问题。通过建立互动的API端口传递数据一种常见的方式，需要共享的数据内容除了单纯的文本形式外，文档往往也是需要传递的一种类别。
[0003]以当前的服务器运算能力，将API端口接收到的文本形式数据直接进行数据保存是可行的，不会影响系统本身的运行效能，不过如果要同步的数据还包含了文件库的话，就需要考虑到网络速度与下载结果的问题。而且，我们在信息系统中读写数据往往都是通过数据表做查找，但对于需要频繁做读写和查询的信息，通过数据表逐项查找的做法会对我们的数据库带来很大的负担及性能上的问题。
[0004]现有数据同步过程中需要依照接收到的数据逐项去...
【技术保护点】
【技术特征摘要】
1.一种基于JAVA优化处理同步数据的方法，其特征在于，包括如下步骤：S1.主线程通过API端口实时获取同步数据，将同步数据保存到数据库中，并从同步数据中取出待处理文档ID，将待处理文档ID及待处理文档ID在数据库中索引保存到Redis库中，生成队列任务；S2.辅助线程依次从Redis库中取出队列任务，从队列任务中获取待处理文档ID，并通过队列数据处理服务根据待处理文档ID进行文档处理，再将处理后的文档更新到数据库中。2.如权利要求1所述的基于JAVA优化处理同步数据的方法，其特征在于，步骤S1具体步骤如下：S11.通过POST或GET方式从API端口获取同步数据；S12.定位一段同步数据；S13.将定位的同步数据保存到数据库中，并取出待处理文档ID；S14.将待处理文档ID及待处理文档ID在数据库中索引保存到Redis库中，生成队列任务，并在Redis库中为待处理文档ID创建任务索引；S15.判断同步数据是否定位完毕；若是，进入步骤S2；若否，定位下一段同步数据，返回步骤S13。3.如权利要求2所述的基于JAVA优化处理同步数据的方法，其特征在于，步骤S11之前还包括如下步骤：S1A1.预先设置Redis库，并为Redis库设置好索引前缀；S1A2.创建获取同步数据的主线程以及进行Redis库检索的辅助线程；S1A3.基于JAVA创建进行文档处理的队列数据处理服务。4.如权利要求3所述的基于JAVA优化处理同步数据的方法，其特征在于，步骤S2具体步骤如下：S21.启动辅助线程；S22.辅助线程定位Redis库中的任务索引；S23.辅助线程根据任务索引从Redis库中取出队列任务，并从队列任务中获取待处理文档ID；S24.辅助线程启动队列数据处理服务；S25.队列数据处理服务根据待处理文档ID进行文档处理，并将处理后文档根据对应数据库中索引更新到数据库中，再将完成文档处理对应的任务索引从Redis库中进行删除；S26.辅助线程判断Redis库中任务索引是否定位完毕；若是，结束；若否，定位到Redis库中的下一个任务索引，返回步骤S23。5.如权利要求4所述的基于JAVA优化处理同步数据的方法，其特征在于，待处理文档ID为待处理文档的路径；步骤S25中根据待处理文档ID进行文档处理包括进行文档下载和数据计算。6.一种基于JAVA优化处理同步数据的装置，其特征在于，包括：Redis库数据缓存模块(1)，用于主线程通过API端口实时获取同步数据，将同步数据保
存到数据库中，并从同步数据中取出待处理文档ID，将待处理文档ID及待处理文档ID在数据库中...
【专利技术属性】
技术研发人员：陈圣惠，邓淮谦，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。