一种基于swoole的校验插入数据库数据重复的系统及方法技术方案

本发明专利技术公开了一种基于swoole的校验插入数据库数据重复的系统，包括客户端、应用服务器，MySQL分布式主从数据库；客户端用于提供数据上传的可视化操作界面并提示用户数据上传实时状态；应用服务器用于处理客户端上传的数据，及将数据按照按照应用程序配置划分为多个子数据块，及将各子数据块根据应用程序配置细分为多个孙数据块，并依赖swoole框架为每一个孙数据块创建独立的线程用于进行数据重复校验；MySQL分布式主从数据库用于数据存储。本发明专利技术的系统采用swoole框架发起多线程的方式和分布式主从数据库，多线程可以充分的利用应用服务器CPU，多数据库同时查询，从而极大的提高了大量数据插入数据库前重复数据校验的效率。

A system and method based on swoole to check the data repetition of inserted database

【技术实现步骤摘要】
一种基于swoole的校验插入数据库数据重复的系统及方法
本专利技术涉及校验插入数据库数据重复
，特别涉及一种基于swoole的校验插入数据库数据重复的系统及方法。
技术介绍
随着“互联网+”的不断发展，各种类型的企业都在往数字化方向转型，每个企业都建立了自己或大或小的数据平台，数据的种类和规模都在以惊人的速度增长。现有的PHP的web开发大多是在LNMP(Linux+Nginx+Mysql+PHP)开发环境中进行，常用PHP-FPM(PHPFastCGIProcessManager)进程管理器，用于管理PHP进程池的软件，用于接受web服务器的请求。PHP-FPM使用多进程模型，每个进程只有一个线程，每个线程只能处理一个客户端访问。因此，当客户端数据量大的时候，大量数据与数据库中存储数据进行重复校验的时候，经常会出现处理时间长，导致请求超时的问题。
技术实现思路
本专利技术的目的是克服上述
技术介绍
中不足，提供一种基于swoole的校验插入数据库数据重复的系统及方法，可有效解决上述大量数据重复校验时间长，导致客本文档来自技高网...

【技术保护点】
1.一种基于swoole的校验插入数据库数据重复的系统，其特征在于，包括客户端、应用服务器，MySQL分布式主从数据库；/n所述客户端用于提供数据上传的可视化操作界面并提示用户数据上传实时状态；所述应用服务器用于处理客户端上传的数据，及将数据按照应用程序配置划分为多个子数据块，及将各子数据块根据应用程序配置细分为多个孙数据块，并依赖swoole框架为每一个孙数据块创建独立的线程用于进行数据重复校验；所述MySQL分布式主从数据库用于数据存储。/n

【技术特征摘要】
1.一种基于swoole的校验插入数据库数据重复的系统，其特征在于，包括客户端、应用服务器，MySQL分布式主从数据库；
所述客户端用于提供数据上传的可视化操作界面并提示用户数据上传实时状态；所述应用服务器用于处理客户端上传的数据，及将数据按照应用程序配置划分为多个子数据块，及将各子数据块根据应用程序配置细分为多个孙数据块，并依赖swoole框架为每一个孙数据块创建独立的线程用于进行数据重复校验；所述MySQL分布式主从数据库用于数据存储。


2.根据权利要求1所述的一种基于swoole的校验插入数据库数据重复的系统，其特征在于，所述MySQL分布式主从数据库内储存的数据包括用于数据重复校验的源数据，其中，从数据库提供了用于重复对比源数据，主数据库用于校验通过后数据的插入。


3.根据权利要求1所述的一种基于swoole的校验插入数据库数据重复的系统，其特征在于，所述MySQL分布式主从数据库中包括主数据库b台，从数据库c台。


4.根据权利要求3所述的一种基于swoole的校验插入数据库数据重复的系统，其特征在于，所述应用服务器具体是用于处理客户端上传的M条数据，及将数据按照从数据库的台数划分为c个子数据块，其中，每个数据块中包含M/c条数据，应用服务器还用于将各子数据块根据各从数据库可提供的用于数据校验的并发连接数d，将各子数据块细分为d个孙数据块，并依赖swoole框架为每一个孙数据块创建独立的线程用于进行数据重复校验。


5.一种基于swoole校验插入数据库数据重复的方法，其特征在于，包括如权利要求1所述的基于swoole的校验插入数据库数据重复的系统，具体包括以下步骤：
A.用户通过客户端上...

【专利技术属性】
技术研发人员：江良晟，
申请(专利权)人：四川长虹电器股份有限公司，
类型：发明
国别省市：四川;51