一种数据处理方法、装置、存储介质及终端制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置、存储介质及终端，该方法包括：为每个套接字添加一个事件，且在操作系统内核的中断程序中建立回调函数；在监听到有对应套接字的数据包的情况下，启动回调函数，调用事件处理线程池中的线程对所述数据包进行处理；其中，通过一个线程记录和跟踪多个套接字的状态。通过上述方案可以解决现有的为每个Socket绑定一个线程，多个Socket需要启动多个线程所导致的内存开销过大，网络I/0的吞吐量较低的问题，达到了有效减少系统的内存开销，提升资源利用率和处理效率的技术效果。

A data processing method, device, storage medium and terminal

【技术实现步骤摘要】
一种数据处理方法、装置、存储介质及终端
本专利技术属于互联网
，具体涉及一种数据处理方法、装置、存储介质及终端。
技术介绍
在信息化时代，数据是非常重要的，相应的，保存数据的数据库服务器资源也是很重要的。对于多应用程序操作MySQL数据库，当连接数过多的时候就会出现异常错误，且CPU和内存服务器资源占用过多。这主要是因为，创建线程数过多，操作系统会在线程之间进行切换，更多的线程就需要更多的内存空间，且有的线程在执行慢查询语句的时候长时间占用系统资源使得这些系统资源无法被释放，也就导致数据库的查询功能变得很慢。针对上述这种情况，目前的做法是建立线程池，创建几个固定的线程与数据库建立连接，当应用程序连接数据库时就从线程池中获取已经创建好的线程与数据库建立连接。这样可以解决服务器资源使用过高的问题，但是线程池线程数量固定会造成应用程序连接数据库过少时的系统资源浪费，过多时系统资源不足的问题，且慢查询语句及操作数据库时间过长会造成线程系统资源长时间不能被释放，后面的应用程序无法连接数据库。针对上述数据库服务过程中所存在的问题，目前本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n为每个套接字添加一个事件，且在操作系统内核的中断程序中建立回调函数；/n在监听到有对应套接字的数据包的情况下，启动回调函数，调用事件处理线程池中的线程对所述数据包进行处理；/n其中，通过一个线程记录和跟踪多个套接字的状态。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
为每个套接字添加一个事件，且在操作系统内核的中断程序中建立回调函数；
在监听到有对应套接字的数据包的情况下，启动回调函数，调用事件处理线程池中的线程对所述数据包进行处理；
其中，通过一个线程记录和跟踪多个套接字的状态。


2.根据权利要求1所述的方法，其特征在于，调用事件处理线程池中的线程对所述数据包进行处理，包括：
在对所述数据包的处理为查询事件且查询事件超出预设时长的情况下，通过缓存表存放热数据；
通过热数据加热和热数据放凉的方式，对所述缓存表中的数据进行存放管理。


3.根据权利要求1或2所述的方法，其特征在于，调用事件处理线程池中的线程对所述数据包进行处理，包括：
通过内存复制的方式将所述数据包复制到缓冲区中；
调用事件处理线程池中的空闲线程对所述数据包进行处理，其中，所述事件处理线程池中的线程数量小于等于预设的线程数阈值。


4.根据权利要求1-3之一所述的方法，其特征在于，在调用事件处理线程池中的空闲线程对所述数据包进行处理的过程中，还包括：
将所述数据包存入预设的双链表中；
清除所述缓冲区中的所述数据包。


5.根据权利要求1-4之一所述的方法，其特征在于，在操作系统内核的中断程序中建立回调函数之前，所述方法还包括：
在操作系统内核中申请一个文件系统；
将所述每个套接字添加至所述文件系统中；
为每个事件绑定一个网卡驱动程序，其中，该网卡驱动程序用于监听该事件对应的套接字的数据包。


6.一种数据处理装置，其特征在于，包括：
添加模块，用于为每个套接字添加一个事件，且在操作系统内核的中断程序中建立回调函数；
调用模块，用于在监听到有对应套接字的数据包的情况下，启动回调函数，调用事件处理线程池中的线程对所述数据包进行处理；
其中，通过一个线程记录和跟踪...

【专利技术属性】
技术研发人员：张小柯，宋德超，王沅召，
申请(专利权)人：珠海格力电器股份有限公司，
类型：发明
国别省市：广东;44