网络接口数据分类的方法及系统技术方案

本发明专利技术提出了一种网络接口数据的分类方法及系统，该方法具体包括以下步骤：(1)对网络传输数据进行编码和分类；(2)保护设备FPGA对预处理后的网络传输数据进行解码、存储和判断，服务器处理符合判断条件的数据流，否则垃圾回收服务器处理不符合判断条件的其他数据流；(3)FPGA判断服务器的状态，若CPU的使用率低，FPGA直接将缓存区内的网络数据传输给服务器，否则FPGA自动进入网络数据分类传输的过程；(4)根据步骤(1)～(3)确定将网络传输数据传输给对应的服务器；(5)循环步骤(1)～(4)。本发明专利技术有效实现了充分合理利用系统资源，并且在突发事件情况下，避免了缓存溢出、保证了数据安全和精确传输，提高了用户体验。

【技术实现步骤摘要】

本专利技术涉及一种网络接口数据的分类方法及系统，尤其涉及一种通过FPGA将接口数据进行提前分类处理，并发送至相应服务器的方法及系统。
技术介绍
对于大型数据处理系统，尤其是针对电子商务数据处理系统而言，不同的子系统之间需要在同一时间并行传输大量的数据，而一般的网络数据接口数据的传输方法，将面临两种情况，当数据流入速度大于处理速度时，许多数据将丢失，当数据流入速度小于处理速度时，CPU将处于闲置状态，造成资源浪费。为解决上述问题，目前主要采用一下两种解决方法:(I)引入缓存空间技术，此种方法在很大程度上解决了实际应用问题，但处理突发事件时，仍存在缓存区溢出情况。(2)通过在网络接口处设置保护设备，当CPU占用率低时，直接传输，当CPU占用率高时，直接进入自动分类处理，该分类处理为根据数据的不同类型，按照不同的方式进行处理。(3)现有技术有人根据网络数据的协议类型识别号来判断数据的类型，例如站控层通讯数据、数字化采样数据等，从而根据这些类型判断结果，决定将这些数据按照那种方式进行处理，这些处理包括:将缓存内的数据直接传送至CPU、将缓存数据转存至一存储区并在该存储区满时传送给CPU、将缓存清空以接收下一网络数据。将网络数据分类后，根据不同的情况控制数据的存储与传送时机，从而实现对突发事件处理时，传输数据的保护，但该技术无法解决现有电子商务数据处理系统中需要通过较低和较简单的设备，来控制数据传送给不同的服务器、降低成本等技术问题。鉴于目前的技术存在的上述缺陷，本专利技术旨在提供一种在大型系统中，处理网络接口数据传输的方法及系统，其能够实现充分合理利用系统资源，在突发事件情况下，避免缓存溢出、保证数据安全、精确传输，使得目前的系统处理效率大大提升，从而提高了用户体验。
技术实现思路
本专利技术的目的是提供一种在大型系统中，处理网络接口数据传输的方法及系统，所述方法和系统能够实现充分合理利用系统资源，在突发事件情况下，避免缓存溢出、保证数据安全、精确传输，使得目前的系统处理效率大大提升，提高了用户体验。本专利技术实施例提供了一种网络接口数据的分类方法，主要采用保护设备FPGA技术，首先对网络传输数据进行预处理，由FPGA判断所述网络传输数据的类型，接着判断服务器的工作状态，最后根据上述步骤确定将所述网络传输数据传输给相应的服务器，主要包括如下步骤:(I)对网络传输数据进行编码和分类；(2)保护设备FPGA对预处理后的网络传输数据进行解码、存储和判断，服务器处理符合判断条件的数据流，否则垃圾回收服务器处理不符合判断条件的其他数据流；(3)FPGA判断服务器的状态，主要是指CPU的使用率，如果CPU的使用率低，FPGA直接将缓存区内的网络数据传输给服务器，否则FPGA自动进入网络数据分类传输的过程；(4)根据步骤⑴?(3)确定将网络传输数据传输给对应的服务器；(5)循环步骤⑴?(4)。优选的，对网络传输数据预处理主要是步骤(I)，对网络传输数据进行编码和分类，所述数据编码使用8位二进制数表示，头字段用前四位的数字表示，对应第一级索引信息，尾字段用后四位的数字表示，对应第二级索引信息，第一级索引信息可以有24种可能的表示方法，第二级索引信息也可以有24种可能的表示方法，所述使用8位二进制数可以表示2s中索引下的信息。例如；字段00010001和00010010表示的是同种一级索引下的两个不同二级索引信息；字段00100001和00010001表示的是不同一级索引下的两个不同二级索引信息，在实际操作中如果要进行“查询货物”，可令其为第一级索引信息，所述第一级索引信息的字段为0001，“查询货物”下有两个二级索引信息分别为:“会员查询货物”和“非会员查询货物”，就可令其尾字段用0001和0010或者其他的四位二进制数表示，基于此方法对网络传输数据进行了编码，不同的数据分配到不同的字段，从而达到了分类的目的。优选的，由FPGA判断所述网络传输数据的类型主要是步骤(2)，保护设备FPGA对预处理后的网络传输数据进行解码、存储和判断，服务器处理符合判断条件的数据流，否则垃圾回收服务器处理不符合判断条件的其他数据流；对所述FPGA的识别字段进行预设，预设值为8位二进制数，即从00000000?11111111，开启FPGA的所有的识别字段对应的硬件服务器，当所述网络传输数据从数据输入端进入，所述FPGA判断所述网络传输数据对应的字段和自己预设的所述识别字段是否匹配，若字段可以匹配，则FPGA对应的服务器逻辑通道打开，其他的FPGA所述服务器逻辑处于关闭状态。优选的，开启FPGA的所有的识别字段对应的硬件服务器，当所述网络传输数据从数据输入端进入，所述FPGA判断所述网络传输数据对应的字段和自己预设的所述识别字段是否匹配，若所述FPGA中的识别字段和所述网络传输数据对应的字段没有匹配成功，则FPGA对应的所有服务器逻辑通道关闭，并把该字段和对应的网络传输数据导入到垃圾回收服务器中。优选的，垃圾回收服务器和其他服务器并行工作，当FPGA当前没有预设识别字段和所述网络传输数据的字段匹配时，所述网络传输数据进入到垃圾回收服务器逻辑通道，进而导入垃圾回收服务器，所述垃圾回收服务器端人工判断所述网络传输数据是否为有效数据，若为有效数据则更新FPGA的所述预设识别字段；否则停留在垃圾回收服务器中并预设时间定时清空。优选的，判断服务器的工作状态主要是步骤(3)，当所述CPU的使用率高于75%，FPGA自动进入网络传输数据编码和分类的过程，所述CPU的使用率不高于75%，FPGA直接将缓存区内的所述网络传输数据传输给服务器。优选的，确定将所述网络传输数据传输给相应的服务器主要是步骤⑷和(5)，为了减轻服务器的整体负担，采用多个服务器共同运行的方式对所述预处理后网络传输数据进行处理，不同的数据分类对应不同的服务器，例如:一些不符合判断条件的数据流最后进入的是垃圾回收服务器，而其他服务器逻辑通道不对其打开。最后循环整个过程，确保数据的最大利用率和避免资源浪费。此外，本专利技术还提供了一种网络接口数据分类系统，其特征在于，所述系统包含网络传输数据接口群、FGPA模块和服务器群；所述网络传输数据接口群包含多个数据接口，所述数据接口包含一种或多种类型的数据接口类型；所述服务器群包含多个服务器，该多个服务器至少包含一个垃圾回收服务器；月艮务器处理符合判断条件的数据流，否则垃圾回收服务器处理不符合判断条件的其他数据流；所述FPGA模块包含解码模块、存储模块、判断模块，以及多个与所述多个服务器一一对应的用于传输网络接口数据的逻辑通道。优选的，所述网络传输数据接口群进一步包含编码模块，用于对网络接口数据进行编码和分类。所述数据编码使用8位二进制数表示，头字段用前四位的数字表示，对应第一级索引信息，尾字段用后四位的数字表示，对应第二级索引信息，第一级索引信息可以有24种可能的表示方法，第二级索引信息也可以有2 4种可能的表示方法，所述使用8位二进制数可以表示2s中索引下的信息。例如；字段00010001和00010010表示的是同种一级索引下的两个不同二级索引信息；字段00100001和00010001表示的是不同一级索引下的两个不同二级索引信息，在实际操作中如本文档来自技高网...

【技术保护点】
一种网络接口数据的分类方法，具体包括以下步骤：(1)对网络传输数据进行编码和分类；(2)保护设备FPGA对预处理后的网络传输数据进行解码、存储和判断，并将判断后的网络传输数据传输给服务器，服务器处理符合判断条件的数据流，否则垃圾回收服务器处理不符合判断条件的其他数据流；(3)FPGA判断服务器的状态，如果服务器的CPU的使用率低，FPGA直接将缓存区内的网络数据传输给服务器，否则FPGA自动进入网络数据分类传输的过程；(4)根据步骤(1)～(3)判断结果，确定将网络传输数据传输给对应的服务器；(5)循环步骤(1)～(4)。

【技术特征摘要】

【专利技术属性】
技术研发人员：施文进，阎九吉，吴青，王飞，
申请(专利权)人：惠龙易通国际物流股份有限公司，镇江惠龙长江港务有限公司，江苏惠银科技股份有限公司，
类型：发明
国别省市：江苏;32