数据的处理方法及装置制造方法及图纸

本发明专利技术公开了一种数据的处理方法及装置，涉及互联网技术领域，主要目的在于解决接收服务器在通过ARR执行数据传输过程中，由于ARR传输机制的原因，使得IIS服务器在未对http发送端发送的http请求响应之前，http发送端会一直占有IIS服务器的资源，从而大大降低了接收服务器接收http请求的性能的问题。本发明专利技术的技术方案包括：获取日志文件，并对日志文件进行解析；其中，日志文件由接收服务器根据访问请求信息生成，且日志文件存储于接收服务器中；读取访问请求信息，并将读取的访问请求信息发送至数据接收端，以便数据接收端对所述访问请求信息进行处理；接收数据接收端返回的对访问请求信息的响应信息。

【技术实现步骤摘要】
数据的处理方法及装置
本专利技术涉及互联网
，特别是涉及一种数据的处理方法及装置。
技术介绍
随着互联网技术的快速发展，用户对基于互联网传输数据的应用越来越重视；例如，在服务器端部署两种类型的服务器，一种为接收服务器，用于接收客户端发送的超文本传送协议(HTTP-Hypertexttransferprotocol，HTTP)请求，并将接收到HTTP请求按照一定规则转发至计算服务器；另一种为计算服务器，用于对接收服务器发送的数据进行处理分析。通常，接收服务器与计算服务器分布在不同的服务器上，其中，以接收服务器为互联网信息服务(InternetInformationServices，IIS)服务器为例对接收服务器与计算服务器之间的交互过程进行说明。如图1所示，图1示出了现有技术中提供的一种接收服务器与计算服务器之间的交互的架构图，如图1所示，当IIS服务器接收到http发送端发送的http请求后，会将该http请求转发至ARR(ApplicationRequestRoute)处理，ARR从http请求中提取统一资源定位符(UniformResourceLocator，URL)，根据URL按照预定转发规则，将http请求发送至计算服务器；计算服务器接收ARR发送的http请求，并对该http请求进行处理，处理完成后给ARR一个状态码；ARR接收并将该状态码返回给IIS服务器，IIS服务器将该包含状态码的http请求记录到IIS日志中，日志记录完成后，IIS服务器将状态信息返回给http发送端。专利技术人在实现上述专利技术过程中，发现现有技术中IIS服务器在对http请求返回状态结果时，依赖于ARR接收到的状态码；待计算服务器将状态码返回ARR，再由ARR将状态码返回至IIS服务器之后，IIS服务器才能对http发送端发送的http请求进行响应，由于ARR传输数据的机制，使得IIS服务器在未对http发送端发送的http请求响应之前，http发送端会一直占有IIS服务器的资源，从而大大降低了IIS服务器接收http请求的性能。
技术实现思路
有鉴于此，本专利技术提供的一种数据的处理方法及装置，主要目的在于解决现有技术中接收服务器在通过ARR执行数据传输过程中，由于ARR传输机制的原因，使得IIS服务器在未对http发送端发送的http请求响应之前，http发送端会一直占有IIS服务器的资源，从而大大降低了接收服务器接收http请求的性能的问题。为了解决上述问题，本专利技术主要提供如下技术方案：一方面，本专利技术提供了一种数据的处理方法，所述方法应用于Flume系统，包括：获取日志文件，并对所述日志文件进行解析；其中，所述日志文件由接收服务器根据访问请求信息生成，且所述日志文件存储于接收服务器中；读取所述访问请求信息，并将读取的访问请求信息发送至数据接收端，以便所述数据接收端对所述访问请求信息进行处理；接收所述数据接收端返回的对所述访问请求信息的响应信息。优选的，读取所述访问请求信息包括：获取日志文件的名称与最大行号之间的对应关系，其中，每个访问请求信息对应日志文件中的一行；根据所述日志文件的名称从其对应的最大行号开始读取访问请求信息。优选的，获取日志文件包括：从预置配置文件获取日志文件夹的存储路径，所述日志文件夹中包含多个日志文件；从所述存储路径下获取所述日志文件夹下的所有日志文件。优选的，在读取所述访问请求信息之前，所述方法包括：分别获取所述日志文件夹下的所有日志文件的最大行号；将所有日志文件的日志名称与各个日志文件对应的最大行号记录于映射列表中。优选的，在将所有日志文件的日志名称与各个日志文件对应的最大行号记录于映射列表中之前，所述方法还包括：对所述日志文件夹进行监控，并确定所述日志文件夹是否存在更新；若确定所述日志文件夹存在更新，则确定更新的内容是否为新增日志文件；将所有日志文件的日志名称与各个日志文件对应的最大行号记录于映射列表中包括：若确定更新的内容为新增日志文件，则在所述映射列表中增加所述新增日志文件的日志名称与其对应的最大行号之间的对应关系；若确定更新的内容为原日志文件的修改，则获取更新后的原日志文件的名称，并对所述映射列表中与其对应的最大行号进行更新。优选的，根据所述日志文件的名称从其对应的最大行号开始读取访问请求信息具体为：若所述日志文件为新增日志文件，则根据所述新增日志的名称，从所述新增日志文件的第零行开始读取访问请求信息，直到读取完新增日志文件的末尾；或者，若所述日志文件为原日志文件的更新，则根据所述原日志文件的名称，从所述映射列表记录的最大行号的下一行开始读取访问请求信息，直到读取完更新后的原日志文件的末尾。优选的，将读取的访问请求信息发送至数据接收端包括：从预置配置文件中获取所有数据接收端的统一资源定位符URL，并将所述统一资源定位符URL存储于预置数组中，每个统一资源定位符URL对应一个存储地址；获取所述访问请求信息中包含的用户标识信息；对所述用户标识信息执行哈希计算，得到整型数值；计算所述整型数值与所有数据接收端总个数的余数，并根据计算得到的余数确定所述预置数组中统一资源定位符URL对应的存储地址；将所述访问请求信息发送至确定后的预置数组中统一资源定位符URL存储地址对应的数据接收端。另一方面，本专利技术提供了一种数据的处理装置，所述装置应用于Flume系统，包括：第一获取单元，用于获取日志文件；其中，所述日志文件由接收服务器根据访问请求信息生成，且所述日志文件存储于接收服务器中；解析单元，用于对所述第一获取单元获取的所述日志文件进行解析；读取单元，用于读取所述解析单元解析的所述访问请求信息；发送单元，用于将所述读取单元读取的访问请求信息发送至数据接收端，以便所述数据接收端对所述访问请求信息进行处理；接收单元，用于在所述发送单元将读取的访问请求信息发送至数据接收端之后，接收所述数据接收端返回的对所述访问请求信息的响应信息。优选的，所述读取单元包括：获取模块，用于获取日志文件的名称与最大行号之间的对应关系，其中，每个访问请求信息对应日志文件中的一行；读取模块，用于根据所述日志文件的名称从其对应的最大行号开始读取访问请求信息。优选的，所述第一获取单元包括：第一获取模块，用于从预置配置文件获取日志文件夹的存储路径，所述日志文件夹中包含多个日志文件；第二获取模块，用于从所述第一获取模块获取的所述存储路径下获取所述日志文件夹下的所有日志文件。优选的，所述装置包括：第二获取单元，用于在所述读取单元读取所述访问请求信息之前，分别获取所述日志文件夹下的所有日志文件的最大行号；记录单元，用于将所有日志文件的日志名称与所述第二获取单元获取的各个日志文件对应的最大行号记录于映射列表中。优选的，所述装置还包括：监控单元，用于在所述记录单元将所有日志文件的日志名称与各个日志文件对应的最大行号记录于映射列表中之前，对所述日志文件夹进行监控；第一确定单元，用于在所述监控单元对所述日志文件夹进行监控过程中，确定所述日志文件夹是否存在更新；第二确定单元，用于当所述第一确定单元确定所述日志文件夹存在更新时，确定更新的内容是否为新增日志文件；所述记录单元，还用于当所述第二确定单元确定更新的内容为新增日志文件时，在所述映射列表中增本文档来自技高网...

【技术保护点】
一种数据的处理方法，其特征在于，所述方法应用于Flume系统，包括：获取日志文件，并对所述日志文件进行解析；其中，所述日志文件由接收服务器根据访问请求信息生成，且所述日志文件存储于接收服务器中；读取所述访问请求信息，并将读取的访问请求信息发送至数据接收端，以便所述数据接收端对所述访问请求信息进行处理；接收所述数据接收端返回的对所述访问请求信息的响应信息。

【技术特征摘要】
1.一种数据的处理方法，其特征在于，所述方法应用于Flume系统，包括：获取日志文件，并对所述日志文件进行解析；其中，所述日志文件由接收服务器根据访问请求信息生成，且所述日志文件存储于接收服务器中；读取所述访问请求信息，并将读取的访问请求信息发送至数据接收端，以便所述数据接收端对所述访问请求信息进行处理；接收所述数据接收端返回的对所述访问请求信息的响应信息。2.根据权利要求1所述的方法，其特征在于，读取所述访问请求信息包括：获取日志文件的名称与最大行号之间的对应关系，其中，每个访问请求信息对应日志文件中的一行；根据所述日志文件的名称从其对应的最大行号开始读取所述访问请求信息。3.根据权利要求2所述的方法，其特征在于，获取日志文件包括：从预置配置文件获取日志文件夹的存储路径，所述日志文件夹中包含多个日志文件；从所述存储路径下获取所述日志文件夹下的所有日志文件。4.根据权利要求3所述的方法，其特征在于，在读取所述访问请求信息之前，所述方法还包括：分别获取所述日志文件夹下的所有日志文件的最大行号；将所有日志文件的日志名称与各个日志文件对应的最大行号记录于映射列表中。5.根据权利要求4所述的方法，其特征在于，在将所有日志文件的日志名称与各个日志文件对应的最大行号记录于映射列表中之前，所述方法还包括：对所述日志文件夹进行监控，并确定所述日志文件夹是否存在更新；若确定所述日志文件夹存在更新，则确定更新的内容是否为新增日志文件；将所有日志文件的日志名称与各个日志文件对应的最大行号记录于映射列表中包括：若确定更新的内容为新增日志文件，则在所述映射列表中增加所述新增日志文件的日志名称与其对应的最大行号之间的对应关系；若确定更新的内容为原日志文件的修改，则获取更新后的原日志文件的名称，并对所述映射列表中与其对应的最大行号进行更新。6.根据权利要求5所述的方法，其特征在于，根据所述日志文件的名称从其对应的最大行号开始读取访问请求信息具体为：若所述日志文件为新增日志文件，则根据所述新增日志的名称，从所述新增日志文件的第零行开始读取访问请求信息，直到读取完新增日志文件的末尾；或者，若所述日志文件为原日志文件的更新，则根据所述原日志文件的名称，从所述映射列表记录的最大行号的下一行开始读取访问请求信息，直到读取完更新后的原日志文件的末尾。7.根据权利要求1所述的方法，其特征在于，将读取的访问请求信息发送至数据接收端包括：从预置配置文件中获取所有数据接收端的统一资源定位符URL，并将所述统一资源定位符URL存储于预置数组中，每个统一资源定位符URL对应一个存储地址；获取所述访问请求信息中包含的用户标识信息；对所述用户标识信息执行哈希计算，得到整型数值；计算所述整型数值与所有数据接收端总个数的余数，并根据计算得到的余数确定所述预置数组中统一资源定位符URL对应的存储地址；将所述访问请求信息发送至确定后的预置数组中统一资源定位符URL存储地址对应的数据接收端。8.一种数据的处理装置，其特征在于，所述装置应用于Flume系统，包括：第一获取单元，用于获取日志文件；其中，所述日志文件由接收服务器根据访问请求信息生成，且所述日志文件存储于接收服务器中；解析单元，用于对所述第一获取单元获取的所述日志文件进行解析；读取单元，用于读取所述解析单元解析的所述访问请...

【专利技术属性】
技术研发人员：王晓涛，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京,11