【技术实现步骤摘要】
本专利技术涉及文件传输堵塞检测，具体涉及一种fdep用户文件传输堵塞实时检测方法与装置及存储介质。
技术介绍
1、金融数据交换平台(fdep，financial data exchange platform)利用成熟的深圳证券通信网作为主要的底层网络设施，通过各种接入方式，fdep把银行、证券公司、基金公司、期货公司、交易所、登记结算公司、监管机构等连接到一起。金融数据交换平台是以证券业务为核心的金融数据交换共享基础设施，是中国资本市场参与者的一站式数据交换解决方案。
2、fdep平台包括消息传输系统和文件传输系统，以文件传输为例，文件客户端通过专线网络连接到文件中枢服务器集群，文件客户端之间收发文件通过中枢服务器集群中转。而在实际使用过程中，可能因为文件大小、线路带宽不足、线路共享等原因，会出现文件的传输堵塞等异常情况，因此需要在出现异常状况时及时提醒相关人员以查看问题原因，解决异常以恢复文件传输。
3、常见的运维监控系统中的网络监控系统，可以观察到专线带宽的使用情况，以及检测到“用户专线线路断开”的故障，无法检测到文件传输系统“用户文件收发堵塞”的现象。
技术实现思路
1、本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术实施例提出一种fdep用户文件传输堵塞实时检测方法，本方法通过应用流式计算技术，实时分析文件中枢的交易日志，通过文件发送和接收相关状态值，比较计算得出“用户文件收发堵塞”故障发生时机，实时向运维人员告警并及时地排除故障
2、本专利技术实施例还提出一种fdep用户文件传输堵塞实时检测系统。
3、根据本专利技术的第一方面实施例的一种fdep用户文件传输堵塞实时检测方法，所述方法包括：
4、文件中枢发送交易日志至消息队列服务器；
5、日志清洗模块从消息队列服务器中获取交易日志；
6、日志清洗模块对交易日志进行清洗、格式化；
7、日志清洗模块发送清洗、格式化后的交易日志至消息队列服务器；
8、检测模块获取清洗、格式化后的交易日志；
9、检测模块建立用户文件传输状态对象并赋值，所述用户文件传输状态对象包括用户发送和接收状态对象，用户发送状态包括源端计数值和文件中枢计数值，用户接收状态包括文件中枢计数值和目的端计数值，所述用户文件发送状态对象赋值给用户文件发送状态队列；所述用户文件接收状态对象赋值给用户文件接收状态队列；
10、检测模块解析交易日志中的文件传输日志，更新文件传输状态计数值；
11、判断用户文件传输是否拥堵条件为：
12、使用用户文件发送状态队列中最新日志时间相应的文件发送状态对象值与最旧时间对应的文件发送状态对象值相减，若新旧文件发送状态对象中的源端计数值之差大于0表示该时间段内有文件发送传输，且新旧文件发送状态对象中的文件中枢计数值相等，表明此时间段内文件还没发送到中枢，文件发送存在拥堵；若新旧文件发送状态对象中的文件中枢计数值之差大于0，表明此时间段内中枢收到该用户发送的文件，该用户文件发送不存在拥堵；
13、使用用户文件接收状态队列中最新日志时间相应的文件接收状态对象值与最旧时间对应的文件接收状态对象值相减，若新旧文件接收状态对象中的文件中枢计数值之差大于0表示该时间段内有文件接收传输，且新旧文件接收状态对象中的目的端计数值相等，表明此时间段内目的端没有从中枢收到任何文件，文件接收存在拥堵；若新旧文件接收状态对象中的目的端计数值之差大于0，表明此时间段内目的端从中枢收到了文件，该用户文件接收不存在拥堵；
14、当文件发送拥堵和或接收拥堵时，检测模块发出告警信息；当文件发送和或接收成功时，解除告警信息。
15、进一步地，所述用户文件传输状态对象，包括用户发送文件状态对象和用户接收文件状态对象，所述用户发送文件状态对象值包括源端计数值、文件中枢计数值；所述接收文件状态对象值包括目的端计数值、文件中枢计数值。
16、进一步地，所述用户发送文件状态对象还包括：用户名及id；用户接收文件状态对象还包括：用户名及id；将所述源端计数值、文件中枢计数值、目标端计数值初始值设置为0，并定时分别存储到用户发送文件状态队列和用户接收文件状态队列中；所述文件传输日志包括用户文件发送日志和用户文件接收日志。
17、进一步地，所述的用户发送文件状态对象源端计数值、文件中枢计数值，根据用户文件发送日志标志位进行累加计数；所述接收文件状态对象目的端计数值、文件中枢计数值，根据用户文件接收日志标志位进行累加计数。
18、进一步地，所述的用户文件传输状态队列包括：用户文件发送状态队列、用户文件接收状态队列，其长度可配置。
19、进一步地，所述的文件中枢发送的交易日志，以半结构化的形式记录了文件收发任务id、用户id、文件发送接收的事件时间、文件发送接收状态标志位、源端、目的端、文件名、文件大小、发送目录、接收目录。
20、进一步地，所述的格式化日志，以结构化形式记录了文件收发任务id、用户id、文件发送接收事件时间、文件发送接收状态标志位、源端、目的端；
21、根据本专利技术第一方面实施例的fdep用户文件传输堵塞实时检测方法，至少具有如下有益效果：
22、通过应用流式计算技术，实时分析文件中枢的交易日志，在发生“用户文件收发堵塞”的现象时，实时向运维人员告警，使得运维人员可以及时地排查故障产生的原因，先于用户发现问题，同时也为运维人员赢得了解决问题的时间窗口，有效地提升了fdep的服务质量和用户体验。
23、本专利技术实施例还提出一种fdep用户文件传输堵塞实时检测系统，包括：文件中枢、文件客户端、日志检测流处理模块、日志清洗流处理模块、告警模块、消息队列模块、处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令；
24、所述文件客户端，用于用户文件发送或接收；
25、所述日志清洗流处理模块，用于对文件中枢交易日志进行清洗、格式化处理，将格式化文件传输日志存储至消息队列模块中；
26、所述日志检测流处理模块，用于对消息队列模块中的格式化文件传输日志进行分析检测，按照权利要求1所述方法对文件传输堵塞状态进行判断，将文件传输堵塞告警信息发送至告警单元模块；
27、所述告警单元模块，根据日志检测流处理模块文件传输告警信息，向用户发送告警，提醒用户对文件传输系统进行运维；
28、所述消息队列模块，构成消息队列服务器，分不同主题，存储文件中枢交易原始日志和日志清洗流处理单元清洗、格式化后的文件传输日志。
29、根据本专利技术第二方面实施例的fdep用户文件传输堵塞实时检测系统，至少具有如下有益效果：通过应用本文档来自技高网...
【技术保护点】
1.一种FDEP用户文件传输堵塞实时检测方法，其特征在于，包括：
2.根据权利要求1所述的FDEP用户文件传输堵塞实时检测方法，所述用户文件传输状态对象，包括用户发送文件状态对象和用户接收文件状态对象，所述用户发送文件状态对象值包括源端计数值、文件中枢计数值；所述接收文件状态对象值包括目的端计数值、文件中枢计数值。
3.根据权利要求2所述的FDEP用户文件传输堵塞实时检测方法，所述用户发送文件状态对象还包括：用户名及ID；用户接收文件状态对象还包括：用户名及ID、标志位；将所述源端计数值、文件中枢计数值、目标端计数值初始值设置为0，并定时分别存储到用户发送文件状态队列和用户接收文件状态队列中；所述文件传输日志包括用户文件发送日志和用户文件接收日志。
4.根据权利要求3所述的FDEP用户文件传输堵塞实时检测方法，所述的用户发送文件状态对象源端计数值、文件中枢计数值，根据用户文件发送日志标志位进行累加计数；所述接收文件状态对象目的端计数值、文件中枢计数值，根据用户文件接收日志标志位进行累加计数。
5.根据权利要求1所述的FDEP用户文件
6.根据权利要求1所述的FDEP用户文件传输堵塞实时检测方法，所述的文件中枢发送的交易日志，以半结构化的形式记录了文件收发任务ID、用户ID、文件发送接收的事件时间、文件发送接收状态标志位、源端、目的端、文件名、文件大小、发送目录、接收目录。
7.根据权利要求1所述的FDEP用户文件传输堵塞实时检测方法，所述的格式化日志，以结构化形式记录了文件收发任务ID、用户ID、文件发送接收事件时间、文件发送接收状态标志位、源端、目的端。
8.一种FDEP用户文件传输堵塞实时检测系统，其特征在于，包括：文件中枢、文件客户端、日志检测流处理模块、日志清洗流处理单元、告警单元模块、多个消息队列模块、处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令；
9.根据权利要求8所述的一种FDEP用户文件传输堵塞实时检测系统，其特征在于，所述FDEP用户文件传输堵塞实时检测系统包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-7中任一项所述方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
...【技术特征摘要】
1.一种fdep用户文件传输堵塞实时检测方法，其特征在于，包括：
2.根据权利要求1所述的fdep用户文件传输堵塞实时检测方法，所述用户文件传输状态对象，包括用户发送文件状态对象和用户接收文件状态对象，所述用户发送文件状态对象值包括源端计数值、文件中枢计数值；所述接收文件状态对象值包括目的端计数值、文件中枢计数值。
3.根据权利要求2所述的fdep用户文件传输堵塞实时检测方法，所述用户发送文件状态对象还包括：用户名及id；用户接收文件状态对象还包括：用户名及id、标志位；将所述源端计数值、文件中枢计数值、目标端计数值初始值设置为0，并定时分别存储到用户发送文件状态队列和用户接收文件状态队列中；所述文件传输日志包括用户文件发送日志和用户文件接收日志。
4.根据权利要求3所述的fdep用户文件传输堵塞实时检测方法，所述的用户发送文件状态对象源端计数值、文件中枢计数值，根据用户文件发送日志标志位进行累加计数；所述接收文件状态对象目的端计数值、文件中枢计数值，根据用户文件接收日志标志位进行累加计数。
5.根据权利要求1所述的fdep用户文件传输堵塞实时检测方法，所述的用户文件传输状态队列包括：用户文件发送状态队列、用户文件接收状态队列，其长度可配置。
6.根据权利要求1所述的fdep用户文件传输堵塞实时检测方法，所述的文件中枢发送的交易日志，以半结构化的形...
【专利技术属性】
技术研发人员：程展聪，何发，王湘科，杨彦明，
申请(专利权)人：深圳证券通信有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。