一种基于多线程的模块日志实时监控系统技术方案

本发明专利技术提供一种基于多线程的模块日志实时监控系统，包括：系统进行多线程任务定时提取连接至PC的多台模组设备产生的日志，利用提取技术生成连续非重复的日志片段，针对提取的日志片段，进行日志实时分析，存在异常则记录至本地数据库文件，同时存储发生时刻的全系统日志，能够完整截取系统日志，实时分析，并无重复提取异常点存入本地，同时可以提取连接至PC的多台模组设备产生的日志，提高效率。

【技术实现步骤摘要】
一种基于多线程的模块日志实时监控系统
本专利技术属于车联网
，具体涉及一种基于多线程的模块日志实时监控系统。
技术介绍
车联网是指车与车、车与路、车与人、车与传感设备等交互，实现车辆与公众网络通信的动态移动通信系统。它可以通过车与车、车与人、车与路互联互通实现信息共享，收集车辆、道路和环境的信息，并在信息网络平台上对多源采集的信息进行加工、计算、共享和安全发布，根据不同的功能需求对车辆进行有效的引导与监管，以及提供专业的多媒体与移动互联网应用服务。目前的车载模组使汽车OEM和售后信息技术开发人员能够快速集成和完成有针对性的认证，但目前车载模组的日志连续生成，仅存在于10M大小文件的syslog和syslog.0中并按周期覆盖，在分析日志时存在以下缺点：（1）当前日志分析技术仅限于固定提取日志文件，但不能按时间顺序连续提取日志内容并无缝衔接；（2）针对具体日志文件进行关键字提取分析时，如果日志文件相同，则关键字提取会生成多种相同的结果，不利于查看；（3）一台PC连接一台设备进行日志提取处理导致资源浪费。
技术实现思路
本专利技术的目的就是提供一种基于多线程的模块日志实时监控系统，用于能够完整截取系统日志，实时分析，并无重复提取异常点存入本地，同时可以提取连接至PC的多台模组设备产生的日志，提高效率。为实现上述目的，本专利技术的技术方案为:本专利技术一种基于多线程的模块日志实时监控系统，包括：系统进行多线程任务定时提取连接至PC的多台模组设备产生的日志，利用提取技术生成连续非重复的日志片段，针对提取的日志片段，进行日志实时分析，存在异常则记录至本地数据库文件，同时存储发生时刻的全系统日志。其中，所述系统进行多线程任务技术流程包括：系统通过AndroidDeviceBridge协议获取当前设备名称列表，多线程调用主程序入口，并传入设备名称参数进行初始化启动线程循环，主程序运行中通过线程锁申请资源池锁定，保证线程资源独占，完成线程循环后释放。其中，所述系统主程序运行流程包括：定义设备端syslog/syslog0变量及路径，DebugMode判断使能，初始syslog获取分析，Syslog0存在性判断，日志获取选择性判断，调用提取算法，生成连续无重复日志片段，调用分析算法，分析连续无重复日志片段。其中，主程序运行时模组日志连续生成，仅存在于10M大小文件的syslog和syslog.0中并按周期覆盖。其中，所述利用提取技术生成连续非重复的日志片段技术流程包括：第一步：首次提取系统syslog文件作为基准syslog备用，后续每隔1分钟提取当前时间syslog分析后会生成newSyslog_timenow文件，重命名为为newSyslog作为新的基准syslog文件；第二步：提取当前时间syslog并保存在Syslog_timenow文件中待分析；第三步：提取技术定义last_line_tag标签并赋初值0。提取基准syslog的最后一行赋值为last_line；第四步：打开遍历Syslog_timenow文件，在其中查找last_line行,如果存在last_line行，则将当前行数值赋值给last_line_tag标签；第五步：针对Syslog_timenow文件，从last_line_tag的下一行起，逐行将Syslog_timenow文件的日志内容添加至newSyslog_timenow，即生成连续无重复的日志片段；如果Syslog_timenow文件中不存在last_line行，则从第一行起整体添加Syslog_timenow文件日志内容至newSyslog_timenow，即生成连续无重复的日志片段；得到的newSyslog_timenow文件即为提取技术获取的连续无重复的日志片段。其中，所述日志实时分析技术流程包括：定义异常字段数据库存放路径，按行提取日志，分别查询ANR/Crash/Reboot/OutOfMemorytag字段，如果当前行存在tag字段，则提取当前行进程字段、日志时间字段、异常字段，形成异常字段数组，写入异常字段数据库；完成异常字段数据存储后，提取当前时间系统整体日志，存放至PC异常日志路径。本专利技术的有益效果：系统通过多线程任务定时提取连接至PC的多台模组设备产生的日志，通过提取技术进行重复判断并生成最新的但非重复的日志片段；针对提取的日志片段，监控系统通过分析技术遍历已经定义的异常关键字，如果存在异常则记录至本地数据库文件，同时存储发生时刻的全系统日志，能够完整截取系统日志，实时分析，并无重复提取异常点存入本地，同时可以提取连接至PC的多台模组设备产生的日志，提高效率。附图说明图1本专利技术多线程任务技术流程图；图2本专利技术主程序运行流程图；图3本专利技术生成连续非重复的日志片段技术流程图；图4本专利技术日志实时分析技术流程图。具体实施方式以下结合说明书附图，对本专利技术作出详细描述:本专利技术一种多线程的模块日志实时监控系统，其组成单元主要包括多线程任务技术、主程序运行流程、日志提取生成连续非重复的日志片段技术、日志实时分析技术。下面分别说明本专利技术以上关键技术：多线程任务技术中系统通过AndroidDeviceBridge协议获取当前设备名称列表，多线程调用主程序入口，并传入设备名称参数进行初始化启动线程循环，主程序运行中通过线程锁申请资源池锁定，保证线程资源独占，完成线程循环后释放。多线程任务技术具体实施步骤，如图1所示：【S001】监控程序启动；【S002】获取设备列表并打印；【S003】调用pythonthreading模块，线程锁初始化；【S004】获取device[]列表长度，构建并启动多线程循环，调用主程序入口，并将device[i]作为参数传递给主程序；【S005】针对单一线程，调用线程锁申请资源池锁定，主程序启动运行，执行单线程任务；【S006】单一线程内主程序执行完毕之后，线程锁定结束，资源池释放，进入下一轮线程循环。主程序运行流程，主程序首先定义设备端syslog/syslog0变量及路径，定义PC本地temp目录，异常结果数据库目录，异常日志存放目录。新设备须使能DebugMode，保证syslog/syslog0提取正常。监控系统伴随设备初始运行开始监控，首先提取初始syslog文件进行分析，生成第一次分析结果，初始syslog文件作为基准syslog文件备用。根据系统日志转存机制，系统初次运行时生成syslog，当syslog文件大于10M时，自动重命名为syslog0，系统生成新的syslog文件，因此获取连续无重复的日志片段时，首先进行sysylog0存在性判断，如果syslog0不存在（一般限于设备刚开始运行，日志文件尚未转存前的情形），则直接提取当前时间syslog文件，对比基准syslog文件，调用提取算法，获取连续无重复日志并分析；如果syslog0存在，提取syslog0生成时间，若syslog0生成时间与syslog0基准生成时间不一致，则表明syslog0已经发生转存替换，提取当前时间syslog0文件，对比基准syslog文件，调用提取算法，获取连续无重复日志并分析；如果syslog0存在，但是syslog0生成时间与syslog0基准生成时间一致，本文档来自技高网...

【技术保护点】
1.一种基于多线程的模块日志实时监控系统，其特征在于，包括：系统进行多线程任务定时提取连接至PC的多台模组设备产生的日志，利用提取技术生成连续非重复的日志片段，针对提取的日志片段，进行日志实时分析，存在异常则记录至本地数据库文件，同时存储发生时刻的全系统日志。

【技术特征摘要】
1.一种基于多线程的模块日志实时监控系统，其特征在于，包括：系统进行多线程任务定时提取连接至PC的多台模组设备产生的日志，利用提取技术生成连续非重复的日志片段，针对提取的日志片段，进行日志实时分析，存在异常则记录至本地数据库文件，同时存储发生时刻的全系统日志。2.根据权利要求1所述的一种基于多线程的模块日志实时监控系统，其特征在于，所述系统进行多线程任务技术流程包括：系统通过AndroidDeviceBridge协议获取当前设备名称列表，多线程调用主程序入口，并传入设备名称参数进行初始化启动线程循环，主程序运行中通过线程锁申请资源池锁定，保证线程资源独占，完成线程循环后释放。3.根据权利要求2所述的一种基于多线程的模块日志实时监控系统，其特征在于，所述系统主程序运行流程包括：定义设备端syslog/syslog0变量及路径，DebugMode判断使能，初始syslog获取分析，Syslog0存在性判断，日志获取选择性判断，调用提取算法，生成连续无重复日志片段，调用分析算法，分析连续无重复日志片段。4.根据权利要求3所述的一种基于多线程的模块日志实时监控系统，其特征在于，主程序运行时模组日志连续生成，仅存在于10M大小文件的syslog和syslog.0中并按周期覆盖。5.根据权利要求1所述的一种基于多线程的模块日志实时监控系统，其特征在于，所述利用提取技术生成连续非重复的日志片段技术流程包括：第一步：首次提取系统syslog文件作为基准syslog备用，后续每隔1分钟提取当前时间syslog分析后会生成newSys...

【专利技术属性】
技术研发人员：姜永永，
申请(专利权)人：西安联乘智能科技有限公司，
类型：发明
国别省市：陕西,61