一种减少数据冗余的资源日志读写方法和装置制造方法及图纸

本申请实施例提供了一种减少数据冗余的资源日志读写方法和相应的装置，所述方法和装置应用于视联网，所述视联网中包括依次连接的上级监控管理平台、下级监控管理平台及多个视联网协议转换网关，上级监控管理平台包括上级数据库，下级监控管理平台包括日志记录文件；下级监控管理平台将生成的资源变化日志写入到日志记录文件中，针对上级监控管理平台发送的日志读取指令，从目标位置字节数开始提取后续的所有数据发送至上级监控管理平台，上级监控管理平台根据获取的数据更新日志读取指令，将上次的结束读取位置作为下次的起始读取位置，使得上级监控管理平台获取的数据都是新增加的数据，避免了读取重复数据，提高了数据的读取速度和发送速度。

A Resource Log Reading and Writing Method and Device for Reducing Data Redundancy

The embodiment of this application provides a resource log reading and writing method and corresponding device to reduce data redundancy. The method and device are applied to the video networking. The video networking includes successively connected upper monitoring and management platform, lower monitoring and management platform and several video networking protocol conversion gateways. The upper monitoring and management platform includes the upper database, and the lower monitoring and management platform includes the upper database. Log record file; the lower level monitoring and management platform writes the generated resource change log into the log record file, and extracts all subsequent data from the number of bytes at the target location for the log read instruction sent by the higher level monitoring and management platform and sends it to the higher level monitoring and management platform. The upper level monitoring and management platform updates the log read instruction according to the acquired data, and then completes the last one. As the next starting reading position, the beam reading position makes the data acquired by the supervisory control and management platform all new data, avoids reading duplicate data, and improves the speed of data reading and sending.

【技术实现步骤摘要】
一种减少数据冗余的资源日志读写方法和装置
本申请涉及视联网
，特别是涉及一种减少数据冗余的资源日志读写方法和装置。
技术介绍
当视联网上级监控管理平台在重启或要读取新的资源变化数据时，需要重新订阅所有级联的下级监控管理平台的数据，下级监控管理平台将本级所有协转网关监控资源，监控故障报告、监控状态等数据重新向上级推送。正常的使用环境中，一个下级监控管理平台有可能是100万以上的监控资源，此时100万监控资源的状态、信息，故障信息是十分庞大的数据量(以G为单位的数据量)，上级监控管理平台接收到这些资源需要和已有资源进行比对处理，而级联上来的数据可能有80％是上级监控管理平台已有资源数据且这些监控资源在协转网关上没有发生任何变化(监控名称改变，监控状态改变，描述信息(位置，坐标等等)，因而造成了大量的重复数据发送，占用大量带宽资源且读取时间非常长。
技术实现思路
鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种减少数据冗余的资源日志读写方法和相应的一种减少数据冗余的资源日志读写装置。为了解决上述问题，本申请公开了一种减少数据冗余的资源日志读写方法，所述方法应用于视联网，所述视联网中包括上级监控管理平台、下级监控管理平台及多个视联网协议转换网关，所述上级监控管理平台与所述下级监控管理平台通信连接，所述下级监控管理平台与所述多个视联网协议转换网关通信连接，所述上级监控管理平台包括上级数据库，所述下级监控管理平台包括日志记录文件，所述方法包括：所述下级监控管理平台针对所述视联网协议转换网关发生的变动操作，生成多个资源变化日志；所述下级监控管理平台将所述多个资源变化日志按行写入所述日志记录文件；其中，所述日志记录文件具有文件标识及文件总字节数标识，所述文件总字节数标识为写入所述多个资源变化日志的日志记录文件的总字节数的标识；所述下级监控管理平台接收所述上级监控管理平台发送的日志读取指令；其中，所述日志读取指令包括所述文件标识及目标位置字节数；所述下级监控管理平台针对所述日志读取指令，在写入所述多个资源变化日志的日志记录文件中，提取从所述目标位置字节数对应的目标字节至写入所述多个资源变化日志的日志记录文件的结尾处字节的所有第一字节数据；所述下级监控管理平台将所述第一字节数据打包为第一日志文件，并将所述第一日志文件发送至所述上级监控管理平台；其中，所述第一日志文件包括所述文件标识及文件读取位置标识，所述文件读取位置标识与所述文件总字节数标识对应；所述上级监控管理平台用于将所述第一日志文件保存至所述上级数据库，并针对所述第一日志文件生成日志读取记录，所述日志读取记录包括与所述文件标识对应的读取文件标识，以及与所述文件读取位置标识对应的读取位置字节数；所述上级监控管理平台用于针对所述日志读取记录，更新所述日志读取指令，并将更新后的日志读取指令发送至所述下级监控管理平台；更新后的日志读取指令的文件标识与所述读取文件标识对应，更新后的日志读取指令的目标位置字节数与所述文件读取位置字节数对应。优选地，所述视联网协议转换网关具有网关标识，所述资源变化日志具有与所述网关标识对应的日志标识；所述下级监控管理平台将所述多个资源变化日志按行写入所述日志记录文件的步骤包括：所述下级监控管理平台基于所述网关标识，在所述日志记录文件中创建N个子日志记录文件；其中，N为大于0的整数；所述下级监控管理平台基于所述日志标识，将多个所述资源变化日志分别按行写入到对应的子日志记录文件中；其中，所述子日志记录文件具有与所述网关标识对应的子文件标识及子文件总字节数标识，所述子文件总字节数标识为写入所述多个资源变化日志的子日志记录文件的总字节数。优选地，所述日志读取指令包括N个目标子文件标识及N个子目标位置字节数，所述目标子文件标识与所述子目标位置字节数一一对应；所述下级监控管理平台针对所述日志读取指令，在写入所述多个资源变化日志的日志记录文件中，提取从所述目标位置字节数对应的目标字节至写入所述多个资源变化日志的日志记录文件的结尾处字节的的所有第一字节数据的步骤包括：所述下级监控管理平台从所述日志读取指令中获取所述目标子文件标识及与所述目标子文件标识对应的所述子目标位置字节数；所述下级监控管理平台针对所述目标子文件标识，在多个所述子日志记录文件中确定目标子日志记录文件；所述下级监控管理平台在所述目标子日志记录文件中，提取从所述子目标位置字节数对应的目标字节至所述目标子日志记录文件的结尾处字节的的所有第二字节数据。优选地，所述下级监控管理平台在所述目标子日志记录文件中，提取从所述子目标位置字节数对应的目标字节至所述目标子日志记录文件的结尾处字节的所有第二字节数据的步骤，包括：所述下级监控管理平台针对所述日志读取指令，判断在所述目标子日志记录文件中，从所述子目标位置字节数对应的目标字节至所述目标子日志记录文件的字节数是否为0；若是，则所述下级监控管理平台生成第二零字节信息，并将所述第二零字节信息发送至所述上级监控管理平台；所述上级监控管理平台用于将所述第二零字节信息保存至所述上级数据库；其中，所述第二零字节信息具有所述目标子文件标识。若否，则所述下级监控管理平台在所述目标子日志记录文件中，提取从所述子目标位置字节数对应的目标字节至结尾处字节的所有第二字节数据。优选地，所述下级监控管理平台将所述第二字节数据打包为第二日志文件，并将所述第二日志文件发送至所述上级监控管理平台；其中，所述第二日志文件包括所述子文件标识及子文件读取位置标识，所述子文件读取位置标识与所述子文件总字节数标识对应；所述上级监控管理平台用于将所述第二日志文件保存至所述上级数据库，并针对所述第二日志文件生成日志读取记录，所述日志读取记录包括与所述子文件标识对应的子读取文件标识，以及与所述子文件读取位置标识对应的子读取位置字节数；所述上级监控管理平台用于针对所述日志读取记录，更新所述日志读取指令，更新后的日志读取指令的目标子文件标识与子读取文件标识对应，更新后的日志读取指令的子目标位置字节数与子读取位置字节数对应。优选地，所述下级监控管理平台针对所述日志读取指令，在写入所述多个资源变化日志的日志记录文件中，提取从所述目标位置字节数对应的目标字节至结尾处字节的所有第一字节数据的步骤，包括：所述下级监控管理平台针对所述日志读取指令，判断在写入所述多个资源变化日志的日志记录文件中，从所述目标位置字节数对应的目标字节至结尾处字节的所有字节数据的字节数是否为0；若是，则所述下级监控管理平台生成第一零字节信息，并将所述第一零字节信息发送至所述上级监控管理平台；所述上级监控管理平台用于将所述第一零字节信息保存至所述上级数据库；若否，则所述下级监控管理平台在写入所述多个资源变化日志的日志记录文件中，提取从所述目标位置字节数对应的目标字节至结尾处字节的所有第一字节数据。为了解决上述技术问题，本申请还公开了一种减少数据冗余的资源日志读写装置，所述装置应用于视联网，所述视联网中包括上级监控管理平台、下级监控管理平台及多个视联网协转网关，所述上级监控管理平台与所述下级监控管理平台通信连接，所述下级监控管理平台与所述多个视联网协议转换网关通信连接，所述上级监控管理平台包括本文档来自技高网...

【技术保护点】
1.一种减少数据冗余的资源日志读写方法，其特征在于：所述方法应用于视联网，所述视联网中包括上级监控管理平台、下级监控管理平台及多个视联网协议转换网关，所述上级监控管理平台与所述下级监控管理平台通信连接，所述下级监控管理平台与所述多个视联网协议转换网关通信连接，所述上级监控管理平台包括上级数据库，所述下级监控管理平台包括日志记录文件，所述方法包括：所述下级监控管理平台针对所述视联网协议转换网关发生的变动操作，生成多个资源变化日志；所述下级监控管理平台将所述多个资源变化日志按行写入所述日志记录文件；其中，所述日志记录文件具有文件标识及文件总字节数标识，所述文件总字节数标识为写入所述多个资源变化日志的日志记录文件的总字节数的标识；所述下级监控管理平台接收所述上级监控管理平台发送的日志读取指令；其中，所述日志读取指令包括所述文件标识及目标位置字节数；所述下级监控管理平台针对所述日志读取指令，在写入所述多个资源变化日志的日志记录文件中，提取从所述目标位置字节数对应的目标字节至写入所述多个资源变化日志的日志记录文件的结尾处字节的所有第一字节数据；所述下级监控管理平台将所述第一字节数据打包为第一日志文件，并将所述第一日志文件发送至所述上级监控管理平台；其中，所述第一日志文件包括所述文件标识及文件读取位置标识，所述文件读取位置标识与所述文件总字节数标识对应；所述上级监控管理平台用于将所述第一日志文件保存至所述上级数据库，并针对所述第一日志文件生成日志读取记录，所述日志读取记录包括与所述文件标识对应的读取文件标识，以及与所述文件读取位置标识对应的读取位置字节数；所述上级监控管理平台用于针对所述日志读取记录，更新所述日志读取指令，并将更新后的日志读取指令发送至所述下级监控管理平台；更新后的日志读取指令的文件标识与所述读取文件标识对应，更新后的日志读取指令的目标位置字节数与所述文件读取位置字节数对应。...

【技术特征摘要】
1.一种减少数据冗余的资源日志读写方法，其特征在于：所述方法应用于视联网，所述视联网中包括上级监控管理平台、下级监控管理平台及多个视联网协议转换网关，所述上级监控管理平台与所述下级监控管理平台通信连接，所述下级监控管理平台与所述多个视联网协议转换网关通信连接，所述上级监控管理平台包括上级数据库，所述下级监控管理平台包括日志记录文件，所述方法包括：所述下级监控管理平台针对所述视联网协议转换网关发生的变动操作，生成多个资源变化日志；所述下级监控管理平台将所述多个资源变化日志按行写入所述日志记录文件；其中，所述日志记录文件具有文件标识及文件总字节数标识，所述文件总字节数标识为写入所述多个资源变化日志的日志记录文件的总字节数的标识；所述下级监控管理平台接收所述上级监控管理平台发送的日志读取指令；其中，所述日志读取指令包括所述文件标识及目标位置字节数；所述下级监控管理平台针对所述日志读取指令，在写入所述多个资源变化日志的日志记录文件中，提取从所述目标位置字节数对应的目标字节至写入所述多个资源变化日志的日志记录文件的结尾处字节的所有第一字节数据；所述下级监控管理平台将所述第一字节数据打包为第一日志文件，并将所述第一日志文件发送至所述上级监控管理平台；其中，所述第一日志文件包括所述文件标识及文件读取位置标识，所述文件读取位置标识与所述文件总字节数标识对应；所述上级监控管理平台用于将所述第一日志文件保存至所述上级数据库，并针对所述第一日志文件生成日志读取记录，所述日志读取记录包括与所述文件标识对应的读取文件标识，以及与所述文件读取位置标识对应的读取位置字节数；所述上级监控管理平台用于针对所述日志读取记录，更新所述日志读取指令，并将更新后的日志读取指令发送至所述下级监控管理平台；更新后的日志读取指令的文件标识与所述读取文件标识对应，更新后的日志读取指令的目标位置字节数与所述文件读取位置字节数对应。2.根据权利要求1所述的方法，其特征在于，所述视联网协议转换网关具有网关标识，所述资源变化日志具有与所述网关标识对应的日志标识；所述下级监控管理平台将所述多个资源变化日志按行写入所述日志记录文件的步骤包括：所述下级监控管理平台基于所述网关标识，在所述日志记录文件中创建N个子日志记录文件；其中，N为大于0的整数；所述下级监控管理平台基于所述日志标识，将多个所述资源变化日志分别按行写入到对应的子日志记录文件中；其中，所述子日志记录文件具有与所述网关标识对应的子文件标识及子文件总字节数标识，所述子文件总字节数标识为写入所述多个资源变化日志的子日志记录文件的总字节数。3.根据权利要求2所述的方法，其特征在于，所述日志读取指令包括N个目标子文件标识及N个子目标位置字节数，所述目标子文件标识与所述子目标位置字节数一一对应；所述下级监控管理平台针对所述日志读取指令，在写入所述多个资源变化日志的日志记录文件中，提取从所述目标位置字节数对应的目标字节至写入所述多个资源变化日志的日志记录文件的结尾处字节的的所有第一字节数据的步骤包括：所述下级监控管理平台从所述日志读取指令中获取所述目标子文件标识及与所述目标子文件标识对应的所述子目标位置字节数；所述下级监控管理平台针对所述目标子文件标识，在多个所述子日志记录文件中确定目标子日志记录文件；所述下级监控管理平台在所述目标子日志记录文件中，提取从所述子目标位置字节数对应的目标字节至所述目标子日志记录文件的结尾处字节的的所有第二字节数据。4.根据权利要求3所述的方法，其特征在于，所述下级监控管理平台在所述目标子日志记录文件中，提取从所述子目标位置字节数对应的目标字节至所述目标子日志记录文件的结尾处字节的所有第二字节数据的步骤，包括：所述下级监控管理平台针对所述日志读取指令，判断在所述目标子日志记录文件中，从所述子目标位置字节数对应的目标字节至所述目标子日志记录文件的字节数是否为0；若是，则所述下级监控管理平台生成第二零字节信息，并将所述第二零字节信息发送至所述上级监控管理平台；所述上级监控管理平台用于将所述第二零字节信息保存至所述上级数据库；其中，所述第二零字节信息具有所述目标子文件标识；若否，则所述下级监控管理平台在所述目标子日志记录文件中，提取从所述子目标位置字节数对应的目标字节至结尾处字节的所有第二字节数据。5.根据权利要求3所述的方法，其特征在于，所述下级监控管理平台将所述第二字节数据打包为第二日志文件，并将所述第二日志文件发送至所述上级监控管理平台；其中，所述第二日志文件包括所述子文件标识及子文件读取位置标识，所述子文件读取位置标识与所述子文件总字节数标识对应；所述上级监控管理平台用于将所述第二日志文件保存至所述上级数据库，并针对所述第二日志文件生成日志读取记录，所述日志读取记录包括与所述子文件标识对应的子读取文件标识，以及与所述子文件读取位置标识对应的子读取位置字节数；所述上级监控管理平台用于针对所述日志读...

【专利技术属性】
技术研发人员：白羽，沈军，王军，乔金龙，
申请(专利权)人：视联动力信息技术股份有限公司，
类型：发明
国别省市：北京,11