一种数据处理的方法和装置制造方法及图纸

本发明专利技术提供一种数据处理的方法和装置，该方法包括：数据采集层模块从不同接口类型的接口上采集数据；所述数据采集层模块将采集到的数据存储到本地存储介质中；数据适配层模块从所述本地存储介质中获取数据；所述数据适配层模块利用获取的数据对应的接口类型，将获取的数据转换成特定格式的数据，并将转换后的数据提供给上层应用。通过本发明专利技术的技术方案，可以实现网络管理系统接入多厂家、多协议、非标准性的北向接口。开发人员可以只专注数据分析和数据转换，降低开发人员的开发难度，并降低业务开通的复杂度，提升业务开通的效率，从而可以缩短网络管理系统的接入时间，提高稳定性以及松耦合，确保了安全性。

【技术实现步骤摘要】

本专利技术涉及网络管理
，尤其涉及一种数据处理的方法和装置。
技术介绍
随着网络通信的发展，在一个运营商的电信管理网络中，存在多个厂商多种专业网的网管系统，这些网管系统之间是相互独立的，都只能管理各自管理范围的设备及信息。为保证网络服务质量，提高运维效率，实现全网集中、统一的网络监控和管理，运营商要求这些网管系统提供NBI(NorthBound Interface，北向接口)，在此基础上建设集中网管系统，即综合网络管理系统，简称综合网管或者NMS(Network Management System，网络管理系统)。目前，随着通信技术的持续发展、网络规模的不断扩大，由于各种原因，不同厂商不同专业网的网管系统的北向接口遵循的标准(如3GPP(3rd Generation Partnership Project，第三代合作伙伴计划)、TMF(Tele Management Forum，电信管理论坛)、移动规范、联通规范等)、网络协议(如CORBA(Common Object Request Broker Architecture，公共对象请求代理体系结构)、SNMP(Simple Network Management Protocol，简单网络管理协议)等)、数据格式等均存在差异，而这种差异会给网络管理系统的管理带来很多困难。
技术实现思路
本专利技术提供一种数据处理的方法，所述方法包括以下步骤：数据采集层模块从不同接口类型的接口上采集数据；所述数据采集层模块将采集到的数据存储到本地存储介质中；数据适配层模块从所述本地存储介质中获取数据；所述数据适配层模块利用获取的数据对应的接口类型，将获取的数据转换成特定格式的数据，并将转换后的数据提供给上层应用。在所述数据采集层模块从不同接口类型的接口上采集数据之前，所述方法进一步包括：所述数据采集层模块利用第一预设策略确定需要采集的数据；在所述数据采集层模块从不同接口类型的接口上采集数据之后，在所述数据采集层模块将采集到的数据存储到本地存储介质中之前，所述方法进一步包括：所述数据采集层模块利用第二预设策略判断是否过滤采集到的数据；如果是，则所述数据采集层模块过滤采集到的数据；如果否，则所述数据采集层模块执行将采集到的数据存储到本地存储介质中的过程；在所述数据采集层模块将采集到的数据存储到本地存储介质中之后，在所述数据适配层模块从所述本地存储介质中获取数据之前，所述方法进一步包括：所述数据适配层模块利用第三预设策略确定需要获取的数据；在所述数据适配层模块将获取的数据转换成特定格式的数据之后，在所述数据适配层模块将转换后的数据提供给上层应用之前，所述方法进一步包括：所述数据适配层模块利用第四预设策略确定需要提供给上层应用的数据；其中，所述第一预设策略、所述第二预设策略、所述第三预设策略、所述第四预设策略，均具体包括正则表达式策略和/或脚本逻辑策略。所述本地存储介质包括：中间缓存数据库或者中间缓存文件，所述方法进一步包括：所述数据采集层模块将采集到的数据存储到本地存储介质的过程，具体包括：将采集到的数据存储到所述中间缓存数据库或者所述中间缓存文件；所述数据适配层模块从所述本地存储介质中获取数据的过程，具体包括：从所述中间缓存数据库或者所述中间缓存文件中获取数据。所述数据适配层模块利用获取的数据对应的接口类型，将获取的数据转换成特定格式的数据，包括：所述数据适配层模块获取所述接口类型对应的适配模版，并利用所述适配模版将所述获取的数据转换成特定格式的数据；其中，在所述数据适配层模块上预先配置有各接口类型对应的适配模版，
且适配模版用于将对应的接口类型的数据转换成特定格式的数据；其中，所述数据适配层模块利用所述适配模版将所述获取的数据转换成特定格式的数据的过程，具体包括：所述数据适配层模块获取所述适配模版对应的标准化结构；将所述获取的数据转换成所述标准化结构的数据；利用所述适配模版将所述标准化结构的数据转换成特定格式的数据。在所述数据采集层模块将采集到的数据存储到本地存储介质中后，所述方法进一步包括：数据处理层模块对本地存储介质中存储的数据进行合并处理；和/或，所述数据处理层模块对本地存储介质中存储的数据进行监控处理。本专利技术提供一种数据处理的装置，所述装置具体包括：数据采集层模块，用于从不同接口类型的接口上采集数据，并将采集到的数据存储到本地存储介质中；数据适配层模块，用于从所述本地存储介质中获取数据，并利用获取的数据对应的接口类型，将获取的数据转换成特定格式的数据，并将转换后的数据提供给上层应用。所述数据采集层模块，还用于在所述数据采集层模块从不同接口类型的接口上采集数据之前，利用第一预设策略确定需要采集的数据；所述数据采集层模块，还用于在所述数据采集层模块从不同接口类型的接口上采集数据之后，在所述数据采集层模块将采集到的数据存储到本地存储介质中之前，利用第二预设策略判断是否过滤采集到的数据；如果是，则过滤采集到的数据；如果否，则将采集到的数据存储到本地存储介质中；所述数据适配层模块，还用于在所述数据采集层模块将采集到的数据存储到本地存储介质中之后，在所述数据适配层模块从所述本地存储介质中获取数据之前，利用第三预设策略确定需要获取的数据；所述数据适配层模块，还用于在所述数据适配层模块将获取的数据转换成特定格式的数据之后，在所述数据适配层模块将转换后的数据提供给上层应用之前，利用第四预设策略确定需要提供给上层应用的数据；其中，所述第一预设策略、所述第二预设策略、所述第三预设策略、所述第四预设策略，均具体包括正则表达式策略和/或脚本逻辑策略。所述本地存储介质包括：中间缓存数据库或者中间缓存文件；所述数据采集层模块，还用于在将采集到的数据存储到本地存储介质的过程中，将采集到的数据存储到所述中间缓存数据库或者所述中间缓存文件；所述数据适配层模块，还用于在从所述本地存储介质中获取数据的过程中，从所述中间缓存数据库或者所述中间缓存文件中获取数据。所述数据适配层模块，具体用于在利用获取的数据对应的接口类型，将获取的数据转换成特定格式的数据的过程中，获取所述接口类型对应的适配模版，并利用所述适配模版将所述获取的数据转换成特定格式的数据；其中，在所述数据适配层模块上预先配置有各接口类型对应的适配模版，且适配模版用于将对应的接口类型的数据转换成特定格式的数据；其中，所述数据适配层模块，具体用于在利用所述适配模版将所述获取的数据转换成特定格式的数据的过程中，获取所述适配模版对应的标准化结构；将所述获取的数据转换成所述标准化结构的数据；利用所述适配模版将所述标准化结构的数据转换成特定格式的数据。还包括：数据处理层模块，用于在所述数据采集层模块将采集到的数据存储到本地存储介质中之后，对本地存储介质中存储的数据进行合并处理；和/或，对本地存储介质中存储的数据进行监控处理。基于上述技术方案，本专利技术实施例中，通过分离数据采集层的功能和数据适配层的功能，形成数据采集层和数据适配层分离的架构，并使用数据采集层模块执行数据采集层的操作，使用数据适配层模块执行数据适配层的操作。在此架构下，数据采集层模块只关注数据采集的部分，而数据适配层模块只关注数据转换的部分。这样，可以实现网络管理系统接本文档来自技高网...

【技术保护点】
一种数据处理的方法，其特征在于，所述方法包括以下步骤：数据采集层模块从不同接口类型的接口上采集数据；所述数据采集层模块将采集到的数据存储到本地存储介质中；数据适配层模块从所述本地存储介质中获取数据；所述数据适配层模块利用获取的数据对应的接口类型，将获取的数据转换成特定格式的数据，并将转换后的数据提供给上层应用。

【技术特征摘要】
1.一种数据处理的方法，其特征在于，所述方法包括以下步骤：数据采集层模块从不同接口类型的接口上采集数据；所述数据采集层模块将采集到的数据存储到本地存储介质中；数据适配层模块从所述本地存储介质中获取数据；所述数据适配层模块利用获取的数据对应的接口类型，将获取的数据转换成特定格式的数据，并将转换后的数据提供给上层应用。2.根据权利要求1所述的方法，其特征在于，在所述数据采集层模块从不同接口类型的接口上采集数据之前，所述方法进一步包括：所述数据采集层模块利用第一预设策略确定需要采集的数据；在所述数据采集层模块从不同接口类型的接口上采集数据之后，在所述数据采集层模块将采集到的数据存储到本地存储介质中之前，所述方法进一步包括：所述数据采集层模块利用第二预设策略判断是否过滤采集到的数据；如果是，则所述数据采集层模块过滤采集到的数据；如果否，则所述数据采集层模块执行将采集到的数据存储到本地存储介质中的过程；在所述数据采集层模块将采集到的数据存储到本地存储介质中之后，在所述数据适配层模块从所述本地存储介质中获取数据之前，所述方法进一步包括：所述数据适配层模块利用第三预设策略确定需要获取的数据；在所述数据适配层模块将获取的数据转换成特定格式的数据之后，在所述数据适配层模块将转换后的数据提供给上层应用之前，所述方法进一步包括：所述数据适配层模块利用第四预设策略确定需要提供给上层应用的数据；其中，所述第一预设策略、所述第二预设策略、所述第三预设策略、所述第四预设策略，均具体包括正则表达式策略和/或脚本逻辑策略。3.根据权利要求1或2所述的方法，其特征在于，所述本地存储介质包括：中间缓存数据库或者中间缓存文件，所述方法进一步包括：所述数据采集层模块将采集到的数据存储到本地存储介质的过程，具体包
\t括：将采集到的数据存储到所述中间缓存数据库或者所述中间缓存文件；所述数据适配层模块从所述本地存储介质中获取数据的过程，具体包括：从所述中间缓存数据库或者所述中间缓存文件中获取数据。4.根据权利要求1所述的方法，其特征在于，所述数据适配层模块利用获取的数据对应的接口类型，将获取的数据转换成特定格式的数据，包括：所述数据适配层模块获取所述接口类型对应的适配模版，并利用所述适配模版将所述获取的数据转换成特定格式的数据；其中，在所述数据适配层模块上预先配置有各接口类型对应的适配模版，且适配模版用于将对应的接口类型的数据转换成特定格式的数据；其中，所述数据适配层模块利用所述适配模版将所述获取的数据转换成特定格式的数据的过程，具体包括：所述数据适配层模块获取所述适配模版对应的标准化结构；将所述获取的数据转换成所述标准化结构的数据；利用所述适配模版将所述标准化结构的数据转换成特定格式的数据。5.根据权利要求1所述的方法，其特征在于，在所述数据采集层模块将采集到的数据存储到本地存储介质中之后，所述方法进一步包括：数据处理层模块对本地存储介质中存储...

【专利技术属性】
技术研发人员：曹雄，杨学刚，杨志成，朱江，宋智，杜永好，
申请(专利权)人：广东凯通软件开发有限公司，
类型：发明
国别省市：广东;44