一种数据处理方法、系统及存储介质技术方案

本发明专利技术公开了一种数据处理方法、系统及存储介质。其方法包括：从关联的用户代理信息数据库和设备信息数据库中提取多条数据，每条数据包括第一设备信息、用户代理信息和第二设备信息，第一设备信息包括设备型号，第二设备信息包括设备品牌和/或设备类型；用户代理信息数据库和设备信息数据库的关联主键为设备型号，用户代理信息数据库包括关联的设备型号和用户代理信息，设备信息数据库包括关联的设备型号和设备信息；根据多条数据生成正则规则，正则规则用于描述用户代理信息与第一设备信息和第二设备信息的匹配特征；将生成的用户代理信息解析正则规则添加到正则规则集。本发明专利技术实施例提供的数据处理方法的处理效率较高。

A Data Processing Method, System and Storage Media

The invention discloses a data processing method, a system and a storage medium. The method includes: extracting multiple data from the associated user agent information database and equipment information database, each data includes first device information, user agent information and second device information, the first device information includes device type, the second device information includes device brand and/or device type, and the primary key of user agent information database and equipment information database. For the equipment type, the user agent information database includes the related equipment type and user agent information, and the equipment information database includes the related equipment type and equipment information; according to the multiple data generation rules, the rules are used to describe the matching characteristics of the user agent information with the first equipment information and the second equipment information; and the generated user agent information is parsed into the regular rules. Adds to the regular rule set. The data processing method provided by the embodiment of the present invention has high processing efficiency.

【技术实现步骤摘要】
一种数据处理方法、系统及存储介质
本专利技术涉及数据处理
，尤其涉及一种数据处理方法、系统及存储介质。
技术介绍
为实现安全防护、创建用户画像等等目的，路由器等设备往往会对接入其的终端设备进行设备识别。目前的设备识别方法主要是实时采集终端设备的主机名(hostname)信息，利用预先获得的正则规则集对主机名信息进行匹配，根据匹配结果进行设备识别。其中，正则规则集是通过人工对海量数据进行分析处理而得到的，其处理效率低。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的数据处理方法、系统及存储介质。第一方面，本专利技术实施例提供了一种数据处理方法，包括：从关联的用户代理信息数据库和设备信息数据库中提取多条数据，每条所述数据包括第一设备信息、用户代理信息和第二设备信息，所述第一设备信息包括设备型号，所述第二设备信息包括设备品牌和/或设备类型；所述用户代理信息数据库和设备信息数据库的关联主键为设备型号，所述用户代理信息数据库包括关联的设备型号和用户代理信息，所述设备信息数据库包括关联的设备型号和设备信息；根据所述多条数据生成正则规则，所述正则规则用于描述用户代理信息与所述第一设备信息和第二设备信息的匹配特征；将生成的所述用户代理信息解析正则规则添加到正则规则集。设备型号与其他设备信息(如设备品牌、设备类型等)有唯一对应关系，即一个设备型号仅唯一对应一个设备品牌及设备类型。本专利技术实施例提供的方法正是利用这一特性，预先以设备型号为关联主键，将用户代理信息数据库和设备信息数据库进行关联。进而从关联的数据库中提取包含第一设备信息、第二设备信息和用户代理信息的多条数据，进而根据提取出的数据生成正则规则。本专利技术实施例提供的方法利用数据库技术自动实现不同数据库的关联及关联数据库中的数据提取，避免人工在多个数据库中反复查找、分析数据，提高了数据处理效率。结合第一方面，在本专利技术实施例第一方面的第一种实现方式中，所述方法还包括：获取多条用户代理信息，并从每条用户代理信息中查找设备型号；利用查找到设备型号的用户代理信息和所述设备型号创建所述用户代理信息数据库。由于用户代理信息是可以被修改的，因此，并非每条用户代理信息均包括设备型号。本专利技术实施例提供的方法，预先对用户代理信息进行筛选，仅保留其中包含设备型号的用户代理信息以创建用户代理信息数据库。这一数据筛选的过程进一步提高了数据处理的效率。结合第一方面，在本专利技术实施例第一方面的第二种实现方式中，所述方法还包括：获取多条设备信息，并从每条设备信息中查找设备型号；利用查找到设备型号的设备信息创建所述设备信息数据库，所述设备信息中还包括设备品牌和/或设备类型。设备信息的获取渠道有多种，并非每条设备信息中都包含设备型号。本专利技术实施例提供的方法，预先对设备信息进行筛选，仅保留其中包含设备型号的设备信息以创建设备信息数据库。这一数据筛选的过程进一步提高了数据处理的效率。结合第一方面、第一方面的第一种实现方式或第一方面的第二种实现方式，在本专利技术实施例第一方面的第三种实现方式中，所述根据所述多条数据生成正则规则，包括：将所述多条数据发送给规则创建客户端；接收所述规则创建客户端生成并返回的正则规则。结合第一方面、第一方面的第一种实现方式或第一方面的第二种实现方式，在本专利技术实施例第一方面的第四种实现方式中，所述根据所述多条数据生成正则规则，包括：按照预定的提取规则从所述多条数据中分别提取至少一个候选匹配特征；利用每个候选匹配特征对所述多条数据中的其他数据进行匹配；利用全部匹配成功的候选匹配特征生成正则规则。本专利技术实施例提供的方法，按照预先规定的提取规则可以实现自动的匹配特征提取，代替人工操作，进一步提高了处理效率。结合第一方面、第一方面的第一种实现方式或第一方面的第二种实现方式，在本专利技术实施例第一方面的第五种实现方式中，所述方法还包括：获取待识别终端设备的用户代理信息；利用所述正则规则集对所述待识别终端设备的用户代理信息进行匹配；获取匹配到的第一设备信息和第二设备信息作为所述待识别终端设备的设备信息。第二方面，本专利技术实施例提供一种数据处理系统，包括：数据提取单元，用于从关联的用户代理信息数据库和设备信息数据库中提取多条数据，每条所述数据包括第一设备信息、用户代理信息和第二设备信息，所述第一设备信息包括设备型号，所述第二设备信息包括设备品牌和/或设备类型；所述用户代理信息数据库和设备信息数据库的关联主键为设备型号，所述用户代理信息数据库包括关联的设备型号和用户代理信息，所述设备信息数据库包括关联的设备型号和设备信息；正则规则生成单元，用于根据所述多条数据生成正则规则，所述正则规则用于描述用户代理信息与所述第一设备信息和第二设备信息的匹配特征；正则规则集更新单元，用于将生成的所述用户代理信息解析正则规则添加到正则规则集。设备型号与其他设备信息(如设备品牌、设备类型等)有唯一对应关系，即一个设备型号仅唯一对应一个设备品牌及设备类型。本专利技术实施例提供的系统正是利用这一特性，预先以设备型号为关联主键，将用户代理信息数据库和设备信息数据库进行关联。进而从关联的数据库中提取包含第一设备信息、第二设备信息和用户代理信息的多条数据，进而根据提取出的数据生成正则规则。本专利技术实施例提供的系统利用数据库技术自动实现不同数据库的关联及关联数据库中的数据提取，避免人工在多个数据库中反复查找、分析数据，提高了数据处理效率。结合第二方面，在本专利技术实施例第二方面的第一种实现方式中，所述系统还包括：第一设备型号查找单元，用于获取多条用户代理信息，并从每条用户代理信息中查找设备型号；第一数据库创建单元，用于利用查找到设备型号的用户代理信息和所述设备型号创建所述用户代理信息数据库。由于用户代理信息是可以被修改的，因此，并非每条用户代理信息均包括设备型号。本专利技术实施例提供的方法，预先对用户代理信息进行筛选，仅保留其中包含设备型号的用户代理信息以创建用户代理信息数据库。这一数据筛选的过程进一步提高了数据处理的效率。结合第二方面，在本专利技术实施例第二方面的第二种实现方式中，所述系统还包括：第二设备型号查找单元，用于获取多条设备信息，并从每条设备信息中查找设备型号；第二数据库创建单元，用于利用查找到设备型号的设备信息创建所述设备信息数据库，所述设备信息中还包括设备品牌和/或设备类型。设备信息的获取渠道有多种，并非每条设备信息中都包含设备型号。本专利技术实施例提供的系统，预先对设备信息进行筛选，仅保留其中包含设备型号的设备信息以创建设备信息数据库。这一数据筛选的过程进一步提高了数据处理的效率。结合第二方面、第二方面的第一种实现方式或第二方面的第二种实现方式，在本专利技术实施例第二方面的第三种实现方式中，所述正则规则生成单元用于：将所述多条数据发送给规则创建客户端；接收所述规则创建客户端生成并返回的正则规则。本专利技术实施例提供的方法，按照预先规定的提取规则可以实现自动的匹配特征提取，代替人工操作，进一步提高了处理效率。结合第二方面、第二方面的第一种实现方式或第二方面的第二种实现方式，在本专利技术实施例第二方面的第四种实现方式中，所述正则规则生成单元用于：按照预定的提取规则从所述多条数据中分别提取至少一个候选匹配特征；本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：从关联的用户代理信息数据库和设备信息数据库中提取多条数据，每条所述数据包括第一设备信息、用户代理信息和第二设备信息，所述第一设备信息包括设备型号，所述第二设备信息包括设备品牌和/或设备类型；所述用户代理信息数据库和设备信息数据库的关联主键为设备型号，所述用户代理信息数据库包括关联的设备型号和用户代理信息，所述设备信息数据库包括关联的设备型号和设备信息；根据所述多条数据生成正则规则，所述正则规则用于描述用户代理信息与所述第一设备信息和第二设备信息的匹配特征；将生成的所述用户代理信息解析正则规则添加到正则规则集。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：从关联的用户代理信息数据库和设备信息数据库中提取多条数据，每条所述数据包括第一设备信息、用户代理信息和第二设备信息，所述第一设备信息包括设备型号，所述第二设备信息包括设备品牌和/或设备类型；所述用户代理信息数据库和设备信息数据库的关联主键为设备型号，所述用户代理信息数据库包括关联的设备型号和用户代理信息，所述设备信息数据库包括关联的设备型号和设备信息；根据所述多条数据生成正则规则，所述正则规则用于描述用户代理信息与所述第一设备信息和第二设备信息的匹配特征；将生成的所述用户代理信息解析正则规则添加到正则规则集。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取多条用户代理信息，并从每条用户代理信息中查找设备型号；利用查找到设备型号的用户代理信息和所述设备型号创建所述用户代理信息数据库。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取多条设备信息，并从每条设备信息中查找设备型号；利用查找到设备型号的设备信息创建所述设备信息数据库，所述设备信息中还包括设备品牌和/或设备类型。4.根据权利要求1～3任一项所述的方法，其特征在于，所述根据所述多条数据生成正则规则，包括：将所述多条数据发送给规则创建客户端；接收所述规则创建客户端生成并返回的正则规则。5.根据权利要求1～3任一项所述的方法，其特征在于，所述根据所述多条数据生成正则规则，包括：按照预定的提取规则从所述多条数据中分别提取至少一个候选匹配特征；利用每个候选匹配特征对所述多条数据中的其他数据进行匹配；利用全部匹配成功的候选匹配特征生成正则规则。6.根据权利要...

【专利技术属性】
技术研发人员：贾思阳，韩孟龙，孟菲，车文彬，闫柄任，刘克恒，李岩，王二飞，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11