一种基于大数据的设备指纹采集系统及方法技术方案

本发明专利技术公开了一种基于大数据的设备指纹采集系统及方法，包括：S1：通过数据采集模块采集用户设备端的相关数据；S2：通过数据处理模块对采集到的相关数据进行处理，对处理得到的所需要素信息进行特征提取；S3：通过数据检测模块对处理得到的设备特征信息进行检测，根据检测结果对该设备指纹的处理方式进行分析判断；S4：通过数据传输模块对设备指纹相关数据进行加密处理，并将加密数据传输至数据库中进行存储；通过对设备指纹采用不同处理方式，减少了系统的运算量，能够在同设备上跨APP或浏览器使用；企业可以通过调用设备指纹相关数据，实现精准投放，提高面向用户画像进行精准营销的成功率。营销的成功率。营销的成功率。

【技术实现步骤摘要】
一种基于大数据的设备指纹采集系统及方法


[0001]本专利技术涉及设备指纹
，具体为一种基于大数据的设备指纹采集系统及方法。

技术介绍

[0002]随着国内法律法规的完善和技术的更新，传统的国际移动设备识别码（International Mobile Equipment Identity，IMEI）即通常所说的手机序列号来标识设备的方式已无法使用。传统的SDK方式也严重受限、企业失去判断设备唯一性的能力。
[0003]在这样的背景下，在精准营销和反欺诈领域需要使用设备指纹来为企业提供竞争力，设备指纹作为一种增强技术，收集设备软硬件信息进行识别，例如浏览器可采集屏幕分辨率、本地时间、操作系统版本进行主机系统识别，同时也可通过浏览器行为采集信息，目前很多用户画像、广告推送都会采用设备指纹跟踪用户浏览的习惯。通过设备指纹技术可以为各企业单位提供全方位、全生命周期的精准营销能力和反欺诈风险管理。满足合规性要求的前提下，实际对设备指纹的使用中，主要考虑其安全性和兼容，在可用性和可部署性上实现低成本，并覆盖最广阔的应用场景。在广告营销场景中，需要结合不同用户的兴趣爱好推送不同的商品广告，达到精准投放的目的，很多时候需要定位到用户的终端设备，然后建立对应的基于该用户的个人设备画像，这时，用户使用的设备指纹是否准确，关系到商家的营销策略能否成功，中小企业尤其是电商类，投放成本极其高昂，若因为用户识别不准确导致的投放失误，则将会导致大量的资源浪费。
[0004]所以人们需要一种基于大数据的设备指纹采集系统及方法来解决上述问题。

技术实现思路

[0005]本专利技术的目的在于提供一种，以解决上述
技术介绍
中提出的问题。
[0006]为了解决上述技术问题，本专利技术提供如下技术方案：一种基于大数据的设备指纹采集系统，所述系统包括：数据采集模块、数据处理模块、数据检测模块、数据传输模块和数据库；所述数据采集模块的输出端连接所述数据处理模块的输入端，所述数据处理模块的输出端连接所述数据检测模块和所述数据传输模块的输入端，所述数据检测模块输出端连接所述数据传输模块的输入端，所述数据传输模块的输出端连接所述数据库的输入端；数据采集模块，用于采集用户设备端的相关数据；数据处理模块，用于对采集到的相关数据信息进行处理，处理得到所需要素信息和其对应的特征数据；数据检测模块，用于对处理得到的设备特征信息进行检测；数据传输模块，用于对设备指纹相关数据进行加密处理，并将加密数据传输至数据库中进行存储。
[0007]进一步的，所述数据采集模块包括设备终端采集单元和应用软件采集单元，所述
设备终端采集单元用于采集硬件设备相关数据，包括系统配置、设备型号、已安装插件、存储机制、屏幕分辨率和像素等属性；所述应用软件采集单元用于采集设备运行的软件应用相关数据，包括操作系统厂商和版本、驱动程序版本、使用语言、系统时间、网络和协议信息，如IP地址和地理位置等；所述数据采集模块采用混合式采集，将主动式采集和被动采集结合。通过应用层和底层分析，生成设备终身唯一标识，其中底层分析技术，对客户端发送的网络包进行深度报文分析（DPI），提取从7层全部特征信息，并结合行为数据，根据特定的模型，计算出设备的唯一性。由于采集的是系统底层的协议特征信息，实现了在同设备上的跨APP、跨浏览器使用。
[0008]采取在Web（H5）部署JS代码采集设备静态信息，然后通过终端设备与后台服务器建立连接的过程中，从网络报文中提取协议层信息。将采集的参数加密传递到服务端，在服务端生成唯一的UAID，使得所有的设备都得到一个唯一的设备指纹。混合式设备指纹技术融合了主动式和被动式各自的长处，扩大了设备指纹技术的适用范围。
[0009]进一步的，所述数据处理模块包括数据清洗单元和特征提取单元；所述数据清洗单元用于对数据采集模块获取到的数据进行清洗，对采集到的数据进行重新审查和校验，获取到所需要素信息；数据清洗的目的在于删除重复信息、纠正存在的错误，并保证数据一致性；所述特征提取单元用于对获取到的要素信息进行预处理，包括对数据进行标准化处理等，并提取出各要素信息对应的特征数据，进一步提高了准确率。
[0010]进一步的，所述数据检测模块包括模型训练单元、识别检测单元和数据分析单元；所述模型训练单元用于根据有效数据，对识别检测模型进行训练；所述识别检测单元用于将所述数据处理模块提取到的特征数据输入训练好的识别检测模型，对设备指纹的变更程度进行判断；所述数据分析单元，用于对检测结果进行分析，判断得出对于该设备指纹的处理方式，根据分析结果对设备指纹采用不同处理方式，使得在用户使用的设备系统升级或少量参数发生变更时，设备指纹不会发生变更，无需大量重新上传采集要素，减少了系统的运算量。
[0011]进一步的，所述数据传输模块包括数据加密单元和安全传输单元，确保了所采集到的设备指纹的安全性，使得设备指纹数据不会再网络传输中被恶意篡改，导致生成设备伪码，所述数据加密单元用于对获取到的设备指纹相关要素数据进行加密处理，所述安全传输单元用于将加密处理后的数据安全传输至数据库中进行存储，根据所述数据分析单元的分析结果，对数据库中的设备指纹相关数据进行处理。
[0012]一种基于大数据的设备指纹采集方法，包括以下步骤：S1：通过数据采集模块采集用户设备端的相关数据；S2：通过数据处理模块对采集到的相关数据进行处理，对处理得到的所需要素信息进行特征提取；S3：通过数据检测模块对处理得到的设备特征信息进行检测，根据检测结果对该设备指纹的处理方式进行分析判断；S4：通过数据传输模块对设备指纹相关数据进行加密处理，并将加密数据传输至数据库中进行存储。
[0013]进一步的，在步骤S1中，通过设备终端采集单元采集到硬件设备相关数据，所述数
据包括系统配置、设备型号、已安装插件、存储机制、屏幕分辨率和像素等属性，优选的，还包括移动端设备的电池信息和硬件传感器等，如手机加速度计和扬声器、麦克风系统；得到数据集A，通过应用软件采集单元采集到设备运行的软件应用相关数据，所述数据包括操作系统厂商和版本、驱动程序版本、使用语言、系统时间、网络和协议信息，如IP地址和地理位置等，得到数据集B。
[0014]进一步的，在步骤S2中，通过数据清洗单元对获取到数据集A和数据集B进行数据清洗，根据数据源数量和数据清洗策略，对数据集A和数据集B进行分析，通过自动检测的方式对数据集中的属性错误进行审查，主要检测方法有基于统计的方法、聚类方法和关联规则方法；并对两数据集中的重复记录进行检测，删除重复数据值，保留重复数据中的第一条数据；对检测发现的错误进行改正，将清洗完成的干净数据回流，获取到所需要素信息数据集S；其中，进行数据清洗时，应该将原始数据进行备份，以防需要撤销清洗操作，避免导致的数据丢失；所述特征提取单元用于对获取到的要素信息数据集S进行预处理，并通过过滤法对数据集S内的各要素信息进行筛选，提取出各要素信息对应的特征数据集T；以便于减少需要检测的特征数量，减少运行时间。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的设备指纹采集系统，其特征在于：所述系统包括：数据采集模块、数据处理模块、数据检测模块、数据传输模块和数据库；所述数据采集模块的输出端连接所述数据处理模块的输入端，所述数据处理模块的输出端连接所述数据检测模块和所述数据传输模块的输入端，所述数据检测模块输出端连接所述数据传输模块的输入端，所述数据传输模块的输出端连接所述数据库的输入端；数据采集模块，用于采集用户设备端的相关数据；数据处理模块，用于对采集到的相关数据信息进行处理，处理得到所需要素信息和其对应的特征数据；数据检测模块，用于对处理得到的设备特征信息进行检测；数据传输模块，用于对设备指纹相关数据进行加密处理，并将加密数据传输至数据库中进行存储。2.根据权利要求1所述的一种基于大数据的设备指纹采集系统，其特征在于：所述数据采集模块包括设备终端采集单元和应用软件采集单元，所述设备终端采集单元用于采集硬件设备相关数据；所述应用软件采集单元用于采集设备运行的软件应用相关数据；所述数据采集模块采用混合式采集，将主动式采集和被动采集结合。3.根据权利要求1所述的一种基于大数据的设备指纹采集系统，其特征在于：所述数据处理模块包括数据清洗单元和特征提取单元；所述数据清洗单元用于对数据采集模块获取到的数据进行清洗，获取到所需要素信息；所述特征提取单元用于对获取到的要素信息进行预处理，并提取出各要素信息对应的特征数据。4.根据权利要求1所述的一种基于大数据的设备指纹采集系统，其特征在于：所述数据检测模块包括模型训练单元、识别检测单元和数据分析单元；所述模型训练单元用于根据有效数据，对识别检测模型进行训练；所述识别检测单元用于将所述数据处理模块提取到的特征数据输入训练好的识别检测模型，对设备指纹的变更程度进行判断；所述数据分析单元，用于对检测结果进行分析，判断得出对于该设备指纹的处理方式，根据分析结果对设备指纹采用不同处理方式。5.根据权利要求1所述的一种基于大数据的设备指纹采集系统，其特征在于：所述数据传输模块包括数据加密单元和安全传输单元，所述数据加密单元用于对获取到的设备指纹相关要素数据进行加密处理，所述安全传输单元用于将加密处理后的数据安全传输至数据库中进行存储，根据所述数据分析单元的分析结果，对数据库中的设备指纹相关数据进行处理。6.一种基于大数据的设备指纹采集方法，其特征在于：包括以下步骤：S1：通过数据采集模块采集用户设备端的相关数据；S2：通过数据处理模块对采集到的相关数据进行处理，对处理得到的所需要素信息进行特征提取；S3：通过数据检测模块对处理得到的设备特征信息进行检测，根据检测结果对该设备指纹的处理方式进行分析判断；S4：通过数据传输模块对设备指纹相关数据进行加密处理，并将加密数据传输至数据库中进行存储。
7.根据权...

【专利技术属性】
技术研发人员：张德杨，
申请(专利权)人：广州格鲁信息技术有限公司，
类型：发明
国别省市：