基于大数据和人工智能的数据分析方法及云端数据服务器技术

本公开揭示的基于大数据和人工智能的数据分析方法及云端数据服务器，首先获取原始业务数据以及智能终端设备的设备配置参数，其次基于设备配置参数确定业务逻辑信息并进行筛选得到至少两个目标逻辑节点，然后通过目标逻辑节点对原始业务数据进行数据格式还原得到待处理业务数据，进而根据目标设备配置参数确定待处理业务数据的数据兼容性分布以及根据业务标签确定待处理业务数据的数据关联性分布，最后基于数据兼容性分布和数据关联性分布对待处理业务数据进行关键数据提取得到关键数据集。如此，能够在进行关键数据提取时考虑不同数据集之间的关联性和传递性，从而确保提取到互相之间存在联系的关键数据，提高关键数据的特征识别度和兼容性。

【技术实现步骤摘要】
基于大数据和人工智能的数据分析方法及云端数据服务器
本公开涉及大数据分析和人工智能处理
，特别涉及一种基于大数据和人工智能的数据分析方法及云端数据服务器。
技术介绍
随着通信技术的快速发展，现代社会也逐渐步入大数据时代。大数据时代具有数据量大、数据类型多样化、数据交互快速以及数据价值深度广等优点，能够应用于现代社会的多个行业，从而提高生产效率和生活质量。然而，随着数据量的进一步增大，数据处理设备中所存储或使用的数据量也在逐渐增多，这样会导致数据处理设备的运行速度过慢。为改善这一问题，需要对大量数据进行关键数据提取，以实现采用更为精简的数据来替代原始数据，从而提高数据处理设备的运行速度和效率。但是，常见的对原始数据进行关键数据提取的方法会存在关键数据的特征识别度低且兼容性差的技术问题。
技术实现思路
为改善相关技术中存在的上述技术问题，本公开提供了基于大数据和人工智能的数据分析方法及云端数据服务器。第一方面，提供一种基于大数据和人工智能的数据分析方法，应用于云端数据服务器，所述方法包括以下步骤：在从智能终端设备的数据库中获取所述智能终端设备在运行时所存储的原始业务数据的同时，并行地提取所述智能终端设备的设备配置参数；基于提取到的设备配置参数确定用于对所述原始业务数据进行数据格式还原的业务逻辑信息，从所述业务逻辑信息中提取出多个待使用的业务逻辑节点的节点封装参数以及不同业务逻辑节点之间的传递路径信息；根据所述节点封装参数和所述传递路径信息对多个待使用的业务逻辑节点进行筛选得到至少两个目标逻辑节点；其中，所述目标逻辑节点的节点封装参数的参数特征值位于设定数值区间内且不同的目标逻辑节点之间的传递路径信息的数据缺损率小于设定值；通过所述目标逻辑节点对所述原始业务数据进行数据格式还原，得到待处理业务数据；根据从预设的通信记录中确定出的目标终端设备的目标设备配置参数确定所述待处理业务数据的数据兼容性分布，以及根据确定出的所述待处理业务数据中的业务标签确定所述待处理业务数据的数据关联性分布；基于所述数据兼容性分布和所述数据关联性分布对所述待处理业务数据进行关键数据提取，得到关键数据集。在第一方面所述的方案中，基于所述数据兼容性分布和所述数据关联性分布对所述待处理业务数据进行关键数据提取，得到关键数据集，包括：基于所述数据关联性分布对所述待处理业务数据进行数据集拆分得到多个待处理数据集，根据每个待处理数据集与其他待处理数据集之间的关联系数计算每个待处理数据集的关联性权重；按照所述关联性权重由大到小的顺序将所述待处理数据集进行排序得到数据集排序序列；基于所述数据兼容性分布依次对所述数据集排序序列中的每个待处理数据集进行关键数据提取，当每提取一组关键数据时，计算该组关键数据的当前特征识别权重和当前兼容性权重；在当前特征识别权重和当前兼容性权重满足设定条件时，继续按照所述数据集排序序列进行关键数据提取；在当前特征识别权重和当前兼容性权重不满足设定条件时，删除当前组关键数据并进行回滚，对当前组关键数据对应的下一排序序列的待处理数据集进行关键数据提取，直至完成对所述数据集排序序列中所有待处理数据集的关键数据提取。在第一方面所述的方案中，判断当前特征识别权重和当前兼容性权重是否满足设定条件具体包括以下内容：根据所述数据集排序序列的序列特征分布轨迹确定当前特征识别权重的第一优先级以及当前兼容性权重的第二优先级；比较所述第一优先级和所述第二优先级的大小；在所述第一优先级大于所述第二优先级时，判断所述当前特征识别权重是否超过第一预设值；在所述当前特征识别权重未超过所述第一预设值时，判断所述当前兼容性权重是否低于第二预设值，在所述当前兼容性权重低于所述第二预设值时判定所述当前特征识别权重和所述当前兼容性权重满足设定条件；在所述当前兼容性权重大于等于所述第二预设值时判定所述当前特征识别权重和所述当前兼容性权重不满足设定条件；在所述当前特征识别权重超过所述第一预设值时判定所述当前特征识别权重和所述当前兼容性权重不满足设定条件；其中，所述第一预设值和所述第二预设值是根据所述第一优先级和所述第二优先级的差值在第一预设映射列表中的第一映射值确定的；在所述第一优先级小于等于所述第二优先级时，判断所述当前特征识别权重是否超过第三预设值；在所述当前特征识别权重未超过所述第三预设值时，判断所述当前兼容性权重是否低于第四预设值，在所述当前兼容性权重低于所述第四预设值时判定所述当前特征识别权重和所述当前兼容性权重满足设定条件；在所述当前兼容性权重大于等于所述第四预设值时判定所述当前特征识别权重和所述当前兼容性权重不满足设定条件；在所述当前特征识别权重超过所述第三预设值时判定所述当前特征识别权重和所述当前兼容性权重不满足设定条件；其中，所述第三预设值和所述第四预设值是根据所述第一优先级和所述第二优先级分别在第二预设映射列表中的第二映射值确定的，所述第一预设映射列表与所述第二预设映射列表为互补的列表。在第一方面所述的方案中，在从智能终端设备的数据库中获取所述智能终端设备在运行时所存储的原始业务数据的同时，并行地提取所述智能终端设备的设备配置参数，具体包括：生成与所述数据库的访问日志信息对应的查询语句并通过预先与所述数据库建立的传输接口发送所述查询语句，并在发送所述查询语句的同时检测所述智能终端设备的参数配置线程是否处于启动状态；在检测到所述参数配置线程处于所述启动状态时，向所述智能终端设备发送同步指令以使得所述智能终端设备通过执行所述同步指令将基于所述查询语句从所述数据库中查询得到的原始业务数据以及从所述参数配置线程对应的运行记录中提取的所述设备配置参数进行同步反馈；在检测到所述参数配置线程处于关闭状态时，根据所述参数配置线程的线程启动延迟生成启动指令并下发至所述智能终端设备，以使得所述智能终端设备根据所述启动指令启动所述参数配置线程并从所述参数配置线程对应的运行记录中提取的所述设备配置参数，并使得所述智能终端设备根据所述启动指令延迟性地基于所述查询语句从所述数据库中查询得到原始业务数据，同步接收所述智能终端设备反馈的设备配置参数和原始业务数据。在第一方面所述的方案中，基于提取到的设备配置参数确定用于对所述原始业务数据进行数据格式还原的业务逻辑信息，从所述业务逻辑信息中提取出多个待使用的业务逻辑节点的节点封装参数以及不同业务逻辑节点之间的传递路径信息，包括：从所述设备配置参数中确定出多个具有不同配置类别信息的参数段，根据所述参数段构建第一数据格式队列以及第二数据格式队列；将所述第一数据格式队列中的任意一个第一队列单元对应的格式描述信息映射到所述第二数据格式队列中的对应位置上的第二队列单元中，并确定所述格式描述信息在所述第二队列单元中的格式映射信息；基于所述格式映射信息与所述第二队列单元中的目标描述信息之间的相关性系数确定所述设备配置参数在设定时段内常用的目标数据格式，解析所述目标数据格式对应的格式本文档来自技高网...

【技术保护点】
1.一种基于大数据和人工智能的数据分析方法，其特征在于，应用于云端数据服务器，所述方法包括以下步骤：/n在从智能终端设备的数据库中获取所述智能终端设备在运行时所存储的原始业务数据的同时，并行地提取所述智能终端设备的设备配置参数；/n基于提取到的设备配置参数确定用于对所述原始业务数据进行数据格式还原的业务逻辑信息，从所述业务逻辑信息中提取出多个待使用的业务逻辑节点的节点封装参数以及不同业务逻辑节点之间的传递路径信息；根据所述节点封装参数和所述传递路径信息对多个待使用的业务逻辑节点进行筛选得到至少两个目标逻辑节点；其中，所述目标逻辑节点的节点封装参数的参数特征值位于设定数值区间内且不同的目标逻辑节点之间的传递路径信息的数据缺损率小于设定值；/n通过所述目标逻辑节点对所述原始业务数据进行数据格式还原，得到待处理业务数据；/n根据从预设的通信记录中确定出的目标终端设备的目标设备配置参数确定所述待处理业务数据的数据兼容性分布，以及根据确定出的所述待处理业务数据中的业务标签确定所述待处理业务数据的数据关联性分布；/n基于所述数据兼容性分布和所述数据关联性分布对所述待处理业务数据进行关键数据提取，得到关键数据集。/n...

【技术特征摘要】
1.一种基于大数据和人工智能的数据分析方法，其特征在于，应用于云端数据服务器，所述方法包括以下步骤：
在从智能终端设备的数据库中获取所述智能终端设备在运行时所存储的原始业务数据的同时，并行地提取所述智能终端设备的设备配置参数；
基于提取到的设备配置参数确定用于对所述原始业务数据进行数据格式还原的业务逻辑信息，从所述业务逻辑信息中提取出多个待使用的业务逻辑节点的节点封装参数以及不同业务逻辑节点之间的传递路径信息；根据所述节点封装参数和所述传递路径信息对多个待使用的业务逻辑节点进行筛选得到至少两个目标逻辑节点；其中，所述目标逻辑节点的节点封装参数的参数特征值位于设定数值区间内且不同的目标逻辑节点之间的传递路径信息的数据缺损率小于设定值；
通过所述目标逻辑节点对所述原始业务数据进行数据格式还原，得到待处理业务数据；
根据从预设的通信记录中确定出的目标终端设备的目标设备配置参数确定所述待处理业务数据的数据兼容性分布，以及根据确定出的所述待处理业务数据中的业务标签确定所述待处理业务数据的数据关联性分布；
基于所述数据兼容性分布和所述数据关联性分布对所述待处理业务数据进行关键数据提取，得到关键数据集。


2.根据权利要求1所述的方法，其特征在于，基于所述数据兼容性分布和所述数据关联性分布对所述待处理业务数据进行关键数据提取，得到关键数据集，包括：
基于所述数据关联性分布对所述待处理业务数据进行数据集拆分得到多个待处理数据集，根据每个待处理数据集与其他待处理数据集之间的关联系数计算每个待处理数据集的关联性权重；
按照所述关联性权重由大到小的顺序将所述待处理数据集进行排序得到数据集排序序列；
基于所述数据兼容性分布依次对所述数据集排序序列中的每个待处理数据集进行关键数据提取，当每提取一组关键数据时，计算该组关键数据的当前特征识别权重和当前兼容性权重；在当前特征识别权重和当前兼容性权重满足设定条件时，继续按照所述数据集排序序列进行关键数据提取；在当前特征识别权重和当前兼容性权重不满足设定条件时，删除当前组关键数据并进行回滚，对当前组关键数据对应的下一排序序列的待处理数据集进行关键数据提取，直至完成对所述数据集排序序列中所有待处理数据集的关键数据提取。


3.根据权利要求2所述的方法，其特征在于，判断当前特征识别权重和当前兼容性权重是否满足设定条件具体包括以下内容：
根据所述数据集排序序列的序列特征分布轨迹确定当前特征识别权重的第一优先级以及当前兼容性权重的第二优先级；
比较所述第一优先级和所述第二优先级的大小；
在所述第一优先级大于所述第二优先级时，判断所述当前特征识别权重是否超过第一预设值；在所述当前特征识别权重未超过所述第一预设值时，判断所述当前兼容性权重是否低于第二预设值，在所述当前兼容性权重低于所述第二预设值时判定所述当前特征识别权重和所述当前兼容性权重满足设定条件；在所述当前兼容性权重大于等于所述第二预设值时判定所述当前特征识别权重和所述当前兼容性权重不满足设定条件；在所述当前特征识别权重超过所述第一预设值时判定所述当前特征识别权重和所述当前兼容性权重不满足设定条件；其中，所述第一预设值和所述第二预设值是根据所述第一优先级和所述第二优先级的差值在第一预设映射列表中的第一映射值确定的；
在所述第一优先级小于等于所述第二优先级时，判断所述当前特征识别权重是否超过第三预设值；在所述当前特征识别权重未超过所述第三预设值时，判断所述当前兼容性权重是否低于第四预设值，在所述当前兼容性权重低于所述第四预设值时判定所述当前特征识别权重和所述当前兼容性权重满足设定条件；在所述当前兼容性权重大于等于所述第四预设值时判定所述当前特征识别权重和所述当前兼容性权重不满足设定条件；在所述当前特征识别权重超过所述第三预设值时判定所述当前特征识别权重和所述当前兼容性权重不满足设定条件；其中，所述第三预设值和所述第四预设值是根据所述第一优先级和所述第二优先级分别在第二预设映射列表中的第二映射值确定的，所述第一预设映射列表与所述第二预设映射列表为互补的列表。


4.根据权利要求1-3任一项所述的方法，其特征在于，在从智能终端设备的数据库中获取所述智能终端设备在运行时所存储的原始业务数据的同时，并行地提取所述智能终端设备的设备配置参数，具体包括：
生成与所述数据库的访问日志信息对应的查询语句并通过预先与所述数据库建立的传输接口发送所述查询语句，并在发送所述查询语句的同时检测所述智能终端设备的参数配置线程是否处于启动状态；
在检测到所述参数配置线程处于所述启动状态时，向所述智能终端设备发送同步指令以使得所述智能终端设备通...

【专利技术属性】
技术研发人员：陈顺发，
申请(专利权)人：陈顺发，
类型：发明
国别省市：广东;44