【技术实现步骤摘要】
一种模型自适应的信息处理系统及其处理方法
本专利技术涉及一种模型自适应的信息处理系统及其处理方法，属于计算机网络
技术介绍
计算机信息处理技术是计算机网络技术的核心，大数据网络环境下，对信息处理技术提出来更高的要求。分布式信息处理技术目前应用广泛，但目前的分布式处理系统在面临各种传感装置采集的多源大数据时，由于未将算力分配与数据价值进行匹配，因而仍然存在算力浪费、资源消耗大的问题。
技术实现思路
本专利技术的目的在于针对上述现有技术的不足，提供一种模型自适应的信息处理系统及其处理方法。一种模型自适应的信息处理方法，包括以下步骤：获取传感装置数据；提取所述传感装置数据信息，其中，所述数据信息包括：存储信息、索引信息以及内容信息；对所述数据信息输入预设判断模型，将输出的综合结果不低于阈值的数据存储到第一存储节点中，将输出的综合结果低于阈值的数据删除；第一存储节点发送操作请求，第一管理节点接收操作请求，从所述操作请求中解析索引信息，依据所述索引信息找到对应计算节...
【技术保护点】
1.一种模型自适应的信息处理系统，其特征在于，所述处理系统包括：采集模块，用于获取传感装置数据；/n信息提取模块，用于提取所述传感器数据信息，其中，所述数据信息包括：存储信息、索引信息以及内容信息；/n判断模块，用于对所述数据信息输入预设判断模型，将输出的综合结果不低于阈值的数据存储到第一存储节点中，将输出的综合结果低于阈值的数据删除；/n解析模块，第一存储节点发送操作请求，第一管理节点接收操作请求，从所述操作请求中解析索引数据，依据所述索引数据找到对应计算节点并发送操作指令；/n任务执行模块，所述计算节点划将操作指令划分为多个待处理的任务，并行执行；/n日志记录模块，在计...
【技术特征摘要】
1.一种模型自适应的信息处理系统，其特征在于，所述处理系统包括：采集模块，用于获取传感装置数据；
信息提取模块，用于提取所述传感器数据信息，其中，所述数据信息包括：存储信息、索引信息以及内容信息；
判断模块，用于对所述数据信息输入预设判断模型，将输出的综合结果不低于阈值的数据存储到第一存储节点中，将输出的综合结果低于阈值的数据删除；
解析模块，第一存储节点发送操作请求，第一管理节点接收操作请求，从所述操作请求中解析索引数据，依据所述索引数据找到对应计算节点并发送操作指令；
任务执行模块，所述计算节点划将操作指令划分为多个待处理的任务，并行执行；
日志记录模块，在计算节点任务执行完成后，第一管理节点将其管理的每个计算节点所处理数据信息及处理时间记录在日志中；
模型评价模块，第二管理节点周期性调取日志，获取日志信息，将数据信息及处理时间信息输入评价模型，以对当前判断模型的稳定性和准确性进行判断。
2.如权利要求1所述的信息处理系统，其特征在于，所述预设判断模型采用以下多种算法级联构建，具体的步骤为：
根据存储信息，将不符合条件的传感装置数据过滤，所述条件是指存储节点的最大存储能力条件；
解析过滤后的传感装置数据的内容信息，用多模态构建器对内容信息进行特征表示；
根据表示的特征向量，将传感装置数据进行重要度排序，所述重要度是使用k-means算法进行主题聚类，根据传感装置数据内容与处理主题类簇中心的距离计算重要度，距离越小重要度越高；
训练adaboost分类器，对待修正结果的数据信息进行分类，得出修正后的结果；
根据预设判断模型计算出数据信息的综合结果，并进行输出。
3.如权利要求2所述的信息处理系统，其特征在于，所述对当前判断模型的稳定性和准确性进行判断由更新模块进行，当所述当前判断模型的稳定性未达到预设稳定性阈值或所述当前判断模型的准确性未达到预设准确性阈值时，对判断模型进行调整，形成新的判断模型；
当所述当前判断模型的稳定性达到所述预设稳定性阈值且所述当前判断模型的准确性达到所述预设准确性阈值时，继续保留所述当前判断模型。
4.如权利要求3所述的信息处理系统，其特征在于，所述对判断模型进行调整，步骤为：
将表示的特征向量的权重参数进行调整，以形成新的重要度排序，从而判断模型生成不同的综合输出结果；
将不同的输出结果所指向的计算节点任务分配方式作为评价模型训练样本，并进行模型迭代；
直至评价模型评估当前权重参数下的判断模型稳定性达到所述预设稳定性阈值，且所述当前权重参数下的判断模型的准确性达到所述预设准确性阈值，则完成判断模型调整。
5.如权利要求4所述的信息处理系统，其特征在于，所述用多模态构建器对内容信息进行特征表示，是当所述数据为文本数据时，使用TF-IDF算...
【专利技术属性】
技术研发人员：赵胜飞，
申请(专利权)人：渭南双盈未来科技有限公司，
类型：发明
国别省市：陕西;61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。