【技术实现步骤摘要】
本专利技术属于计算机数据采集领域，具体为一种计算机数据采集系统。
技术介绍
1、数据采集就是指从控制器和其他被测机器设备等仿真模拟和数据被测模块中全自动采集信息的全过程，系统外部获取数据，并输入系统内部的接口，在许多领域，数据采集技术被广泛应用。
2、中国专利cn112156420b提出了一种健身力量器械数据采集系统及方法，包括主控装置、无线通讯模块、多个光电传感器与服务器，每个配重片上同一侧安装有遮光片；所述光电传感器用于实时采集用户健身力量数据，所述光电传感器设置在健身力量器械框架上距离所述遮光片相近的一侧；所述主控装置用于将所述光电传感器采集的数据进行存储与分析处理，并将处理后的数据通过所述无线通讯模块传输给所述服务器；所述服务器用于记录用户健身力量数据。本专利技术还提供一种健身力量器械数据采集方，通过光电传感器实时采集用户健身力量数据，通过主控装置将光电传感器采集的数据分析处理为拉起配重片的重量和次数，用户可以通过用户终端设备进行直观了解自身健身力量运动记录。
3、上述方案电传感器采集的数据分析处理为拉起配重片的重量和次数，用户可以通过用户终端设备进行直观了解自身健身力量运动记录，但是上述方案收集的数据不能保证和数据库的一致性，而且在数据库发生故障或崩溃，会导致收集的大数据消失，无法及时的保存采集的数据，降低了计算机数据采集系统的实用性。
技术实现思路
0、
技术实现思路
：
1、本专利技术的目的就在于为了解决上述问题而提供一种计算机数据采集
2、为了解决上述问题，本专利技术提供了一种技术方案：
3、一种计算机数据采集系统，包括中央处理器、明确数据需求系统、数据源配置系统、数据节点管理系统、处理异常模块、数据管理系统、数据分析和应用系统和数据安全；
4、所述明确数据需求系统用于明确自己需要哪些数据，需要哪些属性、变量等信息；
5、所述数据源配置系统用于给用户配置数据资源联系信息的重要操作区域；
6、所述数据节点管理系统对网络中的资源进行统一管理和分配，对各个节点进行资源调度和优化；
7、所述处理异常模块用于在发生错误时友好地提示、记录错误信息，更重要的是不破坏正常的数据和影响系统运行；
8、所述数据管理系统用于将数据文件导入数据库系统中；
9、所述数据分析和应用系统用于对大量的数据信息进行整理、分析，并且得出更为全面、系统和集中的实际情况；
10、所述数据安全用于对数据进行加密。
11、作为优选，所述数据源配置系统包括创建修改或删除数据源模块、数据源驱动程序、选择数据库和创建数据源；
12、所述创建修改或删除数据源用于把所有表复制到新库，再删除旧库更改数据库字符集；
13、所述数据源驱动程序用于连接数据库，操作系统正确识别和支持各种硬件设备，如显卡、声卡、网卡、打印机等；
14、所述用于选择数据库对数据进行组织、存储、管理；
15、所述创建数据源用于维持一个数据库连接池。
16、作为优选，所述数据节点管理系统包括数据节点执行单元和数据节点添加单元；数据节点执行单元包括数据节点基础模块、数据节点策略模块和检查点策略模块；
17、所述数据节点基础模块用于支持数据节点在系统中使用的基础配置，数据节点的连接信息、身份认证及个性化的连接参数；
18、所述数据节点策略模块用于数据融合任务在执行过程中，出现不同的运行事件及状态变化时的应对策略与管理规则；
19、所述检查点策略模块用于数据节点策略模块中的检查点策略配置mysql、oracle、sqlserver、postgresql四种类型数据节点的检查频率和检查范围。
20、作为优选，所述数据节点添加单元包括数据节点基本管理模块、添加数据节点模块和编辑数据节点模块；
21、所述数据节点基本管理模块用于在数据节点列表页新增数据节点，并对数据节点进行挂起、激活状态调整操作、删除数据节点操作和设置重要节点操作；
22、所述添加数据节点模块用于定义节点的名称、类型、描述、状态、重要程度、参与人以及不同类型数据节点的相关链接参数等信息；
23、所述编辑数据节点模块用于在数据节点详情界面可以编辑数据节点的名称、描述、基础连接信息以及检查点策略模块信息。
24、作为优选，所述处理异常模块包括自动保存模块、诊断模块和修复模块；
25、所述自动保存模块定时保存文件内容到指定路径下；
26、所述诊断模块用于将所述异常分数与预设阈值进行比较，根据比较结果得到各时刻数据的异常检测结果；
27、所述修复模块用于程序在发生错误时友好地提示、记录错误信息，不破坏正常的数据和影响系统运行。
28、作为优选，所述数据管理系统包括数据清洗单元和数据处理单元；所述数据清洗单元包括明确缺失值的范围模块、去除模块、填充缺失模块和重新取数模块；
29、所述明确缺失值的范围模块用于每个字段进行计算其缺失值比例，并按照缺失比例和字段重要性，分别制定策略；
30、所述去除模块删掉不需要的字段；
31、所述重新取数模块用于向取数人员或是业务人员进行资讯，将重要但缺失率又较高的数据进行收集。
32、作为优选，所述数据处理单元包括数据类型转换和数据格式转换；
33、所述数据类型转换用于将不同类型的数据统一转换成一种类型；
34、所述数据格式转换将不同格式的数据统一转换成一种格式。
35、作为优选，所述数据分析和应用系统包括存储数据单元和分析数据单元；所述分析数据单元包括交互式可视化、描述性统计分析和探索性数据分析；
36、所述交互式可视化用于通过鼠标交互等方式实现对图表的动态操作；
37、所述描述性统计分析用于对数据进行整体性的描述和总结；
38、所述探索性数据分析对数据进行详细的探索和分析。
39、作为优选，所述存储数据单元包括图表制作、文件存储模块和数据库存储模块；
40、所述图表制作用于利用各种图表工具将数据转换成图表形式进行展示分析；
41、所述文件存储模块将处理结果保存到本地文件系统中；
42、所述数据库存储模块用于将处理结果保存到数据库中。
43、作为优选，所述数据安全包括数据备份模块和数据加密模块；
44、所述数据备份模块用于对处理结果进行定期备份；
45、所述数据加密模块用于对敏感数据进行加密。
46、本专利技术的有益效果是：通过设置检查点策略模块，可以保证数据库的一致性，将脏数据写到磁盘，保证内存和磁盘中的数据保持一致，在数据库发生故障或崩溃时，可以通过恢复日志将数本文档来自技高网...
【技术保护点】
1.一种计算机数据采集系统，其特征在于，包括中央处理器、明确数据需求系统、数据源配置系统、数据节点管理系统、处理异常模块、数据管理系统、数据分析和应用系统和数据安全；
2.根据权利要求1所述的一种计算机数据采集系统，其特征在于，所述数据源配置系统包括创建修改或删除数据源模块、数据源驱动程序、选择数据库和创建数据源；
3.根据权利要求1所述的一种计算机数据采集系统，其特征在于，所述数据节点管理系统包括数据节点执行单元和数据节点添加单元；数据节点执行单元包括数据节点基础模块、数据节点策略模块和检查点策略模块；
4.根据权利要求3所述的一种计算机数据采集系统，其特征在于，所述数据节点添加单元包括数据节点基本管理模块、添加数据节点模块和编辑数据节点模块；
5.根据权利要求1所述的一种计算机数据采集系统，其特征在于，所述处理异常模块包括自动保存模块、诊断模块和修复模块；
6.根据权利要求1所述的一种计算机数据采集系统，其特征在于，所述数据管理系统包括数据清洗单元和数据处理单元；所述数据清洗单元包括明确缺失值的范围模块、去除模块、填
7.根据权利要求6所述的一种计算机数据采集系统，其特征在于，所述数据处理单元包括数据类型转换和数据格式转换；
8.根据权利要求1所述的一种计算机数据采集系统，其特征在于，所述数据分析和应用系统包括存储数据单元和分析数据单元；所述分析数据单元包括交互式可视化、描述性统计分析和探索性数据分析；
9.根据权利要求8所述的一种计算机数据采集系统，其特征在于，所述存储数据单元包括图表制作、文件存储模块和数据库存储模块；
10.根据权利要求1所述的一种计算机数据采集系统，其特征在于，所述数据安全包括数据备份模块和数据加密模块；
...【技术特征摘要】
1.一种计算机数据采集系统，其特征在于，包括中央处理器、明确数据需求系统、数据源配置系统、数据节点管理系统、处理异常模块、数据管理系统、数据分析和应用系统和数据安全；
2.根据权利要求1所述的一种计算机数据采集系统，其特征在于，所述数据源配置系统包括创建修改或删除数据源模块、数据源驱动程序、选择数据库和创建数据源；
3.根据权利要求1所述的一种计算机数据采集系统，其特征在于，所述数据节点管理系统包括数据节点执行单元和数据节点添加单元；数据节点执行单元包括数据节点基础模块、数据节点策略模块和检查点策略模块；
4.根据权利要求3所述的一种计算机数据采集系统，其特征在于，所述数据节点添加单元包括数据节点基本管理模块、添加数据节点模块和编辑数据节点模块；
5.根据权利要求1所述的一种计算机数据采集系统，其特征在于，所述处理异常模块包括自动保存模块...
【专利技术属性】
技术研发人员：王艳兵，姬翔宇，靳春生，疏寒冰，
申请(专利权)人：徽商职业学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。