一种体测数据的高效批量导入方法及系统技术方案

本发明专利技术提供了一种体测数据的高效批量导入方法及系统，涉及数据导入处理技术领域，获取待导入数据库，进行属性列

【技术实现步骤摘要】
一种体测数据的高效批量导入方法及系统


[0001]本专利技术涉及数据导入处理
，具体涉及一种体测数据的高效批量导入方法及系统。

技术介绍

[0002]学校会定期进行体测以进行学生身体素质评估，对于定期体测数据，需进行系统导入以进行数据存储，使得待导入信息从数据收集系统导入数据管理系统，由于体测数据量较大，使得体测数据的导入过程中数据导入效率与准确率存在一定的限制，现如今，可通过能够与数据仓库进行直接通讯的交互式客户端进行数据采集，并通过命令行或者发包的形式将数据传输至目标数据仓库，现今常用的数据导入方法还不够完善，有待进一步进行提升。
[0003]现有技术中，数据的批量导入方法智能度不足，无法针对数据差异化基于专向通道进行导入，使得最终的数据的导入效率较低，导入准确度不足。

技术实现思路

[0004]本申请提供了一种体测数据的高效批量导入方法及系统，用于针对解决现有技术中存在的数据的批量导入方法智能度不足，无法针对数据差异化基于专向通道进行导入，使得最终的数据的导入效率较低，导入准确度不足的技术问题。
[0005]鉴于上述问题，本申请提供了一种体测数据的高效批量导入方法及系统。
[0006]第一方面，本申请提供了一种体测数据的高效批量导入方法，所述方法包括：连接所述云端数据库，获得待导入数据库；对所述待导入数据库进行属性列
‑
数据列的格式转换，生成批量导入表；对所述批量导入表进行属性数据敏感性分析，标识敏感导入表；基于所述待导入数据库的导入目标，建立数据传输通道组，其中，所述数据传输通道组包括第一数据传输通道和第二数据传输通道；将所述敏感导入表通过所述第一数据传输通道进行导入，获取第一数据导入结果；将所述批量导入表中除所述标识敏感导入表以外的剩余导入表通过所述第二数据传输通道进行导入，获取第二数据导入结果；对所述第一数据导入结果和所述第二数据导入结果进行多指标检测，若未出现检测异常，输出导入成功的结果。
[0007]第二方面，本申请提供了一种体测数据的高效批量导入系统，所述系统包括：数据库获取模块，所述数据库获取模块用于连接所述云端数据库，获得待导入数据库；导入表生成模块，所述导入表生成模块用于对所述待导入数据库进行属性列
‑
数据列的格式转换，生成批量导入表；
敏感数据标识模块，所述敏感数据标识模块用于对所述批量导入表进行属性数据敏感性分析，标识敏感导入表；传输通道建立模块，所述传输通道建立模块用于基于所述待导入数据库的导入目标，建立数据传输通道组，其中，所述数据传输通道组包括第一数据传输通道和第二数据传输通道；第一数据导入结果获取模块，所述第一数据导入结果获取模块用于将所述敏感导入表通过所述第一数据传输通道进行导入，获取第一数据导入结果；第二数据导入结果获取模块，所述第二数据导入结果获取模块用于将所述批量导入表中除所述标识敏感导入表以外的剩余导入表通过所述第二数据传输通道进行导入，获取第二数据导入结果；导入结果检测模块，所述导入结果检测模块用于对所述第一数据导入结果和所述第二数据导入结果进行多指标检测，若未出现检测异常，输出导入成功的结果。
[0008]本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：本申请实施例提供的一种体测数据的高效批量导入方法，连接所述云端数据库，得待导入数据库，进行属性列
‑
数据列的格式转换生成批量导入表，对所述批量导入表进行属性数据敏感性分析，标识敏感导入表；基于所述待导入数据库的导入目标，建立数据传输通道组，包括第一数据传输通道和第二数据传输通道，将所述敏感导入表基于所述第一数据传输通道进行导入；将所述批量导入表中除所述标识敏感导入表以外的剩余导入表通过所述第二数据传输通道进行导入，获取第一数据导入结果与第二数据导入结果，对其进行多指标检测，若未出现检测异常，输出导入成功的结果，解决了现有技术中数据的批量导入方法智能度不足，无法针对数据差异化基于专向通道进行导入，使得最终的数据的导入效率较低，导入准确度不足的技术问题，通过进行数据标准化与数据分类，分别构建传输通道进行专向传输，实现数据的高效、高精度导入。
附图说明
[0009]图1为本申请提供了一种体测数据的高效批量导入方法流程示意图；图2为本申请提供了一种体测数据的高效批量导入方法中批量导入表属性关联流程示意图；图3为本申请提供了一种体测数据的高效批量导入方法中敏感导入表标识流程示意图；图4为本申请提供了一种体测数据的高效批量导入系统结构示意图。
[0010]附图标记说明：数据库获取模块11，导入表生成模块12，敏感数据标识模块13，传输通道建立模块14，第一数据导入结果获取模块15，第二数据导入结果获取模块16，导入结果检测模块17。
具体实施方式
[0011]本申请通过提供一种体测数据的高效批量导入方法及系统，获取待导入数据库，进行属性列
‑
数据列的格式转换生成批量导入表，进行属性数据敏感性分析并标识敏感导入表，建立数据传输通道组，将敏感导入表基于第一数据传输通道进行导入；将剩余导入表
通过第二数据传输通道进行导入，获取数据导入结果并进行多指标检测，若未出现检测异常，输出导入成功的结果，用于解决现有技术中存在的数据的批量导入方法智能度不足，无法针对数据差异化基于专向通道进行导入，使得最终的数据的导入效率较低，导入准确度不足的技术问题。
[0012]实施例一如图1所示，本申请提供了一种体测数据的高效批量导入方法，所述方法应用于数据高效批量导入系统，所述系统与云端数据库通信连接，所述方法包括：步骤S100：连接所述云端数据库，获得待导入数据库；具体而言，学校会定期进行体测以进行学生身体素质评估，对于定期体测数据，需进行系统导入以进行数据存储，由于体测数据量较大，使得体测数据的导入过程中数据导入效率与准确率存在一定的限制，本申请提供的一种体测数据的高效批量导入方法应用于数据高效批量导入系统，所述数据高效批量导入系统为进行体测数据导入的总控系统，所述系统与所述云端数据库通信连接，所述云端数据库包含了多种繁杂的数据类型，连接所述云端数据库，对待进行导入的数据进行调取，例如，多个学校同批次的体测数据，作为所述待导入数据库，所述待导入数据库的获取，为后续进行体测数据的批量导入提供了数据源。
[0013]步骤S200：对所述待导入数据库进行属性列
‑
数据列的格式转换，生成批量导入表；进一步而言，如图2所示，本申请步骤S200还包括：步骤S210：对所述批量导入表中的数据进行关联性分析，获取属性关联系数；步骤S220：按照所述属性关联系数，对所述批量导入表进行列连接，得到导入表连接结果；步骤S230：基于所述导入表连接结果对连接表进行连接符标识，用于实现数据传输中的关联传输。
[0014]具体而言，通过进行需求数据调取获取所述待导入数据库，对所述待导入数据库进行数据格式转换，确定多种数据属性，包括体测项目，例如50米、800米、跳远等，进行数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种体测数据的高效批量导入方法，其特征在于，所述方法应用于数据高效批量导入系统，所述系统与云端数据库通信连接，所述方法包括：连接所述云端数据库，获得待导入数据库；对所述待导入数据库进行属性列
‑
数据列的格式转换，生成批量导入表；对所述批量导入表进行属性数据敏感性分析，标识敏感导入表；基于所述待导入数据库的导入目标，建立数据传输通道组，其中，所述数据传输通道组包括第一数据传输通道和第二数据传输通道；将所述敏感导入表通过所述第一数据传输通道进行导入，获取第一数据导入结果；将所述批量导入表中除所述标识敏感导入表以外的剩余导入表通过所述第二数据传输通道进行导入，获取第二数据导入结果；对所述第一数据导入结果和所述第二数据导入结果进行多指标检测，若未出现检测异常，输出导入成功的结果。2.如权利要求1所述的方法，其特征在于，所述方法还包括：对所述批量导入表中的数据进行关联性分析，获取属性关联系数；按照所述属性关联系数，对所述批量导入表进行列连接，得到导入表连接结果；基于所述导入表连接结果对连接表进行连接符标识，用于实现数据传输中的关联传输。3.如权利要求1所述的方法，其特征在于，对所述批量导入表进行属性数据敏感性分析，标识敏感导入表，方法还包括：获取所述批量导入表中各个表的项目属性集合；得到预设敏感信息项，以所述预设敏感信息项生成敏感项遍历库；按照所述项目属性集合与所述敏感项遍历库进行遍历比对，判断是否存在敏感项，若存在敏感项，获取项标识指令；根据所述项标识指令，对存在敏感项的导入表进行标识。4.如权利要求1所述的方法，其特征在于，所述方法还包括：设置批量导入模式，其中，所述批量导入模式用于配置所述数据传输通道组中所述第一数据传输通道和所述第二数据传输通道的激活条件；其中，所述批量导入模式包括极速导入模式和安全导入模式；根据所述极速导入模式，对所述第一数据传输通道和所述第二数据传输通道配置传输参数，用于实现同属性传输通道的并列导入；根据所述安全导入模式，对所述第一数据传输通道配置安全密钥，对所述第二数据传输通道配置传输参数，用于实现不同属性传输通道的双分导入。5.如权利要求1所述的方法，其特征在于，对所述第一数据导入结果和所述第二数据导入结果进行多指标检测，方法还包括：搭建多指标检测模型，其中，所述多指标检测模型包括文件类型检测、数据位置检测、...

【专利技术属性】
技术研发人员：徐美芳，周强，孙海江，钱晓玲，张磊，王绍娟，雷文海，
申请(专利权)人：中大体育产业集团股份有限公司，
类型：发明
国别省市：