【技术实现步骤摘要】
数据导入方法、装置、电子设备及存储介质
本专利技术涉及大数据
，尤其涉及一种数据导入方法、装置、电子设备及存储介质。
技术介绍
随着各种应用需求，经常需要将不同的手工报表数据导入数据库进行管理。目前，利用数据库自带的数据导入主要有两种:一种是静态查询导入，这类需要预先生成好类似的表结构、定义好字段类型和数据类型，再通过手工复制导入，效率较低。另外一种是DMP查询导入，这类比较专业，需要技术人员通过数据库后台来导入，虽然效率不错，但需要有技术开发基础，很难满足不同类型的数据库的要求，通用性不大。因此，如何提高数据的导入效率，同时满足通用性要求是一个亟待解决的技术问题。
技术实现思路
鉴于以上内容，有必要提供一种数据导入方法、装置、电子设备及存储介质，能够提高数据的导入效率，同时满足通用性要求。本专利技术的第一方面提供一种数据导入方法，所述数据导入方法包括：获取第一结构化数据；通过结构化查询语言SQL，将所述第一结构化数据转化成第一SQL语句；将所述第一SQL语句...
【技术保护点】
1.一种数据导入方法，其特征在于，所述数据导入方法包括：/n获取第一结构化数据；/n通过结构化查询语言SQL，将所述第一结构化数据转化成第一SQL语句；/n将所述第一SQL语句存储至数据库的缓存文件中；/n根据所述数据库待插入的目标数据表的数据存储状态，计算所述数据库允许插入数据的预设数量阈值；/n判断所述缓存文件中存储的第一SQL语句的数量是否大于或等于所述预设数量阈值；/n若所述缓存文件中存储的第一SQL语句的数量大于或等于所述预设数量阈值，按照所述预设数量阈值，将所述缓存文件中存储的第一SQL语句进行划分，获得多组第一SQL语句，其中，划分后的每组所述第一SQL语句的...
【技术特征摘要】
1.一种数据导入方法，其特征在于，所述数据导入方法包括：
获取第一结构化数据；
通过结构化查询语言SQL，将所述第一结构化数据转化成第一SQL语句；
将所述第一SQL语句存储至数据库的缓存文件中；
根据所述数据库待插入的目标数据表的数据存储状态，计算所述数据库允许插入数据的预设数量阈值；
判断所述缓存文件中存储的第一SQL语句的数量是否大于或等于所述预设数量阈值；
若所述缓存文件中存储的第一SQL语句的数量大于或等于所述预设数量阈值，按照所述预设数量阈值，将所述缓存文件中存储的第一SQL语句进行划分，获得多组第一SQL语句，其中，划分后的每组所述第一SQL语句的数量小于或等于所述预设数量阈值；
按照队列形式，依次将每组所述第一SQL语句插入至所述数据库的目标数据表中。
2.根据权利要求1所述的数据导入方法，其特征在于，所述通过结构化查询语言SQL，将所述第一结构化数据转化成第一SQL语句包括：
将所述结构化数据复制到excel中；
根据业务需求，通过所述excel中的公式对所述结构化数据进行处理，获得处理数据；
根据预先生成的语法模板以及所述处理数据，生成通用脚本的第一SQL语句。
3.根据权利要求1所述的数据导入方法，其特征在于，所述根据所述数据库待插入的目标数据表的数据存储状态，计算所述数据库允许插入数据的预设数量阈值包括：
确定所述第一SQL语句待插入的数据库的目标数据表；
获取所述目标数据表中当前已存储的数据量；
获取所述数据库的程序全局域PGA的使用值、所述数据库的临时表的空间大小以及所述临时表的空间使用率；
根据所述数据量、所述使用值、所述空间大小以及所述空间使用率，计算所述数据库允许插入数据的预设数量阈值。
4.根据权利要求1所述的数据导入方法，其特征在于，所述根据所述数据库待插入的目标数据表的数据存储状态，计算所述数据库允许插入数据的预设数量阈值包括：
确定所述第一SQL语句待插入的数据库的目标数据表；
若所述目标数据表未存储任何数据，获取平均每天访问所述数据库的用户数、用户每天登陆时长以及考察时间长度；
根据所述用户数、所述用户每天登陆时长以及所述考察时间长度，计算平均并发用户数；
获取磁盘的输入/输出读写能力值；
根据所述平均并发用户数以及所述读写能力值，计算所述数据库允许插入数据的预设数量阈值。
5.根据权利要求1所述的数据导入方法，其特征在于，所述按照所述预设数量阈值，将所述缓存文件中存储的第一SQL语句进行划分，获得多组第一SQL语句之后，所述数据导入方法...
【专利技术属性】
技术研发人员：覃必静，
申请(专利权)人：平安国际智慧城市科技股份有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。