一种信息处理方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术提供一种信息处理方法、装置、设备及计算机可读存储介质，涉及计算机技术领域，用以降低对具有相同表结构的表的解析的时间成本。本发明专利技术的信息处理方法，包括：获取MySQL服务器的连接信息以及待处理表的名称；根据MySQL服务器的连接信息以及待处理表的名称，确定是否存在与待处理表的表结构信息相同的目标表结构信息；若存在目标表结构信息，则直接将目标表结构信息作为待处理表的表结构信息；若不存在目标表结构信息，则解析待处理表的表结构信息，并存储待处理表的表结构信息；根据待处理表的表结构信息，分析结构化查询语言SQL文并查询数据。本发明专利技术可降低对具有相同表结构的表的解析的时间成本。

An Information Processing Method, Device, Equipment and Computer Readable Storage Media

【技术实现步骤摘要】
一种信息处理方法、装置、设备及计算机可读存储介质
本专利技术涉及计算机
，尤其涉及一种信息处理方法、装置、设备及计算机可读存储介质。
技术介绍
ApacheSpark是一个开源集群运算框架，基于Scala语言开发并遵从Apache2.0协议开源。SparkSQL(StructuredQueryLanguage，结构化查询语言)，作为ApacheSpark大数据框架的一部分，是一种新的分布式查询引擎，主要用于结构化数据处理和对Spark数据执行类SQL的查询。通过SparkSQL，可以针对不同格式的数据执行ETL(Extract-Transform-Load，数据抽取、转换、装载)操作(如JSON，Parquet，数据库)然后完成特定的查询操作。SparkSQL相比传统的查询引擎最明显的特点就是数据兼容性和扩展性，因此被大量应用于结构化，非结构化的大数据查询分析领域。现有技术中提出了一种基于HDFS(HadoopDistributedFileSystem，分布式文件系统)的Spark-SQL大数据处理系统上建立索引的方法，通过SQL语句在基于HDFS的Spark-SQL大数据处理系统上增加索引，删除索引，插入数据，删除数据。在数据查询的时候，自动判断查询列是否存在索引，如果存在，则查找索引包含的文件块，过滤不需要查询的文件块。但是，上述现有技术只针对外部数据库表的索引进行处理，并没有考虑如何区分对待表结构异同的表。因此，现有技术的方法增加了对具有相同表结构的表的解析的时间成本。
技术实现思路
有鉴于此，本专利技术提供一种信息处理方法、装置、设备及计算机可读存储介质，以降低对具有相同表结构的表的解析的时间成本。为解决上述技术问题，第一方面，本专利技术实施例提供一种信息处理方法，包括：获取MySQL服务器的连接信息以及待处理表的名称；根据所述MySQL服务器的连接信息以及所述待处理表的名称，确定是否存在与所述待处理表的表结构信息相同的目标表结构信息；若存在所述目标表结构信息，则直接将所述目标表结构信息作为所述待处理表的表结构信息；若不存在所述目标表结构信息，则解析所述待处理表的表结构信息，并存储所述待处理表的表结构信息；根据所述待处理表的表结构信息，分析结构化查询语言SQL文并查询数据。可选的，所述根据所述MySQL服务器的连接信息以及所述待处理表的名称，确定是否存在与所述待处理表的表结构信息相同的目标表结构信息的步骤，包括：根据所述MySQL服务器的连接信息与所述MySQL服务器建立连接；根据所述待处理表的名称，从所述MySQL服务器获取所述待处理表的元数据信息；对所述元数据信息进行映射转换，获得所述元数据信息的映射值；以所述映射值为关键字，在表结构信息库中查找是否存在与所述关键字匹配的目标表结构信息；若所述表结构信息库中存在与所述关键字匹配的表结构信息，则确定存在所述目标表结构信息；否则确定不存在所述目标表结构信息。可选的，所述根据所述待处理表的名称，从所述MySQL服务器获取所述待处理表的元数据信息的步骤，包括：根据所述待处理表的名称，从所述MySQL服务器的系统表中读取所述待处理表的元数据信息；其中，所述元数据信息包括：列名，列的类型，最长字符长度，精度，小数位，主键以及字符集。可选的，所述对所述元数据信息进行映射转换，获得所述元数据信息的映射值的步骤，包括：将所述元数据信息按照数据类型划分为varchar类型的元数据信息、int类型的元数据信息和nvarchar类型的元数据信息；获得所述varchar类型的元数据信息对应的第一映射值；获得所述int类型的元数据信息对应的第二映射值；获得所述nvarchar类型的元数据信息对应的第三映射值；将所述第一映射值、所述第二映射值和所述第三映射值进行组合，获得所述元数据信息的映射值。可选的，所述获得所述varchar类型的元数据信息对应的第一映射值的步骤，包括：对于所述varchar类型的元数据信息中的所有字符，从第一个字符开始，将当前字符转换为十进制数字，按照下述公式转换为映射值；直到所有字符转换完毕，获得第一映射值；Num1＝X+A*Num1，Num1的初始值为0，A表示任一质数，X表示当前字符对应的十进制数字；所述获得所述int类型的元数据信息对应的第二映射值的步骤，包括：对于所述int类型的元数据信息中的所有字符，从第一个字符开始，按照下述公式转换为映射值；直到所有字符转换完毕，获得第二映射值；Num2＝I+B*Num2，Num2的初始值为0，B表示任一质数，I表示当前字符的数值；所述获得所述nvarchar类型的元数据信息对应的第三映射值的步骤，包括：对于所述nvarchar类型的元数据信息中的所有字符，从第一个字符开始，将当前字符转换为十六进制数字，再将所述十六进制数字转换为十进制数字，按照下述公式转换为映射值；直到所有字符转换完毕，获得第三映射值；Num3＝C+D*Num3，Num3的初始值为0，D表示任一质数，C表示当前字符对应的十进制数字。可选的，所述varchar类型的元数据信息包括：列名，主键以及字符集；所述int类型的元数据信息包括：最长字符长度，精度以及小数位；所述nvarchar类型的元数据信息包括：列的类型。可选的，所述若存在所述目标表结构信息，则直接将所述目标表结构信息作为所述待处理表的表结构信息的步骤，包括：若存在所述目标表结构信息，则直接从所述表结构信息库中获取所述关键字对应的表结构信息，并将获取到的表结构信息作为所述目标表结构信息；将所述目标表结构信息作为所述待处理表的表结构信息。可选的，所述若不存在所述目标表结构信息，则解析所述待处理表的表结构信息，并存储所述待处理表的表结构信息的步骤，包括：若不存在所述目标表结构信息，则解析所述待处理表的表结构信息；在所述表结构信息库中，存储所述关键字和所述待处理表的表结构信息的对应关系。第二方面，本专利技术实施例提供一种信息处理装置，包括：获取模块，用于获取MySQL服务器的连接信息以及待处理表的名称；确定模块，用于根据所述MySQL服务器的连接信息以及所述待处理表的名称，确定是否存在与所述待处理表的表结构信息相同的目标表结构信息；处理模块，用于若存在所述目标表结构信息，则直接将所述目标表结构信息作为所述待处理表的表结构信息；若不存在所述目标表结构信息，则解析所述待处理表的表结构信息，并存储所述待处理表的表结构信息；查询模块，用于根据所述待处理表的表结构信息，分析结构化查询语言SQL文并查询数据。第三方面，本专利技术实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器执行所述计算机程序时实现如第一方面所述的方法中的步骤。第四方面，本专利技术实施例提供一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序被处理器执行时实现如第一方面所述的方法中的步骤。本专利技术的上述技术方案的有益效果如下：在本专利技术实施例中，根据MySQL服务器的连接信息以及待处理表的名称，确定是否存在与所述待处理表的表结构信息相同的目标表结构信息。若存在，则直接获取所述目标表结构信息，若不存在，则解析待处理表，并存储所述待处理表的表结构信息，以备下次处理本文档来自技高网...

【技术保护点】
1.一种信息处理方法，其特征在于，包括：获取MySQL服务器的连接信息以及待处理表的名称；根据所述MySQL服务器的连接信息以及所述待处理表的名称，确定是否存在与所述待处理表的表结构信息相同的目标表结构信息；若存在所述目标表结构信息，则直接将所述目标表结构信息作为所述待处理表的表结构信息；若不存在所述目标表结构信息，则解析所述待处理表的表结构信息，并存储所述待处理表的表结构信息；根据所述待处理表的表结构信息，分析结构化查询语言SQL文并查询数据。

【技术特征摘要】
1.一种信息处理方法，其特征在于，包括：获取MySQL服务器的连接信息以及待处理表的名称；根据所述MySQL服务器的连接信息以及所述待处理表的名称，确定是否存在与所述待处理表的表结构信息相同的目标表结构信息；若存在所述目标表结构信息，则直接将所述目标表结构信息作为所述待处理表的表结构信息；若不存在所述目标表结构信息，则解析所述待处理表的表结构信息，并存储所述待处理表的表结构信息；根据所述待处理表的表结构信息，分析结构化查询语言SQL文并查询数据。2.根据权利要求1所述的方法，其特征在于，所述根据所述MySQL服务器的连接信息以及所述待处理表的名称，确定是否存在与所述待处理表的表结构信息相同的目标表结构信息的步骤，包括：根据所述MySQL服务器的连接信息与所述MySQL服务器建立连接；根据所述待处理表的名称，从所述MySQL服务器获取所述待处理表的元数据信息；对所述元数据信息进行映射转换，获得所述元数据信息的映射值；以所述映射值为关键字，在表结构信息库中查找是否存在与所述关键字匹配的目标表结构信息；若所述表结构信息库中存在与所述关键字匹配的表结构信息，则确定存在所述目标表结构信息；否则确定不存在所述目标表结构信息。3.根据权利要求2所述的方法，其特征在于，所述根据所述待处理表的名称，从所述MySQL服务器获取所述待处理表的元数据信息的步骤，包括：根据所述待处理表的名称，从所述MySQL服务器的系统表中读取所述待处理表的元数据信息；其中，所述元数据信息包括：列名，列的类型，最长字符长度，精度，小数位，主键以及字符集。4.根据权利要求2所述的方法，其特征在于，所述对所述元数据信息进行映射转换，获得所述元数据信息的映射值的步骤，包括：将所述元数据信息按照数据类型划分为varchar类型的元数据信息、int类型的元数据信息和nvarchar类型的元数据信息；获得所述varchar类型的元数据信息对应的第一映射值；获得所述int类型的元数据信息对应的第二映射值；获得所述nvarchar类型的元数据信息对应的第三映射值；将所述第一映射值、所述第二映射值和所述第三映射值进行组合，获得所述元数据信息的映射值。5.根据权利要求4所述的方法，其特征在于，所述获得所述varchar类型的元数据信息对应的第一映射值的步骤，包括：对于所述varchar类型的元数据信息中的所有字符，从第一个字符开始，将当前字符转换为十进制数字，按照下述公式转换为映射值；直到所有字符转换完毕，获得第一映射值；Num1＝X+A*Num1，Num1的初始值为0，A表示任一质数，X表示当前字符对应的十进制数字；所述获得所述int类型的元数据信息对应的第二映射值的步...

【专利技术属性】
技术研发人员：刘锋，
申请(专利权)人：株式会社日立制作所，
类型：发明
国别省市：日本,JP