自动灵活模式检测和迁移制造技术

本发明专利技术题为“自动灵活模式检测和迁移”。本发明专利技术公开了一种用于自动模式检测和迁移的方法和装置。在实施方案中，接收包括NoSQL数据的文件，并且在分层数据表描述中检测一个或多个数据类型。在可以JSON格式存储的该NoSQL数据的记录内，字段名称及其数据类型以描述该数据表的模式存储。当解析附加记录时，更新该模式以包括附加字段名称和数据类型，并且该模式可包括针对一些字段的指定，诸如重复和任选。在实施方案中，该模式是序列化数据格式，诸如Google Protocol Buffers(Protobuf)。Buffers(Protobuf)。Buffers(Protobuf)。

【技术实现步骤摘要】
自动灵活模式检测和迁移
[0001]相关申请的交叉引用
[0002]本申请要求2020年11月12日提交的美国临时专利申请序列号 63/113,087的权益，该美国临时专利申请以引用方式并入本文。

技术介绍


[0003]本公开的实施方案整体涉及计算存储，并且更具体地讲，涉及创建和 修改现有数据库的模式。
[0004]相关领域的描述
[0005]数据库通常在主机系统上实现，该主机系统包括专用处理器、存储器 和存储装置。当执行数据库操作(诸如选择、插入、更新或删除)时，应 用程序向主机系统提供指令，该指令继而从存储装置调用数据并在存储器 中执行所请求的操作。根据需要将操作的结果提供给应用程序和/或写入存 储装置。
[0006]开发者通常尚未寻求在数据存储设备上实现数据库操作。这些设备能 够存储大量数据并且可利用处理能力和快速本地存储器来缩放。然而，构 建数据库以在典型的数据存储设备上操作所需的努力将是极其资源密集型 的并且需要数年的开发时间。另一方面，以一般化方式构建数据存储设备 以便管理SQL数据库和非SQL数据库对于开发将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储设备，包括：一个或多个存储器模块；和控制器，所述控制器包括处理器，所述处理器被配置为执行用于数据模式检测和迁移的方法，所述方法包括：接收包括无模式数据的文件的一部分；在所述无模式数据中识别字段名称、字段类型、重复字段和任选字段中的一者；针对包括字段的所述无模式数据创建模式；以及将所述模式和来自所述文件的数据存储在所述一个或多个存储器模块中。2.根据权利要求1所述的数据存储设备，其中所述文件包括多个记录，并且所述方法还包括根据所述模式将所述多个记录中的每个记录转换为表，并且其中存储所述模式和来自所述文件的数据包括存储所述模式和所述表。3.根据权利要求2所述的数据存储设备，其中所述方法还包括在识别记录的不匹配字段时，向异常处理程序提供所述字段不匹配。4.根据权利要求3所述的数据存储设备，其中所述不匹配字段包括新字段、改变的字段类型和缺失字段中的一者。5.根据权利要求3所述的数据存储设备，其中所述模式被更新为已基于所述不匹配字段更新的已更新模式。6.根据权利要求5所述的数据存储设备，其中所述表的先前转换的记录被转换为所述已更新模式。7.根据权利要求5所述的数据存储设备，其中所述文件的先前未转换的记录基于所述已更新模式并且被添加到所述表。8.一种用于数据存储设备的控制器，包括：对于一个或多个存储器设备的I/O；和处理器，所述处理器被配置为执行用于数据模式检测和迁移的方法，所述方法包括：接收文件的一部分，所述文件包括基于文档的数据的多个字段界定单元；检测基于文档的数据的所述多个字段界定单元中的所述一者的数据类型；基于所述数据类型来限定基于文档的数据的所述字段界定单元中的所述一者的模式；以及存储所述文件和所述模式。9.根据权利要求8所述的控制器，其中所述方法还包括：基于所述文件和所述模式来限定包括多个记录的数据表。10.根据权利要求9所述的控制器，其中所述方法还包...

【专利技术属性】
技术研发人员：I，
申请(专利权)人：西部数据技术公司，
类型：发明
国别省市：