一种删除表的方法和装置制造方法及图纸

本发明专利技术公开了一种删除表的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：根据接收的表删除请求，获取待删除表的分区信息集；所述分区信息集中包括所述待删除表的所有分区的标识信息；将所述分区信息集发送至消息队列；处理所述消息队列中的消息，完成对所述待删除表的所有分区的删除操作；其中，对于处理的所述消息队列中的每个消息，解析该消息以获取其对应的待删除分区的标识信息，根据该待删除分区的标识信息执行删除操作。该方法通过处理消息队列中的消息自动执行删除表分区的操作，将表删除的操作实现了自动高效的处理，解决了现有技术中浪费大量的人力成本和时间成本的问题。

【技术实现步骤摘要】
一种删除表的方法和装置
本专利技术涉及计算机
，尤其涉及一种删除表的方法和装置。
技术介绍
随着业务发展，表数据越来越多。但在越来越多的表中，由于业务的原因或者本身已没有任何的价值，需要删除的表的数量也非常大。例如对应的底层数据已被归档而元数据没有被删除的表等。这些需要删除的表基本上都是外部分区表，其中在删除表时，内部表一旦删除对应元数据和hdfs中的文件夹和文件都会被删除。外部表只删除元数据，对应的hdfs中的文件夹和文件不会被删除。以及在实际应用中，由于业务的原因很多表设计的时候其设计分区比较复杂并且目录比较多，甚至可达几万个分区。在删除表的过程中，对于分区太多的表，在进行drop操作时，底层操作过程中需要对分区的元数据进行删除。在进行分区操作的过程中，hive的元数据一般是存放在mysql中的，在删除分区元数据时需要关联多张元数据表进行数据的删除，而同时几万个分区删除的并发删除的话，很容易导致mysql服务压力骤增，从而导致性能下降，并且还导致在drop表的过程一直卡住没有结果返回。所以，对于分区太多的表进行drop操作是无本文档来自技高网...

【技术保护点】
1.一种删除表的方法，其特征在于，包括：/n根据接收的表删除请求，获取待删除表的分区信息集；所述分区信息集中包括所述待删除表的所有分区的标识信息；/n将所述分区信息集发送至消息队列；/n处理所述消息队列中的消息，完成对所述待删除表的所有分区的删除操作；其中，对于处理的所述消息队列中的每个消息，解析该消息以获取其对应的待删除分区的标识信息，根据该待删除分区的标识信息执行删除操作。/n

【技术特征摘要】
1.一种删除表的方法，其特征在于，包括：
根据接收的表删除请求，获取待删除表的分区信息集；所述分区信息集中包括所述待删除表的所有分区的标识信息；
将所述分区信息集发送至消息队列；
处理所述消息队列中的消息，完成对所述待删除表的所有分区的删除操作；其中，对于处理的所述消息队列中的每个消息，解析该消息以获取其对应的待删除分区的标识信息，根据该待删除分区的标识信息执行删除操作。


2.根据权利要求1所述的方法，其特征在于，在根据该待删除分区的标识信息执行分区删除操作之前，还包括：
根据该待删除分区的标识信息，确认所述待删除表在数据库中存在，以及对该待删除分区未执行删除操作。


3.根据权利要求1所述的方法，其特征在于，在根据该待删除分区的标识信息执行删除操作之后，还包括：
将执行结果数据发送至所述消息队列；
定时统计所述消息队列中所述待删除表对应的执行结果数据，以及将统计结果进行显示。


4.根据权利要求1所述的方法，其特征在于，所述消息队列为RabbitMQ队列；和/或
所述标识信息至少包括以下一项：分区名称、所在数据库名称或者申请人信息。


5.一种删除表的装置，其特征在于，包括：
信息获取模块，用于根据接收的表删除请求，获取待删除表的分区信息集；所述分区信息集中包括所述待删除表的所有分区的标...

【专利技术属性】
技术研发人员：方伟，马千里，梁琦，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11