本发明专利技术提供了一种数据处理方法、装置和可读存储介质。其中，数据处理方法包括：接收数据处理请求；根据数据处理请求，获取待处理数据源的信息和多个数据库脚本的信息；根据待处理数据源的信息在数据库中获取待处理数据源；根据多个数据库脚本的信息和待处理数据源的信息，生成多个相互独立的线程池；利用线程池，根据数据库脚本的信息，对待处理数据源进行处理，生成处理报告。本发明专利技术提供的技术方案通过对每个数据库脚本创建独立的线程池，使得每个数据库脚本的执行任务享有专用的线程池，进而使得多个数据库脚本能够同时执行过程，且执行过程中线程池相互独立互不影响，有效提高了数据库脚本的执行效率。据库脚本的执行效率。据库脚本的执行效率。
【技术实现步骤摘要】
数据处理方法、装置和可读存储介质
[0001]本专利技术涉及数据处理
，具体而言，涉及一种数据处理方法、一种数据处理装置和一种可读存储介质。
技术介绍
[0002]相关技术中，在数据库脚本多数据源执行时，采用同一线程池来执行不同的数据库脚本，然而，同一线程池对多数据库脚本同时执行时会发生资源争抢的情况，执行效率较低。
技术实现思路
[0003]本专利技术旨在至少解决现有技术或相关技术中存在的技术问题之一。
[0004]为此，本专利技术的第一方面提供了一种数据处理方法。
[0005]本专利技术的第二方面还提供了一种数据处理装置。
[0006]本专利技术的第三方面还提供了一种可读存储介质。
[0007]有鉴于此，本专利技术的第一方面提出了一种数据处理方法，包括：接收数据处理请求；根据数据处理请求，获取待处理数据源的信息和多个数据库脚本的信息；根据待处理数据源的信息在数据库中获取待处理数据源；根据多个数据库脚本的信息和待处理数据源的信息，生成多个相互独立的线程池；利用线程池，根据数据库脚本的信息，对待处理数据源进行处理，生成处理报告。
[0008]在该技术方案中，接收到数据处理请求后，确定数据处理请求中包含的待处理数据源的信息和多个数据库脚本信息。其中，待处理数据源的信息包括待处理数据源的名称和待处理数据源的数量，根据确定的待处理数据源的名称和待处理数据源数量，在数据库中选取出对应的多数据源来执行数据库脚本。进一步地，根据多个数据库脚本的信息和确定出的多数据源，创建多个线程池，具体地，每个线程池应对应各自的数据库脚本，多个线程池相互独立，互不影响。进而利用创建的多个相互独立的线程池，对多数据源执行多个数据库脚本，并生成处理报告。
[0009]通过上述方式，对每个数据库脚本创建独立的线程池，使得每个数据库脚本的执行任务享有专用的线程池，进而使得不同的数据库脚本执行过程中，执行的线程池相互独立、互不影响，避免了现有技术中不同的数据库脚本采用同一个线程池，多数据库脚本同时执行发生资源争抢的问题，有效提高了数据库脚本的执行效率。
[0010]根据本专利技术提供的上述的数据处理方法，还可以具有以下附加技术特征：
[0011]在上述技术方案中，进一步地，待处理数据源的信息包括待处理数据源的数量，根据多个数据库脚本的信息和待处理数据源的信息，生成多个相互独立的线程池的步骤，具体包括：对多个数据库脚本的信息进行解析，获取每个数据库脚本中的脚本语句和脚本语句的执行顺序；根据每个数据库脚本的脚本语句、执行顺序和待处理数据源的数量，生成多个线程池。
[0012]在该技术方案中，接收到数据处理请求后，确定数据处理请求中包含的多个数据库脚本，对多个数据库脚本进行解析，确定每个数据库脚本的脚本语句和脚本语句的执行顺序。根据脚本语句和执行顺序，生成每个数据库脚本的专用线程池，进而利用每个数据库脚本的专用线程池，根据数据库脚本的脚本语句和执行顺序，同时对多数据源执行多个数据库脚本。
[0013]进一步地，每个数据库脚本需要同时对大量数据源进行处理，获取待处理数据源的数量，根据待处理数据源的数量，确定生成的数据库脚本对应的专属的线程池个数，其中，每个数据库脚本对应的多个线程池是相同的，进而同时利用多个相同的线程池，分批次对大量数据源执行数据库脚本。
[0014]通过上述方式，一方面，利用多个互相独立的线程池，实现了多数据源能够同时多个执行数据库脚本，不会发生资源争抢的情况，有效提高了数据库脚本的执行效率；另一方面，通过分批次对多数据源执行数据库脚本，避免待执行的数据源数量过多时，同时执行数据库脚本数据过于庞大，造成的服务器拥堵。
[0015]具体地，每个数据库脚本对应的专用线程池的设定数量根据实际待处理数据源的数量而定，在此不作具体限定。
[0016]在上述任一技术方案中，进一步地，利用线程池，根据数据库脚本的信息，对待处理数据源进行处理的步骤，具体包括：根据脚本语句和执行顺序，在线程池中获取待处理数据源对应的线程；利用线程，根据脚本语句和执行顺序，对待处理数据源进行处理。
[0017]在该技术方案中，在对多个数据库脚本执行过程中，根据每个数据库脚本中的脚本语句和语句间的执行顺序，在线程池中确定对多数据源执行数据库脚本的线程，利用确定的线程，根据数据库脚本的语句和语句间的执行顺序，对多数据源执行数据库脚本。
[0018]通过上述方式，利用每个数据库脚本对应的专属线程，对多数据源进行处理，使得用户可以根据需要，在选定的多个数据源中统一执行不同的数据库脚本，以适配多数据源或者多租户模式等业务场景。
[0019]在上述任一技术方案中，进一步地，利用线程，根据脚本语句和执行顺序，对待处理的数据源进行处理的步骤，具体包括：将执行顺序与数据库的预设操作顺序进行比较；若执行顺序与预设操作顺序相同，利用线程，根据脚本语句，对待处理的数据源进行处理；若执行顺序与预设操作顺序不同，停止对待处理数据源进行处理。
[0020]在该技术方案中，在对多数据源执行数据库脚本的过程中，将数据库脚本中的每条脚本语句的执行顺序和数据库自身的语句执行顺序(即预设操作顺序)进行比较，如果该脚本语句的执行顺序与数据库自身的语句执行顺序一致，则利用线程池中的线程，对多数据源执行该条脚本语句；如果在执行过程中，发现任一一条脚本语句的执行顺序与数据库自身的执行顺序不一致，则停止对多数据源执行数据库脚本。
[0021]通过上述方式，将数据库脚本的语句执行顺序与数据库的语句顺序进行比较，以确保每个数据库脚本对多数据源执行过程中的语句执行顺序与数据库正确的执行顺序的一致性，保证多数据源执行数据库脚本的协调性和准确性。
[0022]在上述任一技术方案中，进一步地，利用线程池，根据数据库脚本的信息，对待处理数据源进行处理，生成处理报告的步骤，具体包括：获取待处理数据源的处理过程信息和待处理数据源的处理结果；根据处理过程信息和处理结果，生成处理报告。
[0023]在该技术方案中，在多数据源执行数据库脚本的执行过程中，记录并存储每个数据源的执行过程信息，以及每个数据源执行成功或失败的执行结果，将多数据源执行数据库脚本的执行过程和执行结果进行汇总，生成执行报告(即处理报告)。
[0024]通过上述方式，通过对多数据源执行数据库脚本中的每个语句的过程及结果进行记录和存储，进而在执行完成后，将所有数据库脚本执行过程和结果汇总生成报告。相较于现有技术中针对单一数据源的执行结果进行查看，使得用户可以实时查看多数据源执行的数据库脚本，进一步地，通过执行过程与执行结果相结合生成执行报告，提高了用户查看和对比分析的便捷性。
[0025]在上述任一技术方案中，进一步地，处理过程信息包括以下至少一种：待处理数据源的信息、待处理数据源的处理时长信息和待处理数据源的处理内容信息。
[0026]在该技术方案中，在多数据源执行数据库脚本的过程中，记录并存储每个数据源的每个语句的执行过程，得到处理过程信本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：接收数据处理请求；根据所述数据处理请求，获取待处理数据源的信息和多个数据库脚本的信息；根据所述待处理数据源的信息在数据库中获取所述待处理数据源；根据多个所述数据库脚本的信息和所述待处理数据源的信息，生成多个相互独立的线程池；利用所述线程池，根据所述数据库脚本的信息，对所述待处理数据源进行处理，生成处理报告。2.根据权利要求1所述的数据处理方法，其特征在于，所述待处理数据源的信息包括待处理数据源的数量，所述根据多个所述数据库脚本的信息和所述待处理数据源的信息，生成多个相互独立的线程池的步骤，具体包括：对多个所述数据库脚本的信息进行解析，获取每个所述数据库脚本中的脚本语句和所述脚本语句的执行顺序；根据每个所述数据库脚本的所述脚本语句、所述执行顺序和所述待处理数据源的数量，生成多个所述线程池。3.根据权利要求2所述的数据处理方法，其特征在于，所述利用所述线程池，根据所述数据库脚本的信息，对所述待处理数据源进行处理的步骤，具体包括：根据所述脚本语句和所述执行顺序，在所述线程池中获取所述待处理数据源对应的线程；利用所述线程，根据所述脚本语句和所述执行顺序，对所述待处理数据源进行处理。4.根据权利要求3所述的数据处理方法，其特征在于，所述利用所述线程，根据所述脚本语句和所述执行顺序，对所述待处理的数据源进行处理的步骤，具体包括：将所述执行顺序与所述数据库的预设操作顺序进行比较；若所述执行顺序与所述预设操作顺序相同，利用所述线程，根据所述脚本语句，对所述待处理的数据源进行处理；若所述执行顺序与所述预设操作顺序不同，停止对所述待处理数据源进行处理。5.根据权利要求4所述的数据处理方法，其特征在于，所述利用所述线程池，根据所述数据库脚本的信息，对所述待处...
【专利技术属性】
技术研发人员：邱明杰，尹洪伟，高海龙，
申请(专利权)人：用友汽车信息科技上海股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。