数据读取方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种数据读取方法、装置、设备及存储介质，该方法包括：获取目标数据表，提取所述目标数据表的物理地址信息，并根据所述物理地址信息生成待处理任务表；根据预设业务需求确定单次数据处理量，并根据所述单次数据处理量将所述待处理任务表分割成一个或多个数据块；生成一个或多个所述数据块的伪列rowid，并根据所述rowid读取所述目标数据表。本发明专利技术基于大数据，将目标数据表分成多个数据块后再进行数据读取，提高了数据处理效率。

【技术实现步骤摘要】
数据读取方法、装置、设备及存储介质
本专利技术涉及大数据
，尤其涉及一种数据读取方法、装置、设备及存储介质。
技术介绍
Oracle数据库中保存有大量的数据表，由于数据量庞大，因此要对数据库做大批量修改时，会造成数据库锁全表，并且长时间的空间占用会造成Oracle快照过旧的异常。而现有的游标分段处理方案会占用大量空间引发异常运行，并且无法并发执行，占用消耗过多系统资源，容易造成系统业务阻塞，从而大大降低了数据处理效率。因此，如何提高数据处理效率，是当前亟待解决的技术问题。
技术实现思路
本专利技术提供一种数据读取方法、装置、设备及存储介质，旨在提高数据处理效率。为实现上述目的，本专利技术提供一种数据读取方法，所述方法包括：获取目标数据表，提取所述目标数据表的物理地址信息，并根据所述物理地址信息生成待处理任务表；根据预设业务需求确定单次数据处理量，并根据所述单次数据处理量将所述待处理任务表分割成一个或多个数据块；生成一个或多个所述数据块的伪列rowid，并根据所述rowid读取所述目标数据表。优选地，所述获取目标数据表，提取所述目标数据表的物理地址信息，并根据所述物理地址信息生成待处理任务表的步骤之前还包括:判断所述目标数据表中的数据量是否超过第一阈值；若所述数据量大于所述第一阈值，则根据所述数据量设置并发进程的进程数；根据所述进程数将所述目标数据表分成对应数量的子目标数据表。优选地，所述生成一个或多个所述数据块的伪列rowid，并根据所述rowid读取所述目标数据表的步骤之后还包括：获取状态日志，通过所述状态日志获得数据异常数据块；获取所述异常数据块的rowid并标记为异常rowid，重新读取所述异常rowid以及所述异常rowid之后一个或多个数据块。优选地，所述获取目标数据表，提取所述目标数据表的物理地址信息，并根据所述物理地址信息生成待处理任务表的步骤包括：从系统数据库中获取所述目标数据表，由系统提取所述目标数据表的物理地址信息，所述物理地址信息包括所述目标数据表的范围extent和属性信息；将所述物理地址信息中的每个所述extent作为一个独立任务，并根据各个所述独立任务对应的属性信息生成待处理任务表。优选地，所述生成一个或多个所述数据块的伪列rowid，并根据所述rowid读取所述目标数据表的步骤包括：根据数据表编号、文件编号、块编号以及行编号生成各个所述数据块的rowid，所述rowid包括起始rowid和终止rowid；根据所述起始rowid和所述终止rowid定位至目标数据块，依次读取对应的一个或多个所述目标数据块，直到读取所述目标数据表。优选地，所述根据所述起始rowid和所述终止rowid定位至目标数据块的步骤之后还包括：对所述目标数据块中的目标数据执行加锁操作，并在读取目标数据之后进行锁释放。优选地，所述生成一个或多个所述数据块的伪列rowid，并根据所述rowid读取所述目标数据表的步骤之后还包括：根据所述rowid在所述目标数据表中的数据进行数据编辑操作。此外，为实现上述目的，本专利技术实施例还提供一种数据读取装置，所述数据读取装置包括：获取模块，用于获取目标数据表，提取所述目标数据表的物理地址信息，并根据所述物理地址信息生成待处理任务表；分割模块，用于根据预设业务需求确定单次数据处理量，并根据所述单次数据处理量将所述待处理任务表分割成一个或多个数据块；读取模块，用于生成一个或多个所述数据块的伪列rowid，并根据所述rowid读取所述目标数据表。此外，为实现上述目的，本专利技术实施例还提供一种数据读取设备，所述数据读取设备包括处理器，存储器以及存储在所述存储器中的数据读取程序，所述数据读取程序被所述处理器运行时，实现如上所述的数据读取方法的步骤。此外，为实现上述目的，本专利技术实施例还提供一种计算机存储介质，所述计算机存储介质上存储有数据读取程序，所述数据读取程序被处理器运行时实现如上所述数据读取方法的步骤相比现有技术，本专利技术公开了一种数据读取方法、装置、设备及存储介质，该方法包括：获取目标数据表，提取所述目标数据表的物理地址信息，并根据所述物理地址信息生成待处理任务表；根据预设业务需求确定单次数据处理量，并根据所述单次数据处理量将所述待处理任务表分割成一个或多个数据块；生成一个或多个所述数据块的伪列rowid，并根据所述rowid读取所述目标数据表。本专利技术基于大数据，将目标数据表分成多个数据块后再进行数据读取，提高了数据处理效率。附图说明图1是本专利技术各实施例涉及的数据读取设备的硬件结构示意图；图2是本专利技术数据读取方法第一实施例的流程示意图；图3是本专利技术数据读取方法第二实施例的流程示意图；图4是本专利技术数据读取方法第三实施例的流程示意图；图5是本专利技术数据读取装置第一实施例的功能模块示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术实施例主要涉及的数据读取设备是指能够实现网络连接的网络连接设备，所述数据读取设备可以是服务器、云平台等。另外本专利技术实施例涉及的移动终端可以为手机、平板电脑等移动网络设备。参照图1，图1是本专利技术各实施例涉及的数据读取设备的硬件结构示意图。本专利技术实施例中，数据读取设备可以包括处理器1001(例如中央处理器CentralProcessingUnit、CPU)，通信总线1002，输入端口1003，输出端口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；输入端口1003用于数据输入；输出端口1004用于数据输出，存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的硬件结构并不构成对本专利技术的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。继续参照图1，图1中作为一种可读存储介质的存储器1005可以包括操作系统、网络通信模块、应用程序模块以及数据读取程序。在图1中，网络通信模块主要用于连接服务器，与服务器进行数据通信；而处理器1001可以调用存储器1005中存储的数据读取程序，并执行本专利技术实施例提供的数据读取方法。本专利技术实施例提供了一种数据读取方法。OracleDatabase(Oracle数据库)，又名OracleRDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各本文档来自技高网...

【技术保护点】
1.一种数据读取方法，其特征在于，所述方法包括：/n获取目标数据表，提取所述目标数据表的物理地址信息，并根据所述物理地址信息生成待处理任务表；/n根据预设业务需求确定单次数据处理量，并根据所述单次数据处理量将所述待处理任务表分割成一个或多个数据块；/n生成一个或多个所述数据块的伪列rowid，并根据所述rowid读取所述目标数据表。/n

【技术特征摘要】
1.一种数据读取方法，其特征在于，所述方法包括：
获取目标数据表，提取所述目标数据表的物理地址信息，并根据所述物理地址信息生成待处理任务表；
根据预设业务需求确定单次数据处理量，并根据所述单次数据处理量将所述待处理任务表分割成一个或多个数据块；
生成一个或多个所述数据块的伪列rowid，并根据所述rowid读取所述目标数据表。


2.根据权利要求1所述的方法，其特征在于，所述获取目标数据表，提取所述目标数据表的物理地址信息，并根据所述物理地址信息生成待处理任务表的步骤之前还包括:
判断所述目标数据表中的数据量是否超过第一阈值；
若所述数据量大于所述第一阈值，则根据所述数据量设置并发进程的进程数；
根据所述进程数将所述目标数据表分成对应数量的子目标数据表。


3.根据权利要求1所述的方法，其特征在于，所述生成一个或多个所述数据块的伪列rowid，并根据所述rowid读取所述目标数据表的步骤之后还包括：
获取状态日志，通过所述状态日志获得数据异常数据块；
获取所述异常数据块的rowid并标记为异常rowid，重新读取所述异常rowid以及所述异常rowid之后一个或多个数据块。


4.根据权利要求1所述的方法，其特征在于，所述获取目标数据表，提取所述目标数据表的物理地址信息，并根据所述物理地址信息生成待处理任务表的步骤包括：
从系统数据库中获取所述目标数据表，由系统提取所述目标数据表的物理地址信息，所述物理地址信息包括所述目标数据表的范围extent和属性信息；
将所述物理地址信息中的每个所述extent作为一个独立任务，并根据各个所述独立任务对应的属性信息生成待处理任务表。


5.根据权利要求1所述的方法，其特征在于，所述生成一个或多个所述数据块的伪列...

【专利技术属性】
技术研发人员：帅宇，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44