数据读取方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种数据读取方法、装置、设备及存储介质，该方法包括：获取目标数据表，提取所述目标数据表的物理地址信息，并根据所述物理地址信息生成待处理任务表；根据预设业务需求确定单次数据处理量，并根据所述单次数据处理量将所述待处理任务表分割成一个或多个数据块；生成一个或多个所述数据块的伪列rowid，并根据所述rowid读取所述目标数据表。本发明专利技术基于大数据，将目标数据表分成多个数据块后再进行数据读取，提高了数据处理效率。

【技术实现步骤摘要】
数据读取方法、装置、设备及存储介质
本专利技术涉及大数据
，尤其涉及一种数据读取方法、装置、设备及存储介质。
技术介绍
Oracle数据库中保存有大量的数据表，由于数据量庞大，因此要对数据库做大批量修改时，会造成数据库锁全表，并且长时间的空间占用会造成Oracle快照过旧的异常。而现有的游标分段处理方案会占用大量空间引发异常运行，并且无法并发执行，占用消耗过多系统资源，容易造成系统业务阻塞，从而大大降低了数据处理效率。因此，如何提高数据处理效率，是当前亟待解决的技术问题。
技术实现思路
本专利技术提供一种数据读取方法、装置、设备及存储介质，旨在提高数据处理效率。为实现上述目的，本专利技术提供一种数据读取方法，所述方法包括：获取目标数据表，提取所述目标数据表的物理地址信息，并根据所述物理地址信息生成待处理任务表；根据预设业务需求确定单次数据处理量，并根据所述单次数据处理量将所述待处理任务表分割成一个或多个数据块；生成一个或多个所述数据块的伪列rowid，并根据所述rowid读取所述目标数据本文档来自技高网...

【技术保护点】
1.一种数据读取方法，其特征在于，所述方法包括：/n获取目标数据表，提取所述目标数据表的物理地址信息，并根据所述物理地址信息生成待处理任务表；/n根据预设业务需求确定单次数据处理量，并根据所述单次数据处理量将所述待处理任务表分割成一个或多个数据块；/n生成一个或多个所述数据块的伪列rowid，并根据所述rowid读取所述目标数据表。/n

【技术特征摘要】
1.一种数据读取方法，其特征在于，所述方法包括：
获取目标数据表，提取所述目标数据表的物理地址信息，并根据所述物理地址信息生成待处理任务表；
根据预设业务需求确定单次数据处理量，并根据所述单次数据处理量将所述待处理任务表分割成一个或多个数据块；
生成一个或多个所述数据块的伪列rowid，并根据所述rowid读取所述目标数据表。


2.根据权利要求1所述的方法，其特征在于，所述获取目标数据表，提取所述目标数据表的物理地址信息，并根据所述物理地址信息生成待处理任务表的步骤之前还包括:
判断所述目标数据表中的数据量是否超过第一阈值；
若所述数据量大于所述第一阈值，则根据所述数据量设置并发进程的进程数；
根据所述进程数将所述目标数据表分成对应数量的子目标数据表。


3.根据权利要求1所述的方法，其特征在于，所述生成一个或多个所述数据块的伪列rowid，并根据所述rowid读取所述目标数据表的步骤之后还包括：
获取状态日志，通过所述状态日志获得数据异常数据块；
获取所述异常数据块的rowid并标记为异常rowid，重新读取所述异常rowid以及所述异常rowid之后一个或多个数据块。


4.根据权利要求1所述的方法，其特征在于，所述获取目标数据表，提取所述目标数据表的物理地址信息，并根据所述物理地址信息生成待处理任务表的步骤包括：
从系统数据库中获取所述目标数据表，由系统提取所述目标数据表的物理地址信息，所述物理地址信息包括所述目标数据表的范围extent和属性信息；
将所述物理地址信息中的每个所述extent作为一个独立任务，并根据各个所述独立任务对应的属性信息生成待处理任务表。


5.根据权利要求1所述的方法，其特征在于，所述生成一个或多个所述数据块的伪列...

【专利技术属性】
技术研发人员：帅宇，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44