基于人工智能的数据扫描方法、装置、计算机设备及介质制造方法及图纸

本发明专利技术涉及人工智能技术领域，提供一种基于人工智能的数据扫描方法、装置、计算机设备及介质，包括：在接收到数据的扫描指令后，利用数据落库延时识别模型识别所述数据的落库延时时长；根据所述数据的落库延时时长标记数据库中的数据扫描范围；获取网络质量，并根据所述网络质量对所述数据扫描范围内的数据进行分页，得到多页数据；计算每页数据的哈希值并确定所述哈希值为对应页的分页ID；对所述分页ID进行排序并按照排序后的顺序对所述多页数据进行分页扫描。本发明专利技术能够提高数据的扫描效率。

【技术实现步骤摘要】
基于人工智能的数据扫描方法、装置、计算机设备及介质
本专利技术涉及人工智能
，具体涉及一种基于人工智能的数据扫描方法、装置、计算机设备及介质。
技术介绍
随着社交网络、物联网等技术的发展，数据以指数的速率在不断的增长，众多生产内容与元素已实现数据化存储与传输，数据规模的增大对数据的检索也提出了更高的要求，数据扫描的时间越长，数据检索的效率越低，数据扫描的时间越短，数据检索的效率越高。然而，专利技术人在实现本专利技术的过程中发现，由于没有记录数据库扫描已经执行的位置，一旦数据扫描的过程被中断，则需要从数据库的第一条数据重新执行数据扫描，如此不仅导致数据扫描效率低下，还需消耗大量的服务器资源；此外，数据落库存在一定的延时，因此，容易造成数据扫描遗漏。
技术实现思路
鉴于以上内容，有必要提出一种基于人工智能的数据扫描方法、装置、计算机设备及介质，能够提高数据的扫描效率。本专利技术的第一方面提供一种基于人工智能的数据扫描方法，所述方法包括：在接收到数据的扫描指令后，利用数据落库延时识别模型识别所述数据的落库延时时长；根据所述数据的落库延时时长标记数据库中的数据扫描范围；获取网络质量，并根据所述网络质量对所述数据扫描范围内的数据进行分页，得到多页数据；计算每页数据的哈希值并确定所述哈希值为对应页的分页ID；对所述分页ID进行排序并按照排序后的顺序对所述多页数据进行分页扫描。根据本专利技术的一个可选的实施例，所述利用数据落库延时识别模型识别所述数据的落库延时时长包括：确定所述数据的业务标识；计算所述数据的接收时长及计算所述数据的数据总量；输入所述业务标识、所述接收时长及所述数据总量至所述数据落库延时识别模型中进行识别得到所述扫描延时时长。根据本专利技术的一个可选的实施例，所述根据所述数据的落库延时时长标记数据库中的数据扫描范围包括：确定所述数据的开始接收时间；根据所述开始接收时间及所述落库延时时长确定所述数据的结束接收时间；标记所述数据库中与所述开始接收时间对应的第一扫描标识符，及标记所述数据库中与所述结束接收时间对应的第二扫描标识符；根据所述第一扫描标识符及所述第二扫描标识符确定数据库中的数据扫描范围。根据本专利技术的一个可选的实施例，所述根据所述网络质量对所述数据扫描范围内的数据进行分页，得到多页数据包括：采用预先设置的分页流控阈值作为第一个分页流控阈值，并从所述数据扫描范围内读取所述第一个分页流控阈值对应的数据，作为所述第一分页数据；匹配所述网络质量与多个网络质量范围；当所述网络质量与第一网络质量范围匹配时，将所述上一个分页流控阈值降低第一预设幅度，得到下一个分页流控阈值，并从所述数据扫描范围内读取所述下一个分页流控阈值对应的数据，作为下一分页数据；或当所述网络质量与第二网络质量范围匹配时，将所述上一个分页流控阈值提高第二预设幅度，得到下一个分页流控阈值，并从所述数据扫描范围内读取所述下一个分页流控阈值对应的数据，作为下一分页数据；或当所述网络质量对应第三网络质量范围时，将所述上一个分页流控阈值作为下一个分页流控阈值，并从所述数据扫描范围内读取所述下一个分页流控阈值对应的数据，作为下一分页数据。根据本专利技术的一个可选的实施例，所述计算每页数据的哈希值包括：将每页中的第一条数据的第一数据ID与每页中的最后一条数据的第二数据ID进行组合得到ID字符串；采用散列函数计算所述ID字符串的散列值，得到每页数据的哈希值。根据本专利技术的一个可选的实施例，所述方法还包括：接收数据查询请求，其中，所述数据查询请求包括数据查询ID；确定所述数据查询ID对应的分页ID；获取所述分页ID中的数据；从所述分页ID中的数据的起始点开始进行查询，并在查询到与所述数据查询ID对应的目标数据时，显示所述目标数据。根据本专利技术的一个可选的实施例，所述方法还包括：当侦测到数据查询中断信号时，记录中断时的目标数据的目标数据ID；在接收到中断恢复指令后，从所述目标数据ID对应的目标数据开始进行查询。本专利技术的第二方面提供一种基于人工智能的数据扫描装置，所述装置包括：识别模块，用于在接收到数据的扫描指令后，利用数据落库延时识别模型识别所述数据的落库延时时长；标记模块，用于根据所述数据的落库延时时长标记数据库中的数据扫描范围；分页模块，用于获取网络质量，并根据所述网络质量对所述数据扫描范围内的数据进行分页，得到多页数据；计算模块，用于计算每页数据的哈希值并确定所述哈希值为对应页的分页ID；扫描模块，用于对所述分页ID进行排序并按照排序后的顺序对所述多页数据进行分页扫描。本专利技术的第三方面提供一种计算机设备，所述计算机设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现所述基于人工智能的数据扫描方法。本专利技术的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于人工智能的数据扫描方法。综上所述，本专利技术所述的基于人工智能的数据扫描方法、装置、计算机设备及介质，在接收到数据的扫描指令后，利用数据落库延时识别模型识别所述数据的落库延时时长，并根据所述数据的落库延时时长标记数据库中的数据扫描范围，借助于人工智能能够识别出不同业务系统的数据的落库延时时长，从而确定数据扫描范围，避免数据扫描遗漏；接着实时获取网络质量并根据所述网络质量对所述数据扫描范围内的数据进行分页，得到多页数据，根据网络质量动态的调整分页数据的数据量，便于后续进行数据扫描时，能够提高数据扫描的效率，最后计算每页数据的哈希值并确定所述哈希值为对应页的分页ID，对所述分页ID进行排序并按照排序后的顺序对所述多页数据进行分页扫描，分页扫描能够进一步提高数据扫描的效率。附图说明图1是本专利技术实施例一提供的基于人工智能的数据扫描方法的流程图。图2是本专利技术实施例提供的数据扫描范围的示意图。图3是本专利技术实施例二提供的基于人工智能的数据扫描装置的结构图。图4是本专利技术实施例三提供的计算机设备的结构示意图。具体实施方式为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施例对本专利技术进行详细描述。需要说明的是，在不冲突的情况下，本专利技术的实施例及实施例中的特征可以相互组合。除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文中在本专利技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本专利技术。本专利技术实施例提供的基于人工智能的数据扫描方法由计算机设备执行，相应地，基于人工智能的数据扫描装置运行于计算机设备中。图1是本专利技术实施例一提供的基于人工智能的数据扫描方法的流程图。所述基于人工智能的数据扫描方法具本文档来自技高网...

【技术保护点】
1.一种基于人工智能的数据扫描方法，其特征在于，所述方法包括：/n在接收到数据的扫描指令后，利用数据落库延时识别模型识别所述数据的落库延时时长；/n根据所述数据的落库延时时长标记数据库中的数据扫描范围；/n获取网络质量，并根据所述网络质量对所述数据扫描范围内的数据进行分页，得到多页数据；/n计算每页数据的哈希值并确定所述哈希值为对应页的分页ID；/n对所述分页ID进行排序并按照排序后的顺序对所述多页数据进行分页扫描。/n

【技术特征摘要】
1.一种基于人工智能的数据扫描方法，其特征在于，所述方法包括：
在接收到数据的扫描指令后，利用数据落库延时识别模型识别所述数据的落库延时时长；
根据所述数据的落库延时时长标记数据库中的数据扫描范围；
获取网络质量，并根据所述网络质量对所述数据扫描范围内的数据进行分页，得到多页数据；
计算每页数据的哈希值并确定所述哈希值为对应页的分页ID；
对所述分页ID进行排序并按照排序后的顺序对所述多页数据进行分页扫描。


2.如权利要求1所述的基于人工智能的数据扫描方法，其特征在于，所述利用数据落库延时识别模型识别所述数据的落库延时时长包括：
确定所述数据的业务标识；
计算所述数据的接收时长及计算所述数据的数据总量；
输入所述业务标识、所述接收时长及所述数据总量至所述数据落库延时识别模型中进行识别得到所述扫描延时时长。


3.如权利要求1所述的基于人工智能的数据扫描方法，其特征在于，所述根据所述数据的落库延时时长标记数据库中的数据扫描范围包括：
确定所述数据的开始接收时间；
根据所述开始接收时间及所述落库延时时长确定所述数据的结束接收时间；
标记所述数据库中与所述开始接收时间对应的第一扫描标识符，及标记所述数据库中与所述结束接收时间对应的第二扫描标识符；
根据所述第一扫描标识符及所述第二扫描标识符确定数据库中的数据扫描范围。


4.如权利要求1所述的基于人工智能的数据扫描方法，其特征在于，所述根据所述网络质量对所述数据扫描范围内的数据进行分页，得到多页数据包括：
采用预先设置的分页流控阈值作为第一个分页流控阈值，并从所述数据扫描范围内读取所述第一个分页流控阈值对应的数据，作为所述第一分页数据；
匹配所述网络质量与多个网络质量范围；
当所述网络质量与第一网络质量范围匹配时，将所述上一个分页流控阈值降低第一预设幅度，得到下一个分页流控阈值，并从所述数据扫描范围内读取所述下一个分页流控阈值对应的数据，作为下一分页数据；或
当所述网络质量与第二网络质量范围匹配时，将所述上一个分页流控阈值提高第二预设幅度，得到下一个分页流控阈值，并从所述数据扫描范围内读取所述下一个分页流控阈值对应的数据，作为下一分页数据；或
当所述网络质量对...

【专利技术属性】
技术研发人员：曹飞，
申请(专利权)人：深圳赛安特技术服务有限公司，
类型：发明
国别省市：广东;44