【技术实现步骤摘要】
本申请涉及数据处理,具体涉及一种文件扫描方法、一种文件扫描装置、一种电子设备、一种计算机可读存储介质以及一种计算机程序产品。
技术介绍
1、在计算机和网络环境中,经常需要从固定存储位置获取某种特定格式的新文件或全部新文件,并对这些新文件进行进一步处理。这种处理需要持续进行,以确保系统数据的实时更新和同步。这种情况经常出现在数据批处理的复杂环境中,例如大数据分析、etl(抽取、转换、加载)流程以及数据仓库管理中。
2、目前,一般通过人工的方式查找计算机或网络环境中固定存储位置是否出现新文件。比如,用户可以通过人工扫描文件数量、读取文件名、比较文件修改时间等方式来判断固定存储位置是否存在新文件。这种方式只能大致判断出部分文件数量发生改变的新文件,但面临文件内容发生修改的新文件将存在耗时较长、准确度较低等缺陷。
3、此外,在计算机和网络环境中,数据的更新通常是以批量的形式进行的,例如每日日志文件、每周报告文件或每月统计文件。为了确保系统数据的实时性和准确性,有必要定期扫描固定存储位置,获取符合要求的新文件,并将其进行进
...【技术保护点】
1.一种文件扫描方法,其特征在于,所述文件扫描方法包括:
2.根据权利要求1所述的文件扫描方法,其特征在于,所述对目标文件进行标准化处理,获得标准化后的目标文件,包括:
3.根据权利要求1所述的文件扫描方法,其特征在于,所述对目标文件进行标准化处理,获得标准化后的目标文件,包括:
4.根据权利要求1所述的文件扫描方法,其特征在于,所述对目标文件进行标准化处理,获得标准化后的目标文件,包括:
5.根据权利要求1所述的文件扫描方法,其特征在于,所述基于目标文件的文件内容哈希值和各个历史文件的文件内容哈希值,分析目标文件是否为
...【技术特征摘要】
1.一种文件扫描方法,其特征在于,所述文件扫描方法包括:
2.根据权利要求1所述的文件扫描方法,其特征在于,所述对目标文件进行标准化处理,获得标准化后的目标文件,包括:
3.根据权利要求1所述的文件扫描方法,其特征在于,所述对目标文件进行标准化处理,获得标准化后的目标文件,包括:
4.根据权利要求1所述的文件扫描方法,其特征在于,所述对目标文件进行标准化处理,获得标准化后的目标文件,包括:
5.根据权利要求1所述的文件扫描方法,其特征在于,所述基于目标文件的文件内容哈希值和各个历史文件的文件内容哈希值,分析目标文件是否为相对于各个历史文件发生改变的更新文件,包括:
6.根据权利要求1所...
【专利技术属性】
技术研发人员:刘明,
申请(专利权)人:建信金融科技有限责任公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。