【技术实现步骤摘要】
一种数据处理方法、装置、设备及存储介质
本申请涉及大数据
,特别是涉及一种数据处理方法、装置、设备及存储介质。
技术介绍
目前,大数据成为一种重要的信息资产,大数据具有如下特点:海量的数据规模、快速的数据流转、多样的数据类型和价值密度低。很多用户都需要获取大数据,并对大数据进行分析处理。相关方案中,大数据的来源较复杂,导致获取的大数据质量较差,比如重复数据、无效数据较多。目前亟需一种数据处理方案,以提高数据质量。
技术实现思路
本申请实施例的目的在于提供一种数据处理方法、装置、设备及存储介质,以提高数据质量。为达到上述目的,本申请实施例提供了一种数据处理方法,包括:获取静态实名数据包括的目标物的身份信息,以及所述静态实名数据中不同属性的数据分别对应的第一属性标签;获取动态实名数据包括的目标物的身份信息,以及所述动态实名数据中不同属性的数据分别对应的第二属性标签;对包括相同身份信息的静态实名数据和动态实名数据进行合并处理,得到合并处理后的实名数据,所述合并处理后 ...
【技术保护点】
1.一种数据处理方法,其特征在于,包括:/n获取静态实名数据包括的目标物的身份信息,以及所述静态实名数据中不同属性的数据分别对应的第一属性标签;/n获取动态实名数据包括的目标物的身份信息,以及所述动态实名数据中不同属性的数据分别对应的第二属性标签;/n对包括相同身份信息的静态实名数据和动态实名数据进行合并处理,得到合并处理后的实名数据,所述合并处理后的实名数据对应的属性标签为对所述第一属性标签和所述第二属性标签进行去重处理后的属性标签,每一去重处理后的属性标签对应的数据包括所述静态实名数据和所述动态实名数据中该属性标签对应的数据;/n将每一个合并处理后的实名数据、每一未合并 ...
【技术特征摘要】
20190603 CN 20191047782931.一种数据处理方法,其特征在于,包括:
获取静态实名数据包括的目标物的身份信息,以及所述静态实名数据中不同属性的数据分别对应的第一属性标签;
获取动态实名数据包括的目标物的身份信息,以及所述动态实名数据中不同属性的数据分别对应的第二属性标签;
对包括相同身份信息的静态实名数据和动态实名数据进行合并处理,得到合并处理后的实名数据,所述合并处理后的实名数据对应的属性标签为对所述第一属性标签和所述第二属性标签进行去重处理后的属性标签,每一去重处理后的属性标签对应的数据包括所述静态实名数据和所述动态实名数据中该属性标签对应的数据;
将每一个合并处理后的实名数据、每一未合并处理的静态实名数以及每一未合并处理的动态实名数据,分别确定为一个实名类数据。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对于每一实名数据,若该实名数据包括目标物的多条身份信息,则删除其他身份信息中类型与最新身份信息中身份数据的类型相同的身份数据,并合并所述其他身份信息中剩余的身份数据和所述最新身份信息中的身份数据,所述实名数据为静态实名数据或动态实名数据,所述最新身份信息为该实名数据中时间最近的身份信息,所述其他身份信息为该实名数据中除所述最新身份信息外的身份信息。
3.根据权利要求1所述的方法,其特征在于,每一目标物的身份信息包括该目标物的特征信息;所述方法还包括:
获取实时抓拍数据以及获取所述实时抓拍数据的关联信息;
提取所述实时抓拍数据中包括的抓拍物的目标特征信息;
检测所述实名类数据中是否存在目标实名类数据,所述目标实名类数据包括与所述目标特征信息匹配的特征信息;
若存在所述目标实名类数据,则在所述目标实名类数据中所述关联信息对应的目标属性标签下添加所述关联信息;
若不存在所述目标实名类数据,则将所述目标特征信息和所述关联信息对应的添加至匿名类库中,所述匿名类库用于存储匿名类数据,所述匿名类数据包括身份信息未知的抓拍物的数据。
4.根据权利要求3所述的方法,其特征在于,所述将所述目标特征信息和所述关联信息对应的添加至匿名类库中的步骤,包括:
检测匿名类库中是否存在第一目标匿名类数据,所述第一目标匿名类数据包括与所述目标特征信息匹配的特征信息;
若存在所述第一目标匿名类数据,则在所述第一目标匿名类数据中所述目标属性标签下添加所述关联信息;
若不存在所述第一目标匿名类数据,则在所述匿名类库中添加第二目标匿名类数据,所述第二目标匿名类数据包括所述目标特征信息以及所述目标属性标签下的所述关联信息。
5.一种数据处理装置,其特征在于,包括:
第一获取单元,用于获取静态实名数据包括的目标物的身份信息,以及所述静态实名数据中不同属性的数据分别对应的第一属性标签;
第二获取单元,用于获取动态实名数据包括的目...
【专利技术属性】
技术研发人员:曹中胜,项恒光,王怀远,魏忱,孟凡旗,
申请(专利权)人:杭州海康威视系统技术有限公司,
类型:发明
国别省市:浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。