本发明专利技术公开了一种数据处理方法、装置、电子设备及存储介质，该方法包括：根据已归档数据集进行计算，确定出所述已归档数据集对应的社区网络图；所述已归档数据集包括多个不同人员对应的归档档案，所述社区网络图包括已归档数据节点，所述已归档数据节点与每个所述人员的归档档案对应；基于所述社区网络图，确定出所述已归档数据节点之间的同行数据，以根据所述同行数据确定出数据期望和出入度数量；根据所述数据期望对所述已归档数据节点进行排序，并基于所述出入度数量在排序后的所述已归档数据节点中确定出目标节点以进行剔除处理。由此在数据挖掘时，能够避免因同行关系较多造成误差，提升了数据挖掘的精准度，以减少传播影响力。响力。响力。
【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质
[0001]本专利技术涉及数据处理
，具体涉及一种数据处理方法、装置、电子设备及存储介质。
技术介绍
[0002]目前监控摄像头和人脸识别技术相结合对各种公共场所的人员进行监控，增加了城市的安全性，在对公共场所的人员进行监控的同时可以为每个人员建立人员档案，以方便对人员的管理；但是由于存在部分外卖人员，服务人员以及保安人员等特殊职业，对于这些特殊职业人员的档案被归档后，在需要进行数据挖掘时，由于同行关系较多容易导致数据挖掘的过程中出现较大误差，使得数据挖掘的精准度不足。
技术实现思路
[0003]第一方面，本专利技术的主要目的是提供一种数据处理方法，包括：
[0004]根据已归档数据集进行计算，确定出所述已归档数据集对应的社区网络图；所述已归档数据集包括多个不同人员对应的归档档案，所述社区网络图包括已归档数据节点，所述已归档数据节点与每个所述人员的归档档案对应；
[0005]基于所述社区网络图，确定出所述已归档数据节点之间的同行数据，以根据所述同行数据确定出数据期望和出入度数量；所述同行数据包括同行关系和同行关系的数量，所述数据期望用于表征所述同行关系的数量平均值，所述出入度数量用于表征所述已归档数据节点的出度关系和入度关系的数量；
[0006]根据所述数据期望对所述已归档数据节点进行排序，并基于所述出入度数量在排序后的所述已归档数据节点中确定出目标节点以进行剔除处理。
[0007]可选的，所述根据已归档数据集进行计算，确定出所述已归档数据集对应的社区网络图之前，包括：
[0008]根据各个抓拍点位抓拍的待归档图像对应的人员图像特征，确定出所述待归档图像之间的相似度集合；
[0009]基于所述相似度集合对所述待归档图像进行聚类，并将满足相似度阈值的待归档图像进行归档，得到所述已归档数据集。
[0010]可选的，所述根据已归档数据集进行计算，确定出所述已归档数据集对应的社区网络图包括：
[0011]根据所述已归档数据集中各个归档档案对应的抓拍时间信息和抓拍点位信息，计算所述已归档数据集中各个归档档案之间的同行关系；
[0012]基于所述已归档数据集中各个归档档案之间的同行关系，确定出具有同行关系的各个归档档案；
[0013]根据具有同行关系的各个归档档案对应的已归档数据节点之间进行构建节点关系边，得到所述社区网络图。
[0014]可选的，所述基于所述社区网络图，确定出所述已归档数据节点之间的同行数据，以根据所述同行数据确定出数据期望和出入度数量，包括：
[0015]基于所述社区网络图，确定所述已归档数据节点在预定时间内的同行关系和所述同行关系的数量；
[0016]根据所述同行关系和所述同行关系的数量进行计算，确定出所述数据期望和所述出入度数量。
[0017]可选的，所述根据所述同行关系和所述同行关系的数量进行计算，确定出所述数据期望包括：
[0018]根据所述已归档数据节点的同行关系进行求和，得到求和结果；
[0019]根据所述求和结果和所述同行关系的数量进行求商计算，确定得到所述数据期望。
[0020]可选的，所述根据所述同行关系和所述同行关系的数量进行计算，确定出所述出入度数量包括：
[0021]根据所述已归档数据节点，确定出对应的出度关系和入度关系；所述出度关系用于表征所述已归档数据节点中指出去的关系，所述入度关系所述已归档数据节点中被指向的关系；
[0022]基于所述同行关系、出度关系和所述入度关系进行计算，确定得到所述出入度数量。
[0023]可选地，所述根据所述数据期望对所述已归档数据节点进行排序，并基于所述出入度数量在排序后的所述已归档数据节点中确定出目标节点以进行剔除处理，包括：
[0024]根据所述数据期望对所述已归档数据节点进行排序，确定出满足预设范围内的数据期望对应的已归档数据节点；
[0025]根据满足预设范围内的数据期望对应的已归档数据节点，将所述已归档数据节点对应的出入度数量进行排序；
[0026]若所述出入度数量大于等于预定值时，确定所述出入度数量对应的已归档数据节点为目标节点以进行过滤处理。
[0027]第二方面，本专利技术实施例提供了一种数据处理装置，包括：
[0028]计算模块，用于根据已归档数据集进行计算，确定出所述已归档数据集对应的社区网络图；所述已归档数据集包括多个不同人员对应的归档档案，所述社区网络图包括已归档数据节点，所述已归档数据节点与每个所述人员的归档档案对应；
[0029]确定模块，用于基于所述社区网络图，确定出所述已归档数据节点之间的同行数据，以根据所述同行数据确定出数据期望和出入度数量；所述同行数据包括同行关系和同行关系的数量，所述数据期望用于表征所述同行关系的数量平均值，所述出入度数量用于表征所述已归档数据节点的出度关系和入度关系的数量；
[0030]排序模块，用于根据所述数据期望对所述已归档数据节点进行排序，并基于所述出入度数量在排序后的所述已归档数据节点中确定出目标节点以进行剔除处理。
[0031]第三方面，本专利技术实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的数据处理方法的步骤。
[0032]第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的数据处理方法的步骤。
[0033]本专利技术的上述方案至少包括以下有益效果：
[0034]本专利技术提供的数据处理方法，首先根据已归档数据集进行计算，确定出所述已归档数据集对应的社区网络图；已归档数据集包括多个不同人员对应的归档档案，社区网络图包括已归档数据节点，已归档数据节点与每个人员的归档档案对应；然后基于所述社区网络图，确定出所述已归档数据节点之间的同行数据，以根据所述同行数据确定出数据期望和出入度数量；最后根据所述数据期望对所述已归档数据节点进行排序，并基于所述出入度数量确定出目标节点以进行剔除处理。由此在数据挖掘时，能够避免因同行关系较多造成误差，提升了数据挖掘的精准度，以减少传播影响力。
附图说明
[0035]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0036]图1为本专利技术实施例提供的数据处理方法的整体流程示意图；
[0037]图2为本专利技术实施例提供的数据处理方法的示例图；
[0038]图3为本专利技术实施例提供的数据处理装置的结构框图；
[0039]图4为本专利技术实施例提供的电子设备的结构框图。
[004本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：根据已归档数据集进行计算，确定出所述已归档数据集对应的社区网络图；所述已归档数据集包括多个不同人员对应的归档档案，所述社区网络图包括已归档数据节点，所述已归档数据节点与每个所述人员的归档档案对应；基于所述社区网络图，确定出所述已归档数据节点之间的同行数据，以根据所述同行数据确定出数据期望和出入度数量；所述同行数据包括同行关系和同行关系的数量，所述数据期望用于表征所述同行关系的数量平均值，所述出入度数量用于表征所述已归档数据节点的出度关系和入度关系的数量；根据所述数据期望对所述已归档数据节点进行排序，并基于所述出入度数量在排序后的所述已归档数据节点中确定出目标节点以进行剔除处理。2.根据权利要求1所述的数据处理方法，其特征在于，所述根据已归档数据集进行计算，确定出所述已归档数据集对应的社区网络图之前，包括：根据各个抓拍点位抓拍的待归档图像对应的人员图像特征，确定出所述待归档图像之间的相似度集合；基于所述相似度集合对所述待归档图像进行聚类，并将满足相似度阈值的待归档图像进行归档，得到所述已归档数据集。3.根据权利要求1所述的数据处理方法，其特征在于，所述根据已归档数据集进行计算，确定出所述已归档数据集对应的社区网络图包括：根据所述已归档数据集中各个归档档案对应的抓拍时间信息和抓拍点位信息，计算所述已归档数据集中各个归档档案之间的同行关系；基于所述已归档数据集中各个归档档案之间的同行关系，确定出具有同行关系的各个归档档案；根据具有同行关系的各个归档档案对应的已归档数据节点之间进行构建节点关系边，得到所述社区网络图。4.根据权利要求1所述的数据处理方法，其特征在于，所述基于所述社区网络图，确定出所述已归档数据节点之间的同行数据，以根据所述同行数据确定出数据期望和出入度数量，包括：基于所述社区网络图，确定所述已归档数据节点在预定时间内的同行关系和所述同行关系的数量；根据所述同行关系和所述同行关系的数量进行计算，确定出所述数据期望和所述出入度数量。5.根据权利要求4所述的数据处理方法，其特征在于，所述根据所述同行关系和所述同行关系的数量进行计算，确定出所述数据期望包括：根据所述已归档数据节点的同行关系进行求和，得到求和结果；根据所述求和结果和所述同行关系的数...
【专利技术属性】
技术研发人员：刘国伟，
申请(专利权)人：深圳云天励飞技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。