本发明专利技术属于数据挖掘领域，公开了一种基于大数据的数据挖掘管理系统，包括数据存放模块、访问控制模块和数据挖掘模块；数据存放模块用于存储待进行数据挖掘的原始数据；数据挖掘模块用于向访问控制模块发送数据读取指令；访问控制模块用于在接收到数据读取指令后，先获取数据挖掘人员的脸部图像中的修复区域，然后再基于修复区域判断数据挖掘人员是否具有数据读取权限，数据存放模块用于在接收到数据读取指令后，将数据读取指令对应的数据D发送至访问控制模块；访问控制模块还用于将数据D转发至数据挖掘模块；数据挖掘模块还用于对数据D进行数据挖掘处理，获取数据挖掘结果。本发明专利技术提高了进行访问控制的处理效率。明提高了进行访问控制的处理效率。明提高了进行访问控制的处理效率。
【技术实现步骤摘要】
一种基于大数据的数据挖掘管理系统
[0001]本专利技术涉及数据挖掘领域，尤其涉及一种基于大数据的数据挖掘管理系统。
技术介绍
[0002]数据挖掘一般是指从大量数据中自动搜索具有特殊关系(属于关联规则学习)的隐藏信息的过程。主要有三个步骤：数据准备、规律检索和规律描述。数据挖掘的方法包括关联分析、聚类分析、分类分析、异常分析、特定群体分析和进化分析等。
[0003]在进行数据挖掘的过程中，往往会涉及一些商业数据，因此，需要对待进行数据挖掘的数据的访问进行一定的权限控制，以避免商业数据泄露。现有技术中，采用人脸识别的方式对存储的待进行数据挖掘的数据的进行访问控制时，一般采用的都是直接对获得的人脸图像进行预处理及特征提取，但是人脸图像中存在较多的无用像素点，这些像素点参与了预处理的过程会影响访问控制的处理效率。
技术实现思路
[0004]本专利技术的目的在于公开一种基于大数据的数据挖掘管理系统，解决现有的数据挖掘系统在进行访问控制时，在人脸识别的过程中会因为直接对获得的人脸图像进行预处理及特征提取，影响访问控制的处理效率的问题。
[0005]为了达到上述目的，本专利技术采用如下技术方案：
[0006]一种基于大数据的数据挖掘管理系统，包括数据存放模块、访问控制模块和数据挖掘模块；
[0007]数据存放模块用于存储待进行数据挖掘的原始数据；
[0008]数据挖掘模块用于向访问控制模块发送数据读取指令；
[0009]访问控制模块用于在接收到数据读取指令后，获取数据挖掘人员的脸部图像，并基于脸部图像判断数据挖掘人员是否具有数据读取权限：
[0010]获取脸部图像中符合筛选模型的像素点的集合K；
[0011]根据集合K获取填充像素点的集合L；
[0012]基于集合K和集合L获取人脸初步确定区域；
[0013]对人脸初步确定区域进行修复处理，获得修复区域；
[0014]基于修复区域判断数据挖掘人员是否具有数据读取权限，若是，则将数据读取指令发送至数据存放模块；
[0015]数据存放模块用于在接收到数据读取指令后，将数据读取指令对应的数据D发送至访问控制模块；
[0016]访问控制模块还用于将数据D转发至数据挖掘模块；
[0017]数据挖掘模块还用于对数据D进行数据挖掘处理，获取数据挖掘结果。
[0018]可选的，所述数据存放模块包括存放单元、读取单元和通信单元；
[0019]存放单元用于存储待进行数据挖掘的原始数据；
[0020]通信单元用于接收来自访问控制模块的数据读取指令；
[0021]读取单元用于获取数据读取指令对应的数据D；
[0022]通信单元还用于将数据读取指令对应的数据D发送至访问控制模块。
[0023]可选的，所述访问控制模块包括转发单元和访问控制单元；
[0024]转发单元用于接收数据挖掘模块发送的数据读取指令；
[0025]访问控制单元用于在接收到数据读取指令后，获取数据挖掘人员的脸部图像，并基于脸部图像判断数据挖掘人员是否具有数据读取权限；
[0026]转发单元还用于在数据挖掘人员具有数据读取权限时，将数据读取指令转发至数据存放模块；
[0027]转发单元还用于将数据存放模块发送过来的数据D转发至数据挖掘模块。
[0028]可选的，所述数据挖掘模块包括操作单元和数据挖掘单元；
[0029]操作单元用于数据挖掘人员输入数据读取指令，并将数据指令发送至访问控制模块；
[0030]数据挖掘单元用于对数据D进行数据挖掘处理，获取数据挖掘结果。
[0031]可选的，所述获取脸部图像中符合筛选模型的像素点的集合K，包括；
[0032]将脸部图像中的像素点存入集合S；
[0033]获取脸部图像所对应的灰度图像；
[0034]将灰度图像中灰度值小于自适应阈值的像素点从集合S中删除，获得待筛选集合T；
[0035]获取待筛选集合T中符合筛选模型的像素点的集合K。
[0036]可选的，所述获取待筛选集合T中符合筛选模型的像素点的集合K，包括：
[0037]对于待筛选集合T中的像素点pixel，若pixel符合如下筛选模型model，则将pixel存入集合K：
[0038][0039]其中，Cr(pixel)、Cb(pixel)分别表示像素点pixel在YCrCb空间中的Cr分量和Cb分量的值，miCr和maCr分别表示设定的Cr分量的下限值和上限值，miCb和maCb分别表示设定的Cb分量的下限值和上限值。
[0040]可选的，所述根据集合K获取填充像素点的集合L，包括：
[0041]采用滑动窗口W在脸部图像上进行滑动，滑动窗口W的尺寸为(2N+1)
×
(2N+1)，N为预设的大于1的整数；
[0042]将滑动窗口W中的第一行、第一列、最后一行和最后一列的像素点存入集合sW；
[0043]若sW∈K，则将滑动窗口W中的不属于集合K的像素点存入集合L。
[0044]可选的，所述基于集合K和集合L获取人脸初步确定区域，包括：
[0045]获取集合K和集合L的并集KL；
[0046]获取并集KL中的像素点的连通域；
[0047]将最大的连通域作为人脸初步确定区域。
[0048]可选的，所述对人脸初步确定区域进行修复处理，获得修复区域，包括：
[0049]S1，获取人脸初步确定区域最外围的像素点的集合U；
[0050]S2，将修复集合mgU初始为空集；
[0051]S3，对集合U中的每个像素点，分别进行如下处理，获得修复集合mgU：
[0052]S31，对于集合U中的像素点upix，将upix作为判断像素点judpix；
[0053]S32，获取判断像素点judpix的δ
×
δ的邻域中的像素点的集合neijpU；
[0054]S33，将集合neijpU中属于修复集合mgU的像素点删除，获得集合aneijpU；
[0055]S34，将集合aneijpU中属于人脸初步确定区域的像素点删除，获得集合bneijpU；
[0056]S35，分别计算集合bneijpU中的每个像素点与判断像素点judpix之间的关联系数，将最大的关联系数mcoeh对应的像素点记为maxpix；
[0057]S36，若mcoeh大于设定的系数门槛值，则将maxpix存入集合修复集合mgU，将maxpix作为新的判断像素点judpix，进入S32；若mcoeh小于等于设定的系数门槛值，则结束对像素点upix的处理；
[0058]S4，由修复集合mgU中的像素点和人脸初步确定区域中的像素点组成修复区域。
[0059]可选的，所述基于修复区域判断数据挖掘人员是否具有数据读取权限，包括：
[0060]对修复区域进行图像预处理和本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于大数据的数据挖掘管理系统，其特征在于，包括数据存放模块、访问控制模块和数据挖掘模块；数据存放模块用于存储待进行数据挖掘的原始数据；数据挖掘模块用于向访问控制模块发送数据读取指令；访问控制模块用于在接收到数据读取指令后，获取数据挖掘人员的脸部图像，并基于脸部图像判断数据挖掘人员是否具有数据读取权限：获取脸部图像中符合筛选模型的像素点的集合K；根据集合K获取填充像素点的集合L；基于集合K和集合L获取人脸初步确定区域；对人脸初步确定区域进行修复处理，获得修复区域；基于修复区域判断数据挖掘人员是否具有数据读取权限，若是，则将数据读取指令发送至数据存放模块；数据存放模块用于在接收到数据读取指令后，将数据读取指令对应的数据D发送至访问控制模块；访问控制模块还用于将数据D转发至数据挖掘模块；数据挖掘模块还用于对数据D进行数据挖掘处理，获取数据挖掘结果。2.根据权利要求1所述的一种基于大数据的数据挖掘管理系统，其特征在于，所述数据存放模块包括存放单元、读取单元和通信单元；存放单元用于存储待进行数据挖掘的原始数据；通信单元用于接收来自访问控制模块的数据读取指令；读取单元用于获取数据读取指令对应的数据D；通信单元还用于将数据读取指令对应的数据D发送至访问控制模块。3.根据权利要求1所述的一种基于大数据的数据挖掘管理系统，其特征在于，所述访问控制模块包括转发单元和访问控制单元；转发单元用于接收数据挖掘模块发送的数据读取指令；访问控制单元用于在接收到数据读取指令后，获取数据挖掘人员的脸部图像，并基于脸部图像判断数据挖掘人员是否具有数据读取权限；转发单元还用于在数据挖掘人员具有数据读取权限时，将数据读取指令转发至数据存放模块；转发单元还用于将数据存放模块发送过来的数据D转发至数据挖掘模块。4.根据权利要求1所述的一种基于大数据的数据挖掘管理系统，其特征在于，所述数据挖掘模块包括操作单元和数据挖掘单元；操作单元用于数据挖掘人员输入数据读取指令，并将数据指令发送至访问控制模块；数据挖掘单元用于对数据D进行数据挖掘处理，获取数据挖掘结果。5.根据权利要求1所述的一种基于大数据的数据挖掘管理系统，其特征在于，所述获取脸部图像中符合筛选模型的像素点的集合K，包括；将脸部图像中的像素点存入集合S；获取脸部图像所对应的灰度图像；将灰度图像中灰度值小于自适应阈值的像素点从集合S中删除，获得待筛选集合T；
获取待筛选集合T中符合筛选模型的像素点的集合K。6.根据权利要求5所述的一种基于大数据的数据挖掘管理系统，其特征在于，所述获取待筛选集合T中符合筛选模型的像素点的集合K，包括：对于待筛选集合T中的像素点pixel，若pixel符合如下筛选...
【专利技术属性】
技术研发人员：张旻昊，王天永，齐振松，杨晓，程宇，
申请(专利权)人：杭州奕正科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。