数据分析系统及方法技术方案

本发明专利技术提供一种数据分析系统及方法，利用第三方数据平台、智能人脸识别以及签到终端、数据接入服务器、数据分析服务器等构成的系统，以房型数据为基础，结合水电气消耗情况、外卖情况、门禁情况、房屋登记情况该四个方向维度，建立与目标住户的关联关系，并结合逻辑回归的交叉熵损失函数综合历史数据，迭代权重参数和截距参数，自动得到精准的数据分析结果，及时发现目标住户，较传统的“登门访查，群众举报”覆盖率高，准确性好，也不会因为误报对住户造成干扰。

Data Analysis System and Method

The invention provides a data analysis system and method, which uses a system composed of a third-party data platform, intelligent face recognition, check-in terminals, data access servers, data analysis servers, etc., and establishes a relationship with the target household on the basis of room data, combining the four dimensions of water and electricity consumption, takeout, access control and housing registration. The system integrates historical data with cross-entropy loss function of logistic regression, iterates weight parameters and intercept parameters, automatically obtains accurate data analysis results, and discovers target households in time. Compared with the traditional \visiting, reporting by the masses\ coverage rate is higher, accuracy is better, and will not interfere with households because of false alarm.

【技术实现步骤摘要】
数据分析系统及方法
本专利技术涉及数据统计和计算机软件
，具体涉及一种数据分析系统及方法。
技术介绍
随着中国社会经济的快速发展和城市化进程的加快，越来越多的人口流入以上海为首的大都市，随着人口的急剧增加，给城市治安管理带来越来越多的挑战，例如出租环境参差不齐，小区内进行传销活动，借用出租屋参赌聚赌等，都给居民小区带来越来越多的安全隐患，对包括周边住户在内的社会治安产生潜在的风险。目前，街道、社区、政府方面也都意识到相关问题，通过一些手段方法加大对上述现象的识别、监控及处置，为了将隐患请出小区，传统的是通过街道物业的登门访查全面排摸，以及群众举报等等人工的排查手段来完成，但限于人力成本及公民隐私权利保护，对目标住户的排查效率、识别率上没有达到可观效果，其结果就是虽然耗用了很多人力，覆盖范围却依然有限，准确率也不高。随着智慧城市相关理念落地，相关方面对社区住户家庭拥有越来越多的公用数据，结合目标住户的一些历史特征，我们对目标住户有越来越多的识别依据，如住户的定期水电气消耗数据，房型，外卖情况，门禁信息，登记人口相关信息。因此，如何科学的利用上述数据，高效的定位出目标住户，以实时、有效的对小区情况进行识别和监控，从而减少因为误报对住户造成的干扰，成为落实智慧城市的首要任务。
技术实现思路
本专利技术的目的在于提供一种数据分析系统及方法，以房型数据为基础，结合水电气消耗情况、外卖情况、门禁情况、房屋登记情况该四个方向维度，建立与住户的关联关系，并综合历史数据，训练出有效分析模型，从而科学的判断出目标住户。为了达到上述目的，本专利技术通过以下技术方案实现：一种数据分析系统，包含：智能识别人脸抓拍设备；网络硬盘录像机NVR，连接智能识别人脸抓拍设备，存储智能识别人脸抓拍设备拍摄到的录像；视频管理平台服务器，通过网络硬盘录像机NVR连接智能识别人脸抓拍设备，对智能识别人脸抓拍设备进行管理；智能签到设备，用于获得刷卡进入数据；门禁数据接入服务器，连接智能签到设备以及图像提取分析平台，门禁数据包含刷卡进入数据、人脸识别进入数据、门铃开门数据、尾随进入数据；第三方数据接入平台，连接第三方外卖系统、第三方房屋登记信息系统、第三方水电气业务系统，其包含外卖数据接入服务器、房屋登记信息接入服务器、水电气接入服务器；图像提取分析平台，连接视频管理平台服务器，其包含视频接入/转发服务器、人脸业务服务器、人脸大数据引擎、人脸分析引擎以及特征提取服务器，以对录像进行处理得到人脸识别进入数据、门铃开门数据、尾随进入数据；其特征在于，该系统还包含一数据分析服务器、数据获取模块以及预处理模块，所述的数据分析服务器包含第一、二、三、四分析模块、信息融合决策输出模块以及训练模块，其中：所述的数据获取模块连接门禁数据接入服务器以及第三方数据接入平台，用于获取每一住户的房型数据、水电气消耗量数据、外卖数据、门禁数据、房屋登记信息数据；所述的预处理模块用于根据房型数据换算得到每一住户允许的居室数量，对水电气消耗量数据、外卖数据、门禁数据、房屋登记信息数据进行清洗；；所述的第一、二、三、四分析模块分别用于基于每一住户的居室数量，结合水电气消耗量数据计算输出每一住户的第一目标概率、结合外卖数据计算输出每一住户的第二目标概率、结合门禁数据输出每一住户的第三目标概率、结合房屋登记信息数据输出每一住户的第四目标概率；信息融合决策输出模块，用于通过每一住户的第一、二、三、四目标概率整合调用各个目标概率的权重参数和截距参数计算得出每一住户的综合目标概率并输出；训练模块，用于不定期查询得到多个住户的综合目标概率与实际检验结果，结合逻辑回归的交叉熵损失函数，迭代权重参数和截距参数，得出最终系统模型，并更新权重参数和截距参数。上述的数据分析系统，其中，所述的训练模块用于不定期查询得到多个住户的综合目标概率与实际检验结果，结合逻辑回归的交叉熵损失函数，迭代权重参数和截距参数，得出最终系统模型，并更新权重参数和截距参数的具体过程包含：设定综合目标概率的计算公式如下：hθ(p,q,r,s)=sigmoid(p*wp+q*wq+r*wr+s*ws+b)（1）式中，hθ(p,q,r,s)表示综合目标概率；p表示第一目标概率；q表示第二目标概率；r表示第三目标概率；s表示第四目标概率；wp,wq,wr,ws分别为给p,q,r,s分配的权重参数；b表示截距用于让目标函数限定在特定范围的一个取值；sigmoid表示指数函数，sigmoid(x)=1/(1+e-x)，式中，e表示自然常数；设定每一住户的数据分析分类结果判定方法为：取合适的阈值p_value，若综合目标概率大于阈值p_value的结果则输出1表示分类结果正确，若小于阈值p_value的结果则输出0表示分类结果不正确；利用交叉熵损失函数逼近得到最终的系统模型，其过程为：（2）式中，J(θ)表示交叉熵损失函数；m表示训练样本的个数；hθ(x)表示基于参数θ和x根据公式（1）的计算值，x表示p,q,r,s，θ代表权重参数wp,wq,wr,ws；y表示原样本中的住户实际检验结果的真实情况；上角标(i)表示第i个样本；利用每个设定周期的不定期查询的住户数据分析分类结果判定数据的个数取得m；根据实际检验结果的真实情况分别标记是为1，否为0得到y，将y代入公式（2）计算求和得到含有权重参数与截距参数wp,wq,wr,ws,b的交叉熵，利用梯度下降动态更新权重参数和截距参数，使得交叉熵最小，得到逼近理想的判定结果的权重参数和截距参数。上述的数据分析系统，其中：所述的第一分析模块通过建立历史统计水电气、高中低词典，根据水电气消耗量数据，计算一第一时间范围内每一住户中平均一个居室的水、电、气消耗量，并按照统计度量得到每个住户的水电气、高中低消耗情况，以水电气、高中低词典为量化标准，输出每一住户水电气、高中低消耗情况相应的第一目标概率；所述的按照统计度量得到每一住户的水电气消耗量的高中低情况指：按照偏离标准差程度或者上分位下分位占比的方式将每个住户的水、电、气消耗情况分别设为高、一般、低三种程度，共27种不同组合的水电气、高中低消耗情况，每一住户对应其中一种水电气、高中低消耗情况；所述的以水电气、高中低词典为量化标准，输出每一住户水电气消耗量相应的第一目标概率指：根据住户的水电气、高中低消耗情况，从水电气、高中低词典中查找出相同情况历史住户，计算该情况历史住户数中检验出确实为目标住户的概率，将该概率作为该住户水电气、高中低消耗情况相应的第一目标概率。上述的数据分析系统，其中：当任一分析模块所分析的数据不齐全的情况下，设相应的概率值为默认值。上述的数据分析系统，其中：所述的第二分析模块根据外卖数据，计算一第二时间范围内每一住户中平均一个居室的外卖人数，根据预设的第一概率值表，输出每一住户外卖人数相应的第二目标概率；所述的第二时间范围为节假日；所述的第二分析模块选取外卖数据中高频次的外卖次数作为分析依据。上述的数据分析系统，其中：所述的第三分析模块根据门禁数据，通过计算一第三时间范围内每个分段时间中与每一住户紧密关联的出入人脸数来得到相应各个分段时间中每一住户中平均一个居室的关联人数，以任一分段时间内关联人数超过标准的情况记为一次，得到该第三本文档来自技高网...

【技术保护点】
1.一种数据分析系统，包含：智能识别人脸抓拍设备；网络硬盘录像机NVR，连接智能识别人脸抓拍设备，存储智能识别人脸抓拍设备拍摄到的录像；视频管理平台服务器，通过网络硬盘录像机NVR连接智能识别人脸抓拍设备，对智能识别人脸抓拍设备进行管理；智能签到设备，用于获得刷卡进入数据；门禁数据接入服务器，连接智能签到设备以及图像提取分析平台，门禁数据包含刷卡进入数据、人脸识别进入数据、门铃开门数据、尾随进入数据；第三方数据接入平台，连接第三方外卖系统、第三方房屋登记信息系统、第三方水电气业务系统，其包含外卖数据接入服务器、房屋登记信息接入服务器、水电气接入服务器；图像提取分析平台，连接视频管理平台服务器，其包含视频接入/转发服务器、人脸业务服务器、人脸大数据引擎、人脸分析引擎以及特征提取服务器，以对录像进行处理得到人脸识别进入数据、门铃开门数据、尾随进入数据；其特征在于，该系统还包含一数据分析服务器、数据获取模块以及预处理模块，所述的数据分析服务器包含第一、二、三、四分析模块、信息融合决策输出模块以及训练模块，其中：所述的数据获取模块连接门禁数据接入服务器以及第三方数据接入平台，用于获取每一住户的房型数据、水电气消耗量数据、外卖数据、门禁数据、房屋登记信息数据；所述的预处理模块用于根据房型数据换算得到每一住户允许的居室数量，对水电气消耗量数据、外卖数据、门禁数据、房屋登记信息数据进行清洗；所述的第一、二、三、四分析模块分别用于基于每一住户的居室数量，结合水电气消耗量数据计算输出每一住户的第一目标概率、结合外卖数据计算输出每一住户的第二目标概率、结合门禁数据输出每一住户的第三目标概率、结合房屋登记信息数据输出每一住户的第四目标概率；信息融合决策输出模块，用于通过每一住户的第一、二、三、四目标概率整合调用各个目标概率的权重参数和截距参数计算得出每一住户的综合目标概率并输出；训练模块，用于不定期查询得到多个住户的综合目标概率与实际检验结果，结合逻辑回归的交叉熵损失函数，迭代权重参数和截距参数，得出最终系统模型，并更新权重参数和截距参数。...

【技术特征摘要】
1.一种数据分析系统，包含：智能识别人脸抓拍设备；网络硬盘录像机NVR，连接智能识别人脸抓拍设备，存储智能识别人脸抓拍设备拍摄到的录像；视频管理平台服务器，通过网络硬盘录像机NVR连接智能识别人脸抓拍设备，对智能识别人脸抓拍设备进行管理；智能签到设备，用于获得刷卡进入数据；门禁数据接入服务器，连接智能签到设备以及图像提取分析平台，门禁数据包含刷卡进入数据、人脸识别进入数据、门铃开门数据、尾随进入数据；第三方数据接入平台，连接第三方外卖系统、第三方房屋登记信息系统、第三方水电气业务系统，其包含外卖数据接入服务器、房屋登记信息接入服务器、水电气接入服务器；图像提取分析平台，连接视频管理平台服务器，其包含视频接入/转发服务器、人脸业务服务器、人脸大数据引擎、人脸分析引擎以及特征提取服务器，以对录像进行处理得到人脸识别进入数据、门铃开门数据、尾随进入数据；其特征在于，该系统还包含一数据分析服务器、数据获取模块以及预处理模块，所述的数据分析服务器包含第一、二、三、四分析模块、信息融合决策输出模块以及训练模块，其中：所述的数据获取模块连接门禁数据接入服务器以及第三方数据接入平台，用于获取每一住户的房型数据、水电气消耗量数据、外卖数据、门禁数据、房屋登记信息数据；所述的预处理模块用于根据房型数据换算得到每一住户允许的居室数量，对水电气消耗量数据、外卖数据、门禁数据、房屋登记信息数据进行清洗；所述的第一、二、三、四分析模块分别用于基于每一住户的居室数量，结合水电气消耗量数据计算输出每一住户的第一目标概率、结合外卖数据计算输出每一住户的第二目标概率、结合门禁数据输出每一住户的第三目标概率、结合房屋登记信息数据输出每一住户的第四目标概率；信息融合决策输出模块，用于通过每一住户的第一、二、三、四目标概率整合调用各个目标概率的权重参数和截距参数计算得出每一住户的综合目标概率并输出；训练模块，用于不定期查询得到多个住户的综合目标概率与实际检验结果，结合逻辑回归的交叉熵损失函数，迭代权重参数和截距参数，得出最终系统模型，并更新权重参数和截距参数。2.如权利要求1所述的数据分析系统，其特征在于，所述的训练模块用于不定期查询得到多个住户的综合目标概率与实际检验结果，结合逻辑回归的交叉熵损失函数，迭代权重参数和截距参数，得出最终系统模型，并更新权重参数和截距参数的具体过程包含：设定综合目标概率的计算公式如下：hθ(p,q,r,s)=sigmoid(p*wp+q*wq+r*wr+s*ws+b)（1）式中，hθ(p,q,r,s)表示综合目标概率；p表示第一目标概率；q表示第二目标概率；r表示第三目标概率；s表示第四目标概率；wp,wq,wr,ws分别为给p,q,r,s分配的权重参数；b表示截距用于让目标函数限定在特定范围的一个取值；sigmoid表示指数函数，sigmoid(x)=1/(1+e-x)，式中，e表示自然常数；设定每一住户的数据分析分类结果判定方法为：取合适的阈值p_value，若综合目标概率大于阈值p_value则输出1表示分类结果正确，若小于阈值p_value则输出0表示分类结果不正确；利用交叉熵损失函数逼近得到最终的系统模型，其过程为：（2）式中，J(θ)表示交叉熵损失函数；m表示训练样本的个数；hθ(x)表示基于参数θ和x根据公式（1）的计算值，x表示p,q,r,s，θ代表权重参数wp,wq,wr,ws；y表示原样本中的住户实际检验结果的真实情况；上角标(i)表示第i个样本；利用每个设定周期的不定期查询的住户数据分析分类结果判定数据的个数取得m；根据实际检验结果的真实情况分别标记是为1，否为0得到y，将y代入公式（2）计算求和得到含有权重参数与截距参数wp,wq,wr,ws,b的交叉熵，利用梯度下降动态更新权重参数和截距参数，使得交叉熵最小，得到逼近理想的判定结果的权重参数和截距参数。3.如权利要求1所述的数据分析系统，其特征在于：所述的第一分析模块通过建立历史统计水电气的高中低词典，根据水电气消耗量数据，计算一第一时间范围内每一住户中平均一个居室的水、电、气消耗量，并按照统计度量得到每个住户的水电气的高中低消耗情况，以水电气的高中低词典为量化标准，输出每一住户水电气的高中低消耗情况相应的第一目标概率；所述的按照统计度量得到每一住户的水电气消耗量的高中低情况指：按照偏离标准差程度或者上分位下分位占比的方式将每个住户的水、电、气消耗情况分别设为高、一般、低三种程度，共27种不同组合的水电气、高中低消耗情况，每一住户对应其中一种水电气的高中低消耗情况；所述的以水电气的高中低词典为...

【专利技术属性】
技术研发人员：李春铭，
申请(专利权)人：上海市浦东新区城市运行综合管理中心，
类型：发明
国别省市：上海,31