一种数据驱动的城市精准深度画像系统及方法技术方案

本发明专利技术涉及一种数据驱动的城市精准深度画像系统及方法，包括数据加载与预处理模块、多维度数据呈现模块、模型与关系维护模块、数据融合实验室模块和跨系统画像模块；克服海量城市感知数据多粒度结构化描述、多模态城市时空大数据多尺度建模与智能融合、城市跨系统时空状态传播与资源调度；本发明专利技术实现城市大数据在不同粒度语义上的知识融合、互补和共享，提升对多源感知城市大数据理解的深度和广度；以多粒度的层次化语义描述框架实现对多领域、跨系统城市感知数据的深度融合与关联关系挖掘，实现多视角、多尺度自动化知识挖掘与数据关联。

【技术实现步骤摘要】
一种数据驱动的城市精准深度画像系统及方法
本专利技术涉及计算机软件应用的
，特别是涉及数据驱动的城市精准深度画像系统。
技术介绍
城市数据类型多样化，如常见的有文本、图形、图像、声音、动画、视频等，且由于编码、传播模式等的不同，同一媒体也存在多种不同的模态。随着设备和技术的不断推陈出新，以及移动互联网、物联网、云计算等信息技术的发展，人类享受着越来越多的跨媒体感官刺激和体验，每时每刻都有海量的异构媒体数据产生和传播。随着数据规模的不断增长，对异构媒体的检索需求日益强烈。由于查询需求难以精确定义，想要根据媒体内容本身而非标题、作者等纯文本来精确查找用户所需的媒体文件是一件非常困难的事情。由于异构媒体数据存在多语义和多态性特点，异构媒体数据会受多种因素影响而使得在理解产生差异和不同。因此在信息获取的过程中，需要在语义理解的基础上，将不同角度理解的不同形式的媒体数据通过活化与关联来综合考虑，才能使信息和知识的获取更加丰富和有意义，从而为后续的应用和管理提供支持。然而，在对跨媒体数据进行关联分析时，需要跨越一系列挑战，拟解决的关键技术问题如下：(1)构建基于多粒度时空映射关系的城市大数据动态多属性混合聚类方法从时空维度考虑，多源感知城市大数据具有在粗时空粒度上的确定性趋势与细时空粒度上的随机性特点并存的问题，在多尺度时空维度上建模、融合、分析并挖掘与应用相关的数据信息所蕴含的知识与规律模式是本专利技术需要解决的一个关键技术问题。(2)基于镜头聚焦的多尺度城市发展演化规律建模在微/宏观尺度上对城市不同时空规则进行统一地把握与筛选以梳理其内在的隐含关联，深度挖掘城市内在的运行规律并对上层的城市精准深度画像服务提供有力支撑是本专利技术需要解决的一个关键技术问题。
技术实现思路
本专利技术的技术解决问题：克服海量城市感知数据多粒度结构化描述、多模态城市时空大数据多尺度建模与智能融合、城市跨系统时空状态传播与资源调度。本专利技术提出一种数据驱动的城市精准深度画像系统，所述系统包括客户端浏览器和中心服务器，利用BS架构，将核心的系统模块部署在中心服务器，在客户端利用浏览器进行各个模块的访问，所述系统模块包括数据加载与预处理模块、多维度数据呈现模块、模型与关系维护模块、数据融合实验室模块、跨系统画像模块。本专利技术的数据驱动的城市精准深度画像系统，所述数据加载与预处理模块，用于实现数据加载与预处理的功能，本模块导入外界的各类异构数据，并作为多维度数据呈现模块、模型与关系维护模块数据提供方，通过数据集的相关属性的对照关系建立映射，形成整体性的数据关联；所述数据包括包含动态加载的各类数据，系统已经先期导入了包括交通类、销售类、天气情况、微博、云词热点、POI数据等，形成了初始数据集，此模块功能包括：新建、编辑、删除数据集；对已有数据集里的数据进行查询过滤、加工编辑功能；加工编辑功能可对初始数据进行清洗加工、进行数据运算等功能。本专利技术的数据驱动的城市精准深度画像系统，所述多维度数据呈现模块，用于实现以图表呈现已加载的数据集的功能，本模块从数据加载与预处理模块和模型与关系维护模块获取基础数据，并进行数据呈现并进一步为模型与关系维护模块以及数据融合实验室模块提供数据基础，所述功能包括：自定义数据呈现维度、过滤数据呈现的颗粒度、设置度量项、设置度量项计算项、设置图表配置项；所述计算项包括求和、平均、最大值、最小值；所述呈现包括各种多维度的呈现类型，包括折线图、柱状图、饼图、漏斗图或者地图等，数据的各个维度均可进行展现。本专利技术的数据驱动的城市精准深度画像系统，所述模型与关系维护模块，此模块主要是固化在数据加载与预处理模块被证明为有价值的数据结构和数据关联关系；本模块从数据加载与预处理模块获取数据，并进一步为数据融合实验室模块提供数据来源，当所述模型与关系维护模块中显示数据类别结构树，此结构树主要的功能是将各类异构数据进行业务领域的划分，大致划分为工业、交通与邮政、公共服务、出行数据模型等类别，选取某一类别时，绘图区域显示对应的模型名称、模型描述，领域名称、领域描述；本模块的主要作用便是进行数据集的业务领域进行划分，以利于更有针对性的对数据融合实验室模块提供结构化数据。本专利技术的数据驱动的城市精准深度画像系统，所述数据融合实验室模块，用于在包括模型与关系维护模块、多维度数据呈现模块已经整理后的各种数据集进行采集、传输、综合、过滤、相关及合成，由于异构媒体数据存在多语义和多态性特点，异构媒体数据会受多种因素影响而使得在理解产生差异和不同；因此在信息获取的过程中，需要在语义理解的基础上，将不同角度理解的不同形式的媒体数据通过活化与关联来综合考虑，才能使信息和知识的获取更加丰富和有意义，从而为后续的应用和管理提供支持；首先，由于不同媒体介质的特征不同，以及人主观性的存在，对同一物体的关注点以及描述也会不同；因此，需要通过跨媒体异构数据属性统一描述方法来全面分析数据的各种属性，主动识别隐藏属性，建立一套基于数据特征描述规范的属性操作运算法则，实现语义扩展；其次，由于数据的多态性，同一个事件由于采集角度、采集方法等不同，会形成不同的视频、音频和图片数据，这些不同的数据能够提供针对同一目标的不同的信息；因此，需要分析数据关联分析方法的基本原理，充分和智能地利用好跨媒体数据所提供的多样化信息，通过分析数据的时空信息、语义知识、所有者、访问权限、压缩算法等基础上，结合产生背景、组成结构、内部关系和获取来源等基本属性研究跨媒体数据的动态关联机制；最后，数字媒体语义丰富，在理解时需要充分考虑其上下文信息，比如一年四季树木形态特征发生变化，以及随着时间推移周围设施变化，使得从同一角度拍摄的大楼所处环境发生变化，甚至可能存在被遮挡等情况，因此掌握数据动态演化的过程，根据时空上下文建立关联是必要的；在研究多语义、多模态数字媒体数据属性感知的基础上，还需要研究数据动态成长和演化的基本方法；随着时间的增长，跨媒体数据之间的关联关系会更加丰富，需要不断对关联关系进行相应的分析；对异构跨媒体数据进行活化与关联，需要通过全面分析数据的各种属性，建立动态关联机制，研究数据动态成长和演化的基本方法，并不断对关联关系进行相应的分析；同时，还需要研究跨媒体数据的甄别验证方法，确保数据的有效性并实现高效的数据容错机制。本专利技术的数据驱动的城市精准深度画像系统，所述跨系统画像模块，利用数据融合实验室模块的实验结果，用于包括一卡通出发画像、一卡通到达画像、共享单车出发画像、共享单车到达画像、网约车出发画像、网约车到达画像等；根据共享单车、网约车以及一卡通的数据集，提炼出以下统计类数据；数据统计区间为一周内7天时间，每天按24小时进行统计；包含有了6个动态数据图，一卡通数据的区域出发流量图、一卡通数据的区域到达流量图、网约车数据的区域出发流量图、网约车数据的区域到达流量图、共享单车数据的区域出发流量图、共享单车数据的区域到达流量图；主要是针对多数据融合视角下的大城市交通拥堵模式进行分析和结果预构，包括基于交通数据抽取轨迹与速度信息、基于POI数据获取城本文档来自技高网...

【技术保护点】
1.一种数据驱动的城市精准深度画像系统，其特征在于：包括数据加载与预处理模块、多维度数据呈现模块、模型与关系维护模块、数据融合实验室模块和跨系统画像模块；/n所述数据加载与预处理模块，实现数据加载与预处理的功能；所述数据加载是导入外界的各类异构数据，形成多个数据集；所述各类异构数据包括交通类、销售类、天气情况、微博、云词热点和POI数据；以数据集的名称作为表名，数据集的字段作为表的属性，建立一一对应关系并存入数据库中，形成整体性的数据关联，其中交通类数据包括一卡通出发数据、一卡通到达数据、共享单车出发数据、共享单车到达数据、网约车出发数据、网约车到达数据；所述预处理包括新建、编辑和删除数据集；对已有数据集里的数据进行查询过滤和加工编辑；所述加工编辑是指对初始数据进行清洗加工和数据运算；预处理后的各类数据提供给多维度数据呈现模块、模型与关系维护模块；/n所述多维度数据呈现模块，实现以图表呈现已加载的数据集，并对数据集中的各类数据进行多维度呈现；基于数据加载与预处理模块、模型与关系维护模块获取的数据，先将数据特征进行多维度提取并形成新的数据特征，再针对提取后形成的数据特征进行数学计算项运算，将运算后的数据进行图形化呈现，最后根据呈现效果判断是否进行数据状态的保存；所述数据多维度提取功能包括：数据的时间维度，空间维度和多元语义维度；所述数学计算项包括求和、平均、最大值和最小值；所述图形化呈现包括：折线图、柱状图、饼图、漏斗图、地图；对数据进行多维度呈现之后，根据呈现效果判断是否进行数据状态的保存；得到数据后并进一步为模型与关系维护模块以及数据融合实验室模块提供数据来源；/n所述模型与关系维护模块，用于从数据加载与预处理模块和多维度数据呈现模块中所获取数据，对数据进行业务领域的划分，并将划分后的不同业务领域的数据，根据实际业务建立数据联系，并存储至数据库；所述业务领域的划分功能包括：将数据进行业务领域的划分，划分类别包括：工业、交通与邮政、公共服务、出行数据模型，并对每个类别命名对应的模型名称、模型描述，领域名称、领域描述；所述建立数据联系功能包括：将不同领域的数据根据各自特定的数据特征，包括时间范围、空间范围或者语义逻辑进行数据挖掘，并建立数据关联，形成结构化数据；得到结构化数据后以利于更有针对性的对数据融合实验室模块提供数据；/n所述数据融合实验室模块，从模型与关系维护模块和多维度数据呈现模块中所获取数据，并对获取的各种数据过滤清洗，再进一步对过滤清洗后的数据进行特征融合形成新的融合数据，从而为后续的应用和管理提供支持，并将新的融合数据存储至数据库；所述数据过滤清洗功能包括：发现并纠正数据中可识别的错误，检查数据一致性，处理无效值和缺失值；所述数据特征融合功能包括：将数据进行特征融合，特征包括目标的方向、速度、交通流量，然后对特征信息进行综合分析和处理，来理解数据集之间的深层管理；并为跨系统画像模块提供数据；/n所述跨系统画像模块，利用数据融合实验室模块的实验结果和数据加载与预处理模块导入的交通数据，作为跨系统画像模块各个子画像的数据来源；先选择相应的交通数据，再根据交通数据，提炼出以下统计类数据，数据统计区间为一周内7天时间，每天按24小时进行统计形成不同的统计数据；再基于统计数据抽取轨迹与速度信息、基于POI数据获取城市功能描述，构建拥堵指数以及定量地反映某区域当前速度情况；所述交通数据包括：一卡通出发数据、一卡通到达数据、共享单车出发数据、共享单车到达数据、网约车出发数据、网约车到达数据；一卡通出发数据、一卡通到达数据、共享单车出发数据、共享单车到达数据、网约车出发数据、网约车到达数据；所述各个子画像包括：一卡通出发画像、一卡通到达画像、共享单车出发画像、共享单车到达画像、网约车出发画像、网约车到达画像；所述统计数据包括：按行政区域统计出发或到达的总体流量、平均流量、平均速度，瞬时速度。/n...

【技术特征摘要】
1.一种数据驱动的城市精准深度画像系统，其特征在于：包括数据加载与预处理模块、多维度数据呈现模块、模型与关系维护模块、数据融合实验室模块和跨系统画像模块；
所述数据加载与预处理模块，实现数据加载与预处理的功能；所述数据加载是导入外界的各类异构数据，形成多个数据集；所述各类异构数据包括交通类、销售类、天气情况、微博、云词热点和POI数据；以数据集的名称作为表名，数据集的字段作为表的属性，建立一一对应关系并存入数据库中，形成整体性的数据关联，其中交通类数据包括一卡通出发数据、一卡通到达数据、共享单车出发数据、共享单车到达数据、网约车出发数据、网约车到达数据；所述预处理包括新建、编辑和删除数据集；对已有数据集里的数据进行查询过滤和加工编辑；所述加工编辑是指对初始数据进行清洗加工和数据运算；预处理后的各类数据提供给多维度数据呈现模块、模型与关系维护模块；
所述多维度数据呈现模块，实现以图表呈现已加载的数据集，并对数据集中的各类数据进行多维度呈现；基于数据加载与预处理模块、模型与关系维护模块获取的数据，先将数据特征进行多维度提取并形成新的数据特征，再针对提取后形成的数据特征进行数学计算项运算，将运算后的数据进行图形化呈现，最后根据呈现效果判断是否进行数据状态的保存；所述数据多维度提取功能包括：数据的时间维度，空间维度和多元语义维度；所述数学计算项包括求和、平均、最大值和最小值；所述图形化呈现包括：折线图、柱状图、饼图、漏斗图、地图；对数据进行多维度呈现之后，根据呈现效果判断是否进行数据状态的保存；得到数据后并进一步为模型与关系维护模块以及数据融合实验室模块提供数据来源；
所述模型与关系维护模块，用于从数据加载与预处理模块和多维度数据呈现模块中所获取数据，对数据进行业务领域的划分，并将划分后的不同业务领域的数据，根据实际业务建立数据联系，并存储至数据库；所述业务领域的划分功能包括：将数据进行业务领域的划分，划分类别包括：工业、交通与邮政、公共服务、出行数据模型，并对每个类别命名对应的模型名称、模型描述，领域名称、领域描述；所述建立数据联系功能包括：将不同领域的数据根据各自特定的数据特征，包括时间范围、空间范围或者语义逻辑进行数据挖掘，并建立数据关联，形成结构化数据；得到结构化数据后以利于更有针对性的对数据融合实验室模块提供数据；
所述数据融合实验室模块，从模型与关系维护模块和多维度数据呈现模块中所获取数据，并对获取的各种数据过滤清洗，再进一步对过滤清洗后的数据进行特征融合形成新的融合数据，从而为后续的应用和管理提供支持，并将新的融合数据存储至数据库；所述数据过滤清洗功能包括：发现并纠正数据中可识别的错误，检查数据一致性，处理无效值和缺失值；所述数据特征融合功能包括：将数据进行特征融合，特征包括目标的方向、速度、交通流量，然后对特征信息进行综合分析和处理，来理解数据集之间的深层管理；并为跨系统画像模块提供数据；
所述跨系统画像模块，利用数据融合实验室模块的实验结果和数据加载与预处理模块导入的交通数据，作为跨系统画像模块各个子画像的数据来源；先选择相应的交通数据，再根据交通数据，提炼出以下统计类数据，数据统计区间为一周内7天时间，每天按24小时进行统计形成不同的统计数据；再基于统计数据抽取轨迹与速度信息、基于POI数据获取城市功能描述，构建拥堵指数以及定量地反映某区域当前速度情况；所述交通数据包括：一卡通出发数据、一卡通到达数据、共享单车出发数据、共享单车到达数据、网约车出发数据、网约车到达数据；一卡通出发数据、一卡通到达数据、共享单车出发数据、共享单车到达数据、网约车出发数据、网约车到达数据；所述各个子画像包括：一卡通出发画像、一卡通到达画像、共享单车出发画像、共享单车到达画像、网约车出发画像、网约车到达画像；所述统计数据包括：按行政区域统计出发或到达的总体流量、平均流量、平均速度，瞬时速度。


2.如权利要求1所述的数据驱动的城市精准深度画像系统，其特征在于，所述数据加载与预处理模块具体包括，
首先对数据进行标准格式的整理，按照表头和属性一一对应进行，并将数据保存为excel文件；选择Excel导入文件后，上传到服务器后，解析excel文件，解析后台逻辑如下：首先为每一张Excel的SHEET自动生成一个Tabel表名(UUID)，将用户填写的数据集名称、描述、数据表名、sheet页名称信息记录到DATASET数据表中；再将每个SHEET页的表头信息记录到DATASET_FIELD表中，记录这个数据集对应有哪些字段、字段含义是什么、字段类型是什么；最后创建数据集实体表，将Excel里的数据导入到这张表中；供多维度数据呈现、模型与关系维护步骤调用。


3.如权利要求1所述的数据驱动的城市精准深度画像系统，其特征在于，所述多维度数据呈现模块：通过列表展示出数据加载与预处理模块获取的所有的数据集，然后通过选择相应数据集，显示选中数据集对应的所有字段；利用鼠标拖拽，将字段拖动到纬度项、度量项、过滤筛选区域...

【专利技术属性】
技术研发人员：盛浩，刘洋，张洋，吕凯，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11