数据处理的方法、装置、设备和存储介质制造方法及图纸

本申请公开了数据处理的方法、装置、设备和存储介质，涉及数据处理中的大数据、智能搜索、数据分析等领域，通过获取多种类型的媒体设备的设备信息及采集的记录数据，其中不同类型的媒体设备的记录数据中采集对象的身份标识不同；将所有设备信息转换为对应的结构化信息存储到设备信息表，将所有记录数据转换为对应的结构化数据存储到记录数据表中，实现将多种类型的媒体设备的数据统一聚合到设备信息表和记录数据表，成为一个大的数据源，既能够区分出不同数据的采集来源，还可以进行统一数据处理。在应用时，根据目标的多种身份标识，查询设备信息表和记录数据表，得到目标相关的查询结果，实现统一地数据处理，更近便捷，效率更高。

【技术实现步骤摘要】
数据处理的方法、装置、设备和存储介质
本申请涉及数据处理中的大数据、智能搜索、数据分析等，尤其涉及一种数据处理的方法、装置、设备和存储介质。
技术介绍
在特定场景中，想要发现嫌疑人或者查询某人(如嫌疑人)出现的地方时，通常需要对交通系统，各个酒店、办公楼、超市等不同场所的监控系统，车辆上的行车记录仪等多种媒体设备采集的数据进行分析和处理。但是，不同类型的媒体设备的数据源的数据结构和格式不同，无法进行统一合并处理，对于不同类型的媒体设备的数据源，需要分别采用多套不同的方案进行数据查询、分析和统计，效率很低。
技术实现思路
本申请提供了一种数据处理的方法、装置、设备和存储介质。根据本申请的一方面，提供了一种数据处理的方法，包括：获取多种类型的媒体设备的设备信息及采集的记录数据，其中不同类型的媒体设备的记录数据中采集对象的身份标识不同；将所述多种类型的媒体设备的设备信息转换为与设备信息表的第一表结构对应的结构化信息，存储到所述设备信息表中；将所述多种类型的媒体设备采集的记录数据转换为与所述记本文档来自技高网...

【技术保护点】
1.一种数据处理的方法，包括：/n获取多种类型的媒体设备的设备信息及采集的记录数据，其中不同类型的媒体设备的记录数据中采集对象的身份标识不同；/n将所述多种类型的媒体设备的设备信息转换为与设备信息表的第一表结构对应的结构化信息，存储到所述设备信息表中；并将所述多种类型的媒体设备采集的记录数据转换为与所述记录数据表的第二表结构对应的结构化数据，存储到所述记录数据表中；/n响应于查询请求，根据目标的多种身份标识，查询所述设备信息表和记录数据表，得到所述目标相关的查询结果。/n

【技术特征摘要】
1.一种数据处理的方法，包括：
获取多种类型的媒体设备的设备信息及采集的记录数据，其中不同类型的媒体设备的记录数据中采集对象的身份标识不同；
将所述多种类型的媒体设备的设备信息转换为与设备信息表的第一表结构对应的结构化信息，存储到所述设备信息表中；并将所述多种类型的媒体设备采集的记录数据转换为与所述记录数据表的第二表结构对应的结构化数据，存储到所述记录数据表中；
响应于查询请求，根据目标的多种身份标识，查询所述设备信息表和记录数据表，得到所述目标相关的查询结果。


2.根据权利要求1所述的方法，其中，所述将所述多种类型的媒体设备的设备信息转换为与设备信息表的第一表结构对应的结构化信息，存储到所述设备信息表中，包括：
所述第一表结构包含多个基础字段和一个指定字段，所述第一表结构对应的结构化信息包括所述多个基础字段和一个指定字段的对应信息；
对于每条设备信息，提取出每个所述基础字段的对应信息；
将除所述对应信息之外的设备信息序列化生成所述指定字段的对应信息；
将所述结构化信息插入所述设备信息表中。


3.根据权利要求2所述的方法，其中，所述将除所述对应信息之外的设备信息序列化生成所述指定字段的对应信息，包括：
将除所述对应信息之外的设备信息中每个字段的名称和内容转换为键值对，将所述键值对序列化，得到所述指定字段的对应信息。


4.根据权利要求2所述的方法，其中，所述将所述结构化信息插入所述设备信息表中之前，还包括：
过滤掉所述结构化信息中的脏数据，所述脏数据至少包括：缺失至少一个基础字段的对应信息的结构化信息。


5.根据权利要求2至4中任一项所述的方法，其中，所述第一表结构包括以下至少一个基础字段：
设备的标识，设备的标识类型，设备的安装地址，设备安装位置的经度，设备安装位置的纬度。


6.根据权利要求1所述的方法，其中，所述将所述多种类型的媒体设备采集的记录数据转换为与所述记录数据表的第二表结构对应的结构化数据，存储到所述记录数据表中，包括：
所述第二表结构包含多个基础字段和一个指定字段，所述第一表结构对应的结构化数据包括所述多个基础字段和一个指定字段的对应数据；
对于每条记录数据，提取出每个所述基础字段的对应数据；
将除所述对应数据之外的记录数据序列化生成所述指定字段的对应数据；
将所述结构化数据插入所述记录数据表中。


7.根据权利要求6所述的方法，其中，所述将除所述对应数据之外的记录数据序列化生成所述指定字段的对应数据，包括：
将除所述对应数据之外的记录数据中每个字段的名称和内容转换为键值对，将所述键值对序列化，得到所述指定字段的对应数据。


8.根据权利要求6所述的方法，其中，所述将所述结构化数据插入所述记录数据表中之前，还包括：
过滤掉所述结构化数据中的脏数据，所述脏数据至少包括：缺失至少一个基础字段的对应数据的结构化数据。


9.根据权利要求6所述的方法，其中，所述将所述结构化数据插入所述记录数据表中，包括：
将所述结构化数据按照至少两个基础字段进行分区存储。


10.根据权利要求9所述的方法，其中，所述将所述结构化数据按照至少两个基础字段进行分区存储，包括：
按照采集日期，采集时段和采集数据来源，将所述结构化数据进行分区存储。


11.根据权利要求6至10中任一项所述的方法，其中，所述第二表结构包括以下至少一个基础字段：
采集对象的标识，采集对象的标识类型，采集时间，采集设备的标识，采集设备的标识类型，采集日期，采集时段，采集数据来源。


12.根据权利要求1至4任一项所述的方法，其中，所述查询请求包括地域范围，所述方法还包括：
根据所述目标的多种身份标识，从所述设备信息表和记录数据表中，查询在所述地域范围内的设备所采集的记录数据中与所述目标相关的查询结果；
根据所述查询结果，确定所述目标在所述地域范围内出现的次数。


13.根据权利要求1至4任一项所述的方法，其中，所述查询请求包括时间范围，所述方法还包括：
根据所述目标的多种身份标识，在所述记录数据表中查询采集时间在所述时间范围内且与所述目标相关的目标记录数据；
根据所述目标记录数据中的设备标识，查询所述设备信息表，确定所述目标记录数据的采集地点，得到所述目标在所述时间范围内出现的地点。


14.一种数据处理的装置，包括：
数据获取模块，用于获取多种类型的媒体...

【专利技术属性】
技术研发人员：崔轩，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11