终端数据处理系统技术方案

本发明专利技术提供了一种终端数据处理系统，包括服务器、数据库和存储有计算机程序的存储介质，服务器与数据库通信连接；其特征在于，所述数据库中存储有终端数据，所述终端数据包括终端ID、终端的历史网格、历史网格的上传时间t1、终端连接的WIFI‑ID、WIFI‑ID的上传时间t2，所述服务器执行所述计算机程序完成相应的步骤并实现相应的功能。

【技术实现步骤摘要】
终端数据处理系统
本专利技术涉及计算机
，尤其涉及一种终端数据处理系统。
技术介绍
随着计算机技术的发展，人们常利用计算机对相关数据进行处理，并进行直观显示。现有的数据处理系统通常包括数据输入系统、处理子系统和输出显示系统。输入系统可以接收用户的输入数据、传感器数据、数据库中存储的数据等，输出显示系统用于向用户显示数据处理的结果，处理子系统是数据处理系统的核心，包括可运行数据处理程序的处理服务器或服务器集群，在处理相对少量数据的时候，几乎所有的计算设备均可以实时的进行数据处理。但是，很多应用场景下需要处理海量的动态数据，例如，2019新型冠状病毒（2019-nCoV）疫情期间，需要对全国（甚至全球）的移动终端数据进行实时处理，从而对疫情传播、监测、防控，以及疫情后恢复等提供帮助。这种场景下，每天涉及处理的实时数据达到百亿级，处理子系统的实时性会大大降低，通过增加硬件数量或采用更高速的硬件设备可以线性提升处理速度，部分缓解实时性问题，但是这样会大幅增加成本，且布置及调试大量新加入的硬件设备也需要花费大量的时间，因此，如何在已有的硬件设备上提高处理海量动态数据的实时性成为亟待解决的技术问题。
技术实现思路
本专利技术实施例提供了一种终端数据处理方法及装置、电子设备和存储介质，旨在解决相关技术中识别去过疫区的人群的方式效率和准确性均低下的技术问题。本专利技术提供了一种终端数据处理系统，包括服务器、数据库和存储有计算机程序的存储介质，服务器与数据库通信连接；其特征在于，所述数据库中存储有终端数据，所述终端数据包括终端ID、终端的历史网格、历史网格的上传时间t1、终端连接的WIFI-ID、WIFI-ID的上传时间t2，所述服务器执行所述计算机程序完成相应的步骤并实现相应的功能。通过以上技术方案，可自动、高效地判断当前地理区域的所有移动终端在指定时段是否在指定地理区域上传过历史位置，换言之，可快速、准确地判定自动识别移动终端的持有者在指定时段是否去过疫区。由此，大大提升了数据处理的效率，节省了时间成本和人工成本。而由于该技术方案耗时相对相关技术中的数据处理方式较短，则更能够适应疫区分布的实时变动，可根据疫区分布的实时变动随时进行待管控对象的识别，大大提升了疫情管控的效率和有效性。具体实施方式为了更好的理解本专利技术的技术方案，下面对本专利技术实施例进行详细描述。应当明确，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。在本专利技术实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本专利技术。在本专利技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。根据本专利技术，提供了一种终端数据处理系统，包括服务器、数据库和存储有计算机程序的存储介质，服务器与数据库通信连接。本领域技术人员知晓，服务器和数据库并非特指一台硬件设备和/或软件设备，还可以是服务器集群、存储集群等。换言之，能够进行数据处理的任何计算设备或多个计算设备的组合均可以认为是服务器，能够进行数据存储的任何存储设备或多个存储设备的组合均可以认为是数据库。服务器和数据库可以是独立的设备，也可以共享一个或多个独立设备。优选的，服务器还与多个移动终端通信连接，接收并处理移动终端上传的数据，并将处理后的数据存储到数据库中。一个示例中，数据库中移动终端的数量级为亿级到十亿级，移动终端每日上传数据的数量级为百亿级。根据本专利技术，移动终端上传到服务器的上传内容包括：终端ID、终端位置P、终端连接的WIFI-ID和/或上传时间t。根据本专利技术，移动终端上传数据的方式包括：可配置的轮询和/或中断方式。轮询方式为，终端每隔固定时间向服务器上传数据；中断方式为，终端状态发生变化时向服务器上传数据，例如终端从连接或断开到某个WIFI时，或者终端从基站甲的覆盖范围变换到基站乙的覆盖范围时，或者终端启动或关闭APP时等。本专利技术并不对终端数据的上传途径予以限定。例如，可以为移动终端中安装的APP所上传的终端信息，或移动终端经由通信连接的基站所上传的终端信息，或移动终端中集成在APP中的SDK所上传的终端信息等。示例性的，移动终端在使用出行APP的过程中，出行APP识别出移动终端的实时位置并上传。根据本专利技术，终端ID为可用来区分不同移动终端的唯一编码。示例性地，终端ID可以为移动终端的IMEI、IMSI、MAC地址、SIM卡号之任一或其组合，和/或经过加密处理（例如MD5加密处理）的移动终端的IMEI、IMSI、MAC地址、SIM卡号之任一或其组合。根据本专利技术，终端位置P可以通过以下任一或任意组合的方式获取：（1）通过移动终端的GPS获取；（2）通过移动终端连接或扫描到的WIFI获取；（3）通过移动终端连接的基站获取。终端位置P的格式可以为终端的经纬度坐标，也可以为经纬度坐标进行变换后的地理网格，例如Geohash网格。根据本专利技术，移动终端向服务器上传数据具有的采样特点包括：第一、高采样率，在“日”时间周期内，采样率约30%，在“月”时间周期内，采样率为80%以上。第二、采样不均匀，受移动终端的使用情况和环境影响，例如地图导航期间，几秒上传一次终端位置P；不使用移动终端期间，0.5-2个小时才上传一次数据；信号不好的地方，不会上传数据等。优选的，服务器对上传数据的处理包括：S1，终端ID的合并，即把经常同时出现在临近位置的终端ID合并为一个终端ID，排除一人双机/多机/测试机/工程机/手机农场等情况。具体合并的方法可以采用现有技术方式或申请人特有技术进行。S2，根据预设的网格和时间段，对上传数据进行有损压缩。当上传的终端位置P为经纬度坐标时，可以根据终端位置P进行坐标变换确定唯一的网格，当然本专利技术也不排斥终端在上传前就在终端本地完成了坐标转换。时间段可以配置，优选配置为1小时，即00:00:00-00:00:59为第一个时间段，01:00:00-01:00:59为第二时间段，以此类推；当然可以0.5个小时、2个小时、24个小时（即天）等。本专利技术中，如无相反定义或特殊说明：术语“网格”指矩形排布的地理空间区域；网格优选为一个Geohash网格或者相邻的多个Geohash网格，Geohash网格例如7位或8位的Geohash网格，其唯一标识为7位或8位的字符串。示例性的一种实施方式中，网格为一个7位的Geohash网格，示例性的另一种实施方式中，网格为两个相邻的构成（近似）正方形的8位Geohash网格。“网格集合”指一个或多个不存在重叠地理空间区域的网格，如两个网格集合之间存在相同的网格，可以认为两个网格集合存在交集。“区域”可以指行政区域；也可以是用户定义的区域，例如用户在电子地图上圈选的区域；对于行政区域，终端数据处理系统中存储有行政区域与网格集合的映射关系；对于用户定义的区域，终端数据处理系统通过坐标本文档来自技高网...

【技术保护点】
1.一种终端数据处理系统，包括服务器、数据库和存储有第一终端同时空判断程序的存储介质，服务器与数据库通信连接；其特征在于：所述数据库中存储有终端数据，所述终端数据包括终端ID、终端的历史网格、历史网格的上传时间t1；所述服务器执行所述第一终端同时空判断程序实现以下处理步骤：/nS710，获取非源终端第一历史时间窗内的第i个第二网格集合，所述第二网格集合包括非源终端的终端ID对应的、且上传时间t1处于第i个第二历史时间窗内的历史网格；所述第一历史时间窗由指定数量的多个第二历史时间窗组成，i的取值范围为1到指定数量；/nS720，根据非源终端的第i个第二网格集合与V个源终端的第i个第二网格集合的交集关系，确定非源终端的终端ID对应的同时空状态；所述源终端的第i个第二网格集合包括源终端的终端ID对应的，且上传时间t1处于第二历史时间窗内的历史网格；其中，V的取值大于或等于1。/n

【技术特征摘要】
20200511 CN 20201039441951.一种终端数据处理系统，包括服务器、数据库和存储有第一终端同时空判断程序的存储介质，服务器与数据库通信连接；其特征在于：所述数据库中存储有终端数据，所述终端数据包括终端ID、终端的历史网格、历史网格的上传时间t1；所述服务器执行所述第一终端同时空判断程序实现以下处理步骤：
S710，获取非源终端第一历史时间窗内的第i个第二网格集合，所述第二网格集合包括非源终端的终端ID对应的、且上传时间t1处于第i个第二历史时间窗内的历史网格；所述第一历史时间窗由指定数量的多个第二历史时间窗组成，i的取值范围为1到指定数量；
S720，根据非源终端的第i个第二网格集合与V个源终端的第i个第二网格集合的交集关系，确定非源终端的终端ID对应的同时空状态；所述源终端的第i个第二网格集合包括源终端的终端ID对应的，且上传时间t1处于第二历史时间窗内的历史网格；其中，V的取值大于或等于1。


2.根据权利要求1所述的终端数据处理系统，其特征在于，所述数据库中还关联存储有非源终端的终端ID与同网格计数器，所述同网格计数器初始化为0；
所述步骤S720进一步包括：
S722，在与非源终端的第i个第二网格集合具有交集时，将非源终端的终端ID对
应的同网格计数器加1；
其中Aj为第j个源终端的第i个第二网格集合，j的取值范围为1到V；
所述同时空状态根据所述同网格计数器的值确定。


3.根据权利要求1所述的终端数据处理系统，其特征在于，所述数据库中还关联存储有非源终端的终端ID与同网格计数器，所述同网格计数器初始化为0；
所述步骤S720进一步包括：
S724，在Aj与非源终端的第i个第二网格集合具有交集时，将终端ID对应的同网格计数器加1；
其中Aj为第j个源终端的第i个第二网格集合，j的取值范围为1到V；
所述同时空状态根据所述同网格计数器的值确定。


4.一种终端数据处理系统，包括服务器、数据库和存储有第二终端同时空判断程序的存储介质，服务器与数据库通信连接；其特征在于：所述数据库中存储有终端数据，所述终端数据包括终端ID、终端连接的WIFI-ID、上传WIFI-ID的时间t2；所述服务器执行所述第二终端同时空判断程序实现以下处理步骤：

【专利技术属性】
技术研发人员：方毅，姚建明，陈文容，朱金星，尹雅露，汤灵玲，郑杰，盛国平，
申请(专利权)人：浙江每日互动网络科技股份有限公司，树兰杭州医院有限公司，
类型：发明
国别省市：浙江;33