一种实现数据处理的方法及装置制造方法及图纸

本申请公开了一种实现数据处理的方法及装置，包括：映射各用户的手机号码到相应的内存位图后，根据手机号码映射各用户上网信息表到相应的内存位图中；采用各目标数据集中的、位置区代码(LAC)和小区识别码(CELL ID)、移动设备国际身份码(IMEI)及手机号码分别查询基站小区信息表、终端信息表和内存位图中的用户上网信息表；根据查询结果生成包含有用户访问网络数据类型的结果数据信息。本发明专利技术通过映射用户上网信息表在内存位图中，降低了信息表的存储空间和时间，同时提高了查找效率。

【技术实现步骤摘要】
【专利摘要】本申请公开了一种实现数据处理的方法及装置，包括：映射各用户的手机号码到相应的内存位图后，根据手机号码映射各用户上网信息表到相应的内存位图中；采用各目标数据集中的、位置区代码(LAC)和小区识别码(CELL ID)、移动设备国际身份码(IMEI)及手机号码分别查询基站小区信息表、终端信息表和内存位图中的用户上网信息表；根据查询结果生成包含有用户访问网络数据类型的结果数据信息。本专利技术通过映射用户上网信息表在内存位图中，降低了信息表的存储空间和时间，同时提高了查找效率。【专利说明】-种实现数据处理的方法及装置
本申请设及大数据处理技术，尤指一种实现数据处理的方法及装置。
技术介绍
随着移动通信技术的不断发展，海量手机用户的上网信息的数据记录，成为运营 商分析业务的重要依据。目前，对海量数据主要使用关系型数据库如化acle存储和使用内 存化sh表存储两种方式进行存储。在对海量存储数据进行匹配查询时，采用相应的两种方 案；一是采用关系型数据库存储被查询的关联表数据记录，然后对结果集数据逐条进行= 个数据表匹配查询；二是采用数据表记录加载的内容，使用内存化sh表进行匹配查询。 对于上述存储和查询，W下对设及的相关内容进行简要说明。 W 1.9亿手机用户上网信息为例，采用化acle存储和使用内存化sh表存储的方 法需要对用户上网信息表、基站小区信息表和终端信息表进行存储；其中，每条用户上网信 息表里记录有：手机号码、手机IMEI、2G网络流量、3G网络流量。表1为用户上网信息表， 实际应当包含有1. 9亿条信息记录。 【权利要求】1. 一种实现数据处理的方法，其特征在于，包括： 映射各用户的手机号码到相应的内存位图后，根据手机号码映射各用户上网信息表到 相应的内存位图中； 逐行读取目标数据集，采用目标数据集中的位置区代码LAC和小区识别码CELL ID查 询基站小区信息表、采用目标数据集中的移动设备国际身份码IMEI查询终端信息表、根据 目标数据集中的手机号码查询内存位图中的用户上网信息表； 根据各行目标数据集查询的相应的基站小区信息表、终端信息表和用户上网信息表生 成包含有用户访问网络数据类型的结果数据信息。2. 根据权利要求1所述的方法，其特征在于，所述内存位图为：内存线性位阵列或内存 矩阵阵列。3. 根据权利要求1或2所述的方法，其特征在于，在逐行读取目标数据集之前，该方法 还包括：将终端信息表及基站小区信息表分别加载到相应的内存哈希Hash表中。4. 根据权利要求1或2所述的方法，其特征在于， 当所述内存位图为内存线性位阵列时，所述映射各用户的手机号码到相应的内存位图 具体包括： 将各用户的手机号码通过两个或两个以上Hash函数计算出相应的Hash值作为其对应 的内存线性位阵列的下标，根据内存线性位阵列的下标映射各用户的手机号码到相应的内 存线性位阵列中； 当所述内存位图为内存矩阵阵列时，所述映射各用户的手机号码到相应的内存位图具 体包括： 将各用户的手机号码通过三个或三个以上Hash函数计算出相应的Hash值，以其中 一个或一个以上，小于计算出的哈希值个数的哈希值作为其对应的内存矩阵阵列的行的下 标，以一个或一个以上剩余的哈希值作为内存矩阵阵列的列下标，根据内存线性位阵列的 下标映射各用户的手机号码到相应的内存线性位阵列中。5. 根据权利要求4所述的方法，其特征在于，所述通过两个或两个以上Hash函数计算 具体包括： 通过手机号码进行哈希计算，获得哈希值； 将手机号码按照预先设置的置换位置和位数进行一次或一次以上置换后，再进行哈希 计算后，获得相应的哈希值； 所述通过三个或三个以上Hash函数计算具体包括： 通过手机号码进行哈希计算，获得哈希值； 将手机号码按照预先设置的置换位置和位数进行两次或两次以上置换后，再进行哈希 计算后，获得相应的哈希值。6. 根据权利要求5所述的方法，其特征在于，该方法还包括： 判断获得的哈希值是否为负数，当为负数时，将所述哈希值与整形最大值相与，获得非 负的相与哈希值； 将相与哈希值对内存位图的位数取模后，替换负数的所述哈希值。7. 根据权利要求1或2所述的方法，其特征在于，该方法之前还包括：根据用户数，预 先建立预设数值位数的内存位图。8. -种实现数据处理的装置，其特征在于，包括：映射加载单元、读取查找单元及生成 单元；其中， 映射单元，用于映射各用户的手机号码到相应的内存位图后，根据手机号码映射各用 户上网信息表到相应的内存位图中； 读取查找单元，用于逐行读取目标数据集，采用目标数据集中的位置区代码LAC加小 区识别码CELL ID查询基站小区信息表、采用目标数据集中的移动设备国际身份码頂EI查 询终端信息表、根据目标数据集中的手机号码查询内存位图中用户上网信息； 生成单元，用于根据各行目标数据集查询的相应的基站小区信息表、终端信息表和用 户上网信息表生成包含有用户访问网络数据类型的结果数据信息。9. 根据权利要求8所述的装置，其特征在于，该装置还包括加载单元，用于在读取查找 单元逐行读取目标数据集之前，将终端信息表及基站小区信息表分别加载到相应的内存哈 希Hash表中。10. 根据权利要求8或9所述的装置，其特征在于，所述内存位图为：内存线性位阵列 或内存矩阵阵列； 所述映射单元具体用于，当所述内存位图为内存线性位阵列时，将各用户的手机号码 通过两个或两个以上Hash函数计算出相应的Hash值作为其对应的内存线性位阵列的下 标，根据内存线性位阵列的下标映射各用户的手机号码到相应的内存线性位阵列中； 当所述内存位图为内存矩阵阵列时，将各用户的手机号码通过三个或三个以上Hash 函数计算出相应的Hash值，以其中一个或一个以上，小于计算出的哈希值个数的哈希值作 为其对应的内存矩阵阵列的行的下标，以一个或一个以上剩余的哈希值作为内存矩阵阵列 的列下标，根据内存线性位阵列的下标映射各用户的手机号码到相应的内存线性位阵列 中。11. 根据权利要求9所述的装置，其特征在于，所述映射单元具体用于， 通过手机号码进行哈希计算，获得一个哈希值；将手机号码按照预先设置的置换位置 和位数进行一次或一次以上置换后，再进行哈希计算后，获得相应的其他哈希值；将计算的 哈希值分别作为其对应的内存线性位阵列的下标，根据内存线性位阵列的下标映射各用户 的手机号码到相应的内存线性位阵列中；或， 通过手机号码进行哈希计算，获得哈希值； 将手机号码按照预先设置的置换位置和位数进行两次或两次以上置换后，再进行哈希 计算后，获得相应的哈希值；将计算的哈希值分别作为其对应的内存矩阵阵列的行和列的 下标，根据内存矩阵阵列的下标映射各用户的手机号码到相应的内存矩阵阵列中。12. 根据权利要求11所述的装置，其特征在于，该装置还包括哈希值处理单元，用于判 断获得的哈希值是否为负数，当为负数时，将所述哈希值与整形最大值相与，获得非负的相 与哈希值； 将相与哈希值对内存位图的位数取模后，替换负数的所述哈希值。13. 根据权利要求8或9所述的装置，其特征在于，该装置还包括阵列建立单元，用于根 据用户数，预先建立预设数值位数本文档来自技高网...

【技术保护点】
一种实现数据处理的方法，其特征在于，包括：映射各用户的手机号码到相应的内存位图后，根据手机号码映射各用户上网信息表到相应的内存位图中；逐行读取目标数据集，采用目标数据集中的位置区代码LAC和小区识别码CELL ID查询基站小区信息表、采用目标数据集中的移动设备国际身份码IMEI查询终端信息表、根据目标数据集中的手机号码查询内存位图中的用户上网信息表；根据各行目标数据集查询的相应的基站小区信息表、终端信息表和用户上网信息表生成包含有用户访问网络数据类型的结果数据信息。

【技术特征摘要】

【专利技术属性】
技术研发人员：尹为强，罗云彬，王伟华，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：北京;11