一种大数据采集与处理的方法和系统技术方案

本发明专利技术涉及一种大数据采集与处理的方法和系统。该方法通过服务器端向用户端发出要采集的数据信息，数据信息在用户间单向传播并反馈单一类型的数据，从而实现了大数据的直接采集。这种采集方式通过多种数据类型提问、单一数据类型反馈，有效地降低了大数据处理的复杂程度，降低了成本，满足了人们对大数据的广泛需求。

【技术实现步骤摘要】

本专利技术涉及一种数据采集的方法，尤其涉及一种大数据采集与处理的方法和系统。
技术介绍
现有的大数据都是通过用户的点击、发言、浏览等行为间接采集的，然后再根据用户的这些行为与特征分析出用户的喜好与习惯，譬如google、facebook。这种方法需要采集的数据类型繁多，网络日志、视频、图片、地理位置信息等等；数据分析与处理的方法复杂，需要各种工具、各种数据模型、多维度地分析处理；分析处理的时间较长，不能满足即时性的需求；同时高昂的成本也严重阻碍了大数据的广泛应用。
技术实现思路
本专利技术的目的在于解决上述问题，提供了一种大数据采集与处理的方法和系统，它通过服务器端向用户端发出要采集的数据信息，数据信息在用户间单向传播并反馈单一类型的数据，从而实现了大数据的直接采集。这种采集方式通过多种数据类型提问、单一数据类型反馈，有效地降低了大数据处理的复杂程度，降低了成本，满足了人们对大数据的广泛需求。本专利技术技术方案为:本专利技术提供了一种大数据采集与处理的方法和系统，所述方法包括: 服务器端向用户端提供或发出要采集的信息和要求；用户端登陆服务器端后，回答服务器端提出的问题并将单一类型的信息反馈给服务器端；同时，用户端通过用户标识信息向其他用户端传递自己浏览过的信息或链接，其他用户端完成其本身用户端的工作后再向其他用户端传递，形成用户间的单向信息传播；服务器端采集用户端的单一类型的反馈信息，并进行数据处理。进一步包括:用户端登陆服务器端时要上传本机标识信息和在线状态；服务器端的用户信息库通过黑白名单检查该用户，如果不是黑名单用户，就允许该用户登陆并记录该用户的信息和状态；用户端退出时上传本机标识信息和离线状态，服务器端的用户信息库删除该用户。进一步包括:用户端登陆服务器端后，根据自身的位置、权限、终端的硬件属性、自定义的条件、信息的类型、信息的类别和服务器端的要求选择性的接收服务器端或其他用户端或服务器端和其他用户端二者结合传递的信息、文件、下载、链接或列表，包括以下方法: A)直接比对，直接将用户端的位置、权限、终端的硬件属性、自定义的条件、信息的类型、信息的类别与服务器端的要求比对，符合条件的就接收； B)将服务器端的要求数字化或字符化或二者结合形成数字字符化，放到信息、文件、下载、链接或列表中，与用户端的位置、权限、终端的硬件属性、自定义的条件、信息的类型、信息的类别数字化或字符化或二者结合形成数字字符化进行比对，符合条件的就接收。进一步包括:服务器端采集反馈信息时或用户端接收、传递信息时要对该信息进行合法性与安全性检查，包括黑名单用户检查、关键字检查、链接检查、信息来源检查、重复信息检查、举报信息检查、加密信息检查。进一步包括:用户端向其他用户端传递信息时，首先要输入或加载预先设定的接收用户的标识信息，并向服务器端查询接收用户是否存在并在线；服务器端查询接收用户，如果存在并在线，则向用户端或服务器端返回接收用户的IP地址或加密IP地址或wap接口或加密的wap接口。进一步包括:用户端具有免打扰功能，接收信息的用户可以屏蔽某用户端或某信息或来自于服务器端的信息，实现的方法包括直接屏蔽、根据黑白名单屏蔽、根据自身位置屏蔽、根据权限屏蔽、根据终端的硬件属性屏蔽、根据自定义的条件屏蔽、根据信息的类型屏蔽、根据信息的类别屏蔽、根据时间屏蔽、根据服务器端的要求屏蔽、根据以上各种屏蔽方式的任意组合屏蔽。进一步包括:用户端向其他用户端传递信息时可以附加自己的推荐信息，推荐信息包括文本、图片、语音、视频，或在此基础上形成的任意组合。进一步包括:用户端向其他用户端传递信息时，传递信息的方式包括用户端直接向其他用户端传递、用户端通过服务器端间接向其他用户端传递、以上两种方式结合传递；传递的信息包括来自于服务器端的信息、来自于用户端的信息、来自于服务器端和用户端二者结合的信息；反馈信息的方式包括用户端直接反馈给服务器端、用户端通过接收用户间接反馈给服务器端、用户端和接收用户二者结合反馈给服务器端。进一步包括:服务器端提供或发出要采集的信息和要求和用户端传递的信息包括任意的信息、文件、下载、链接或列表，或在此基础上形成的任意组合、排序或加密；用户端的反馈信息是任意的单一类型，包括文本、图片、语音、视频，或任意新的单一类型。进一步包括:用户端是具有联网功能的任意终端，包括移动终端和计算机终端；用户标识信息是标识用户端惟一性的信息，它由用户的手机号、手机设备号、SIM卡标识号、随机数、序列号、时间戳、与计算机硬件相关的编号、操作系统设定的标识信息、用户自定义的标识信息、用户所在的国家名或缩写、用户所在的地名或缩写、用户所在的国家或地区的域名、用户所在的国家名拼音或拼音缩写、用户所在的地名拼音或拼音缩写单独或共同形成的任意组合、排序或加密。本专利技术对比现有技术有如下有益效果:通过服务器端向用户端发出要采集的数据信息，数据信息在用户间单向传播并反馈单一类型的数据，从而实现了大数据的直接采集，能使更多的人得到他们想要的大数据，而不必将时间和金钱浪费在对他们无用的数据上。这种方式通过多种数据类型提问、单一数据类型反馈，有效降低了大数据处理的复杂程度，节约了成本，满足了人们对大数据的广泛需求。【附图说明】图1为本专利技术的一实施例的示意图。图2为本专利技术的一实施例的流程图。图3为本专利技术的另一实施例的流程图。【具体实施方式】本专利技术提供的一种大数据采集与处理的方法和系统如图1所示，包括服务器端和用户端。用户端是具有联网功能的任意终端，包括移动终端和计算机终端。图2显示了本专利技术提供的一实施例的流程。下面是对该流程各步骤的详细描述。步骤201:服务器端向用户端提供或发出要采集的信息和要求。在此步骤中，服务器端可以按照信息、文件、下载、链接或列表的形式提供要采集的信息，服务器端提出的要求是一种限制，如限定某信息只能由某一地区的用户端接收，限定某信息只能由某一权限的用户端接收。步骤202:用户端登陆服务器端，上传本机标识信息和在线状态。步骤203:服务器端的用户信息库通过黑白名单检查该用户是否是黑名单用户，若是黑名单用户则进入步骤204，若不是黑名单用户则进入步骤205。在此步骤中，黑名单用户是绝对禁止登陆的用户，白名单用户是内部交流的用户。用户端登陆时，先与服务器端保存的黑白名单比对，只有通过比对的用户才能正常登陆。在此步骤中，用户信息库是一个数据库，记录了用户端的标识信息和在线状态，它不保存普通用户的信息，普通用户退出时，该普通用户的所有信息会删当前第1页1 2 3 本文档来自技高网...

【技术保护点】
一种大数据采集与处理的方法和系统，其特征在于，所述方法包括：服务器端向用户端提供或发出要采集的信息和要求；用户端登陆服务器端后，回答服务器端提出的问题并将单一类型的信息反馈给服务器端；同时，用户端通过用户标识信息向其他用户端传递自己浏览过的信息或链接，其他用户端完成其本身用户端的工作后再向其他用户端传递，形成用户间的单向信息传播；服务器端采集用户端的单一类型的反馈信息，并进行数据处理。

【技术特征摘要】

【专利技术属性】
技术研发人员：郭威，
申请(专利权)人：郭威，
类型：发明
国别省市：辽宁;21