数据采集方法、装置、设备及计算机可读存储介质制造方法及图纸

本申请实施例提供了一种数据采集方法、装置、设备及计算机可读存储介质，该方法包括：获取待采集数据的业务类型；根据待采集数据的业务类型，确定数据采集接口的类型；根据数据采集接口的类型，确定与数据采集接口的类型对应的数据格式的类型，数据格式的类型包括固定格式、基础格式、消费格式和自定义格式中的至少一项；根据数据格式的类型，通过数据采集接口对待采集数据进行采集。该方法实现了对数据采集接口的类型及数据采集接口的类型对应的数据格式的类型进行了规划化处理，解决了由于数据采集接口多样化及数据格式的多样化导致的数据混乱和冗余的问题，同时降低了后期的数据处理难度。

【技术实现步骤摘要】
数据采集方法、装置、设备及计算机可读存储介质
本申请涉及计算机
，具体而言，本申请涉及一种数据采集方法、装置、设备及计算机可读存储介质。
技术介绍
现有技术中采集应用产品各个环节的数据用于进一步的分析和挖掘。由于用户操作应用产品的行为多种多样，现有的数据收集方式，每一种数据业务都设计了一种数据接入方式，造成了一个埋点可能需要写入多个业务接口，很容易造成数据混乱和冗余，加大后期的数据处理难度。数据格式多种多样，一种客户的操作行为对应一条单独的处理模式，大大加深数据处理复杂度和浪费资源成本；例如，每种行为以自己特定格式进行上传数据，后续的数据处理也将对每种行为的特定格式进行开发和优化，大大增加数据存储成本和后续数据开发处理的难度。
技术实现思路
本申请针对现有的方式的缺点，提出一种数据采集方法、装置、设备及计算机可读存储介质，用以解决数据采集接口多样化及数据采集格式多样化导致的数据混乱和冗余的问题。第一方面，本申请提供了一种数据采集方法，包括：获取待采集数据的业务类型；根据待采集数据的业务类型，确定数据采集接口的类型；根据数据采集接口的类型，确定与数据采集接口的类型对应的数据格式的类型，数据格式的类型包括固定格式、基础格式、消费格式和自定义格式中的至少一项；根据数据格式的类型，通过数据采集接口对待采集数据进行采集。可选地，根据待采集数据的业务类型，确定数据采集接口的类型，包括：根据待采集数据的业务类型，确定数据采集接口的类型为初始化接口、登录接口、付费接口和自定义事件接口中的至少一项。可选地，根据数据采集接口的类型，确定与数据采集接口的类型对应的数据格式的类型，包括以下至少一项：根据初始化接口，确定与初始化接口对应的数据格式的类型为固定格式；根据登录接口，确定与登录接口对应的数据格式的类型包括固定格式和基础格式；根据付费接口，确定与付费接口对应的数据格式的类型包括固定格式、基础格式和消费格式；根据自定义事件接口，确定与自定义事件接口对应的数据格式的类型包括固定格式、基础格式和自定义格式。可选地，固定格式，包括以下至少一项：数据格式版本号、消息标识ID、设备ID、客户端提交消息时间、服务端接收到消息的时间、上传消息设备的媒体访问控制MAC地址、iOS设备的定位标识IMEI、iOS设备的定位标识IDFA、iOS设备的定位标识IDFV、Android设备的定位标识androidID、Android设备的定位标识AdvertisingID、平台、游戏ID、渠道编号ID、用户ID、在线时长、上一个消息ID、数据分区、商城、包名、事件ID、消费、事件。可选地，基础格式，包括以下至少一项：游戏版本号、渠道编号ID、设备型号、系统版本、语言、网络类型、设备厂商、分辨率、年龄、性别、引擎、互联网协议IP地址。可选地，消费格式，包括以下至少一项：订单ID、消费账号ID、账户渠道名称、充值金额、币种、虚拟币金额、商品ID、支付方式、区服、等级、关卡、失败描述。可选地，自定义格式，包括以下至少一项：事件ID、事件值、事件失败。第二方面，本申请提供了一种数据采集装置，包括：第一处理模块，用于获取待采集数据的业务类型；第二处理模块，用于根据待采集数据的业务类型，确定数据采集接口的类型；第三处理模块，用于根据数据采集接口的类型，确定与数据采集接口的类型对应的数据格式的类型，数据格式的类型包括固定格式、基础格式、消费格式和自定义格式中的至少一项；第四处理模块，用于根据数据格式的类型，通过数据采集接口对待采集数据进行采集。第三方面，本申请提供了一种电子设备，包括：处理器、存储器和总线；总线，用于连接处理器和存储器；存储器，用于存储操作指令；处理器，用于通过调用操作指令，执行本申请第一方面的数据采集方法。第四方面，本申请提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被用于执行本申请第一方面的数据采集方法。本申请实施例提供的技术方案，至少具有如下有益效果：获取待采集数据的业务类型；根据待采集数据的业务类型，确定数据采集接口的类型；根据数据采集接口的类型，确定与数据采集接口的类型对应的数据格式的类型，数据格式的类型包括固定格式、基础格式、消费格式和自定义格式中的至少一项；根据数据格式的类型，通过数据采集接口对待采集数据进行采集。如此，实现了对数据采集接口的类型及数据采集接口的类型对应的数据格式的类型进行了规划化处理，解决了由于数据采集接口多样化及数据格式的多样化导致的数据混乱和冗余的问题，同时降低了后期的数据处理难度。本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。图1为本申请实施例提供的一种数据采集方法的流程示意图；图2为本申请实施例提供的另一种数据采集方法的流程示意图；图3为本申请实施例提供的一种数据采集装置的结构示意图；图4为本申请实施例提供的一种电子设备的结构示意图。具体实施方式下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本专利技术的限制。本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。本
技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本专利技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。本申请实施例中提供了一种数据采集方法，该本文档来自技高网...

【技术保护点】
1.一种数据采集方法，其特征在于，包括：/n获取待采集数据的业务类型；/n根据所述待采集数据的业务类型，确定数据采集接口的类型；/n根据所述数据采集接口的类型，确定与所述数据采集接口的类型对应的数据格式的类型，所述数据格式的类型包括固定格式、基础格式、消费格式和自定义格式中的至少一项；/n根据所述数据格式的类型，通过所述数据采集接口对所述待采集数据进行采集。/n

【技术特征摘要】
1.一种数据采集方法，其特征在于，包括：
获取待采集数据的业务类型；
根据所述待采集数据的业务类型，确定数据采集接口的类型；
根据所述数据采集接口的类型，确定与所述数据采集接口的类型对应的数据格式的类型，所述数据格式的类型包括固定格式、基础格式、消费格式和自定义格式中的至少一项；
根据所述数据格式的类型，通过所述数据采集接口对所述待采集数据进行采集。


2.根据权利要求1所述的方法，其特征在于，所述根据所述待采集数据的业务类型，确定数据采集接口的类型，包括：
根据所述待采集数据的业务类型，确定所述数据采集接口的类型为所述初始化接口、所述登录接口、所述付费接口和所述自定义事件接口中的至少一项。


3.根据权利要求2所述的方法，其特征在于，所述根据所述数据采集接口的类型，确定与所述数据采集接口的类型对应的数据格式的类型，包括以下至少一项：
根据所述初始化接口，确定与所述初始化接口对应的数据格式的类型为所述固定格式；
根据所述登录接口，确定与所述登录接口对应的数据格式的类型包括所述固定格式和所述基础格式；
根据所述付费接口，确定与所述付费接口对应的数据格式的类型包括所述固定格式、所述基础格式和所述消费格式；
根据所述自定义事件接口，确定与所述自定义事件接口对应的数据格式的类型包括所述固定格式、所述基础格式和所述自定义格式。


4.根据权利要求1所述的方法，其特征在于，所述固定格式，包括以下至少一项：
数据格式版本号、消息标识ID、设备ID、客户端提交消息时间、服务端接收到消息的时间、上传消息设备的媒体访问控制MAC地址、iOS设备的定位标识IMEI、iOS设备的定位标识IDFA、iOS设备的定位标识IDFV、Android设备的定位标识androidID、...

【专利技术属性】
技术研发人员：陈必成，林顺，
申请(专利权)人：厦门雅基软件有限公司，
类型：发明
国别省市：福建;35