数据生成方法、装置和计算机可读存储介质制造方法及图纸

本申请公开了一种数据生成方法、装置和计算机可读存储介质。该方法包括：获取用于记录对象的目标数据记录；确定目标数据记录中的第一维度信息、特征信息和时间信息，第一维度信息为目标数据记录中用于表示对象的第一信息，特征信息是能够对第一维度信息进行计量的信息，时间信息为与第一维度信息相关的产生时间、发布时间或用户获取时间；生成包括有第一维度信息、特征信息和时间信息的标准数据，通过上述方法，当目标数据记录的数量为多个时，上述多个目标数据记录对应的多个标准数据的数据结构为相同的，因此，可以利用上述多个标准数据进行数据计算。

Data generation method, device and computer readable storage medium

【技术实现步骤摘要】
数据生成方法、装置和计算机可读存储介质
本申请涉及计算机
，具体而言，涉及一种数据生成方法、装置和计算机可读存储介质。
技术介绍
为了对某个行为、事件或状态进行分析，需要获取很多数据，然后对获取的数据进行数据计算，以便利用大数据对该事件进行分析，以及使得分析出的结果相对准确，由于在获取数据时，是通过很多途径获取到的，导致获取到的数据的数据结构存在差异，导致无法对上述数据进行数据计算。
技术实现思路
本申请的主要目的在于提供一种数据生成方法、装置和计算机可读存储介质，以将通过多种途径获取到的数据统一成相同的数据结构。第一方面，为了实现上述目的，本申请提供了一种数据生成方法，包括：获取用于记录对象的目标数据记录，其中，所述对象包括行为、事件或状态；确定所述目标数据记录中的第一维度信息、特征信息和时间信息，所述第一维度信息为所述目标数据记录中用于表示所述对象的第一信息，所述特征信息是能够对所述第一维度信息进行计量的信息，所述时间信息为与所述第一维度信息相关的产生时间、发布时间或用户获取时间；以及生成包括所述第一维度信息、所述特征信息和所述时间信息的标准数据。可选地，在生成包括有所述第一维度信息、所述特征信息和所述时间信息的标准数据之后，所述方法还包括：检测属于同一数据表格的标准数据中是否存在第一标准数据和第二标准数据，其中，所述第一标准数据中的时间信息和所述第二标准数据中的时间信息相同，以及所述第一标准数据中第一维度信息和所述第二标准数据中的第一维度信息相同；以及如果不存在，则使用所述第一标准数据和所述第二标准数据进行数据计算。可选地，在检测属于同一数据表格的标准数据中是否存在第一标准数据和第二标准数据之后，所述方法还包括：如果存在，将各标准数据对应的目标数据记录中的第二维度信息添加到该标准数据中，其中，所述第二维度信息为所述目标数据记录中用于表示所述对象的第二信息；检测所述第一标准数据的第二维度信息与所述第二标准数据的第二维度信息是否相同；以及如果不相同，则使用所述数据表格中添加有第二维度信息的各标准数据进行数据计算。可选地，在检测所述第一标准数据的第二维度信息与所述第二标准数据的第二维度信息是否相同之后，所述方法还包括：如果相同，将各标准数据对应的目标数据记录中的第三维度信息添加到该标准数据中，其中，所述第三维度信息为所述目标数据记录中用于表示所述对象的第三信息；以及检测所述第一标准数据的第三维度信息与所述第二标准数据的第三维度信息是否相同，依次类推，直至所述数据表格中的各标准数据满足进行数据计算的条件。可选地，在所述数据表格中的各标准数据满足进行数据计算的条件之后，所述方法还包括：判断属于同一数据表格中的各标准数据的时间信息是否符合预设时间采集规则；以及如果不符合，将该数据表格中的各标准数据的时间信息按照与该数据表格中的各标准数据的时间信息对应的时间格式进行提取；其中，提取出的该数据表格中的各标准数据的时间信息的时间单位大于该数据表格中的原各标准数据的时间信息的时间单位。可选地，如果符合，在对两个数据表格中的标准数据进行计算之前，当在第一指定时长内第一数据表格中的标准数据的个数与第二数据表格中的标准数据的个数不相同时，所述方法还包括：以第二指定时长内指定的采集频率为标准，对第一表格数据中的各标准数据按照所述时间信息的先后顺序进行合并或拆分，以及对第二表格数据中的各标准数据按照所述时间信息的先后顺序进行合并或拆分，以使所述第一表格数据和所述第二表格数据中拆分或合并后的各标准数据的时间信息满足所述第二指定时长内指定的采集频率。可选地，在对所述第一表格数据进行合并后，所述第一表格数据中合并成一个标准数据的原标准数据的特征信息按照原标准数据的第一维度信息的特性进行对应的合并计算；在对所述第二表格数据进行合并后，所述第二表格数据中合并成一个标准数据的原标准数据的特征信息按照原标准数据的第一维度信息的特性进行对应的合并计算；当对所述第一数据表格中各标准数据进行拆分后，所述第一数据表格中拆分后的各标准数据都分别包括时间信息和第一维度信息，以及将原标准数据的特征信息添加到该原标准数据拆分后的标准数据中的一个标准数据中；当对所述第二数据表格中各标准数据进行拆分后，所述第二数据表格中拆分后的各标准数据都分别包括时间信息和第一维度信息，以及将原标准数据的特征信息添加到该原标准数据拆分后的标准数据中的一个标准数据中。可选地，当属于同一数据表格中的各标准数据的时间信息符合预设时间采集规则，且在对所述两个数据表格中的标准数据进行计算之前，当在所述第一指定时长内所述第一数据表格中的标准数据的个数与所述第二数据表格中的标准数据的个数相同时，所述方法还包括：对第一数据表格包括的时间信息和第二数据表格包括的时间信息进行比对，以确定出仅出现在所述第一数据数据中而未出现在所述第二数据表格中的第一时间信息，以及确定出仅出现在所述第二数据数据中而未出现在所述第一数据表格中的第二时间信息；以及将所述第一时间信息和所述第一时间信息对应的第一维度信息增加到所述第二数据表格中，以及将所述第二时间信息和所述第二时间信息对应的第一维度信息增加到所述第一数据表格中。可选地，在将所述第一时间信息和所述第一时间信息对应的第一维度信息增加到所述第二数据表格中，以及将所述第二时间信息和所述第二时间信息对应的第一维度信息增加到所述第一数据表格中之后，所述方法还包括：当所述第一数据表格中包括的维度信息的种类数量大于所述第二数据表格中包括的维度信息的种类数量时，将仅出现在所述第一数据数据中而未出现在所述第二数据表格中的维度信息添加到所述第二数据表格中；当所述第二数据表格中包括的维度信息的种类数量大于所述第一数据表格中包括的维度信息的种类数量时，将仅出现在所述第二数据数据中而未出现在所述第一数据表格中的维度信息添加到所述第一数据表格中。可选地，在所述第一数据表格中包括的维度信息的种类数量等于所述第二数据表格中包括的维度信息的种类数量之后，在对所述两个数据表格中的标准数据进行计算之前，所述方法还包括：检测每个数据表格中的每个标准数据中是否都包括所述时间信息；以及当该数据表格中的至少一个标准数据不包括所述时间信息，则不使用该数据表格中的标准数据进行数据计算。第二方面，为了实现上述目的，本申请提供了一种数据生成装置，所述装置包括：获取单元，用于获取用于记录对象的目标数据记录，其中，所述对象包括行为、事件或状态；确定单元，用于确定所述目标数据记录中的第一维度信息、特征信息和时间信息，所述第一维度信息为所述目标数据记录中用于表示所述对象的第一信息，所述特征信息是能够对所述第一维度信息进行计量的信息，所述时间信息为与所述第一维度信息相关的产生时间、发布时间或用户获取时间；生成单元，用于生成包括所述第一维度信息本文档来自技高网...

【技术保护点】
1.一种数据生成方法，其特征在于，包括：/n获取用于记录对象的目标数据记录，其中，所述对象包括行为、事件或状态；/n确定所述目标数据记录中的第一维度信息、特征信息和时间信息，所述第一维度信息为所述目标数据记录中用于表示所述对象的第一信息，所述特征信息是能够对所述第一维度信息进行计量的信息，所述时间信息为与所述第一维度信息相关的产生时间、发布时间或用户获取时间；以及/n生成包括所述第一维度信息、所述特征信息和所述时间信息的标准数据。/n

【技术特征摘要】
1.一种数据生成方法，其特征在于，包括：
获取用于记录对象的目标数据记录，其中，所述对象包括行为、事件或状态；
确定所述目标数据记录中的第一维度信息、特征信息和时间信息，所述第一维度信息为所述目标数据记录中用于表示所述对象的第一信息，所述特征信息是能够对所述第一维度信息进行计量的信息，所述时间信息为与所述第一维度信息相关的产生时间、发布时间或用户获取时间；以及
生成包括所述第一维度信息、所述特征信息和所述时间信息的标准数据。


2.如权利要求1所述的方法，其特征在于，在生成包括有所述第一维度信息、所述特征信息和所述时间信息的标准数据之后，所述方法还包括：
检测属于同一数据表格的标准数据中是否存在第一标准数据和第二标准数据，其中，所述第一标准数据中的时间信息和所述第二标准数据中的时间信息相同，以及所述第一标准数据中第一维度信息和所述第二标准数据中的第一维度信息相同；以及
如果不存在，则使用所述第一标准数据和所述第二标准数据进行数据计算。


3.如权利要求2所述的方法，其特征在于，在检测属于同一数据表格的标准数据中是否存在第一标准数据和第二标准数据之后，所述方法还包括：
如果存在，将各标准数据对应的目标数据记录中的第二维度信息添加到该标准数据中，其中，所述第二维度信息为所述目标数据记录中用于表示所述对象的第二信息；
检测所述第一标准数据的第二维度信息与所述第二标准数据的第二维度信息是否相同；以及
如果不相同，则使用所述数据表格中添加有第二维度信息的各标准数据进行数据计算。


4.如权利要求3所述的方法，其特征在于，在检测所述第一标准数据的第二维度信息与所述第二标准数据的第二维度信息是否相同之后，所述方法还包括：
如果相同，将各标准数据对应的目标数据记录中的第三维度信息添加到该标准数据中，其中，所述第三维度信息为所述目标数据记录中用于表示所述对象的第三信息；以及
检测所述第一标准数据的第三维度信息与所述第二标准数据的第三维度信息是否相同，依次类推，直至所述数据表格中的各标准数据满足进行数据计算的条件。


5.如权利要求4所述的方法，其特征在于，在所述数据表格中的各标准数据满足进行数据计算的条件之后，所述方法还包括：
判断属于同一数据表格中的各标准数据的时间信息是否符合预设时间采集规则；以及
如果不符合，将该数据表格中的各标准数据的时间信息按照与该数据表格中的各标准数据的时间信息对应的时间格式进行提取；
其中，提取出的该数据表格中的各标准数据的时间信息的时间单位大于该数据表格中的原各标准数据的时间信息的时间单位。


6.如权利要求5所述的方法，其特征在于，如果符合，在对两个数据表格中的标准数据进行计算之前，当在第一指定时长内第一数据表格中的标准数据的个数与第二数据表格中的标准数据的个数不相同时，所述方法还包括：
以第二指定时长内指定的采集频率为标准，对第一表格数据中的各标准数据按照所述时间信息的先后顺序进行合并或拆分，以及对第二表格数据中的各标准数据按照所述时间信息的先后顺序进行合并或拆分，以使所述第一表格数据和所述第二表格数据中拆分或合并后的各标准数据的时间信息满足所述第二指定时长内指定的采集频率。


7.如权利要求6所述的方法，其特征在于，
在对所述第一表格数据进行合并后，所述第一表格数据中合并成一个标准数据的原标准数据的特征信息按照原标准数据的第一维度信息的特性进行对应的合并计算；
在对所述第二表格数据进行合并后，所述第二表格数据中合并成一个标准数据的原标准数据的特征信息按照原标准数据的第一维度信息的特性进行对应的合并计算；
当对所述第一数据表格中各标准数据进行拆分后，所述第一数据表格中拆分后的各标准数据都分别包括时间信息和第一维度信息，以及将原标准数据的特征信息添加到该原标准数据拆分后的标准数据中的一个标准数据中；
当对所述第二数据表格中各标准数据进行拆分后，所述第二数据表格中拆分后的各标准数据都分别包括时间信息和第一维度信息，以及将原标准数据的特征信息添加到该原标准数据拆分后的标准数据中的一个标准数据中。


8.如权利要求5或7所述的方法，其特征在于，当属于同一数据表格中的各标准数据的时间信息符合预设时间采集规则，且在对所述两个数据表格中的标准数据进行计算之前，当在所述第一指定时长内所述第一数据表格中的标准数据的个数与所述第二数据表格中的标准数据的个数相同时，所述方法还包括：
对第一数据表格包括的时间信息和第二数据表格包括的时间信息进行比对，以确定出仅出现在所述第一数据数据中而未出现在所述第二数据表格中的第一时间信息，以及确定出仅出现在所述第二数据数据中而未出现在所述第一数据表格中的第二时间信息；以及
将所述第一时间信息和所述第一时间信息对应的第一维度信息增加到所述第二数据表格中，以及将所述第二时间信息和所述第二时间信息对应的第一维度信息增加到所述第一数据表格中。


9.如权利要求8所述的方法，其特征在于，在将所述第一时间信息和所述第一时间信息对应的第一维度信息增加到所述第二数据表格中，以及将所述第二时间信息和所述第二时间信息对应的第一维度信息增加到所述第一数据表格中之后，所述方法还包括：
当所述第一数据表格中包括的维度信息的种类数量大于所述第二数据表格中包括的维度信息的种类数量时，将仅出现在所述第一数据数据中而未出现在所述第二数据表格中的维度信息添加到所述第二数据表格中；
当所述第二数据表格中包括的维度信息的种类数量大于所述第一数据表格中包括的维度信息的种类数量时，将仅出现在所述第二数据数据中而未出现在所述第一数据表格中的维度信息添加到所述第一数据表格中。


10.如权利要求9所述的方法，其特征在于，在所述第一数据表格中包括的维度信息的种类数量等于所述第二数据表格中包括的维度信息的种类数量之后，在对所述两个数据表格中的标准数据进行计算之前，所述方法还包括：
检测每个数据表格中的每个标准数据中是否都包括所述时间信息；以及
当该数据表格中的至少一个标准数据不包括所述时间信息，则不使用该数据表格中的标准数据进行数据计算。


11.一种数据生成装置，其特征在于，所述装置包括：
获取单元，用于获取用于记录对象的目标数据记录，其中，所述对象包括行为、事件或状态；
确定单元，用于确定所述目标数据记录中的第一维度信息、特征信息和时...

【专利技术属性】
技术研发人员：钟强，
申请(专利权)人：上海小渔数据科技有限公司，
类型：发明
国别省市：上海;31