【技术实现步骤摘要】
本专利技术涉及社区发现，尤其是一种基于流批统一社区发现的视频推荐系统及方法。
技术介绍
1、随着互联网视频内容不断膨胀，用户在日常生活中面临了巨大的内容选择。传统的视频推荐系统通过分析用户的观看历史和喜好来提供建议，努力将用户引导到他们可能感兴趣的视频内容。但是这一任务并不容易，因为用户的兴趣非常多样化且不断变化，而且用户之间存在复杂而微妙的社交关系。传统系统通常难以完全捕捉到这些多样性兴趣和复杂社交关系。用户可能在不同时间和情境下展现出截然不同的兴趣，这些兴趣可能与他们的朋友、家人和同事之间的互动有关。此外，用户出现新的观看行为时，经常需要在实时性和准确性之间进行平衡。
技术实现思路
1、本专利技术提出一种基于流批统一社区发现的视频推荐系统及方法，在流批统一社区对用户视频喜好影响的基础上，考虑了社交网络的影响，提供更准确、实时且高效的视频推荐。
2、本专利技术采用以下技术方案。
3、一种基于流批统一社区发现的视频推荐系统，所述系统包括图数据压缩存储模块、模型初始化模块、节点预处理模块、社区结构更新模块、视频推荐模块；系统在执行视频推荐时，在流批统一的基础上进行社区划分，考虑社交网络的影响，权衡实时性和准确性，以提升视频推荐的准确性。
4、所述图数据压缩存储模块，使用bitmap container存储节点，并使用字节编码规则来紧凑地存储社区的节点邻居集合的数据，并将这两个组成部分合并成邻接表的形式，优化图数据的存储空间和访问效率；该模块包括两个
5、图数据压缩存储模块的第一核心部分用于存储所有节点集合，采用bit sequence的方式；
6、在bit sequence中，每个节点对应的位被设置为1，而这个1在bit sequence中的位置对应节点的id；例如节点3，则将bit sequence中第三位设置为1；相对于传统的整数或数据结构来存储节点集合，位图表示法通常更加紧凑，因为它只需要一个二进制位来表示每个节点的存在与否。这可以大大节省内存空间，特别是当节点数量非常大时。
7、图数据压缩存储模块的第二核心部分用于存储每个节点的邻居集合，使用bytearray表示；
8、邻居节点按照它们加入集合的顺序以字节为单位进行存储；如果邻居节点的二进制表示超过一个字节，那么就使用两个字节来表示，以此类推；为了正确读取节点的邻居集合，该模块为每个byte array创建了一个length flagarray，用于存储每个邻居节点的二进制表示所占的字节数；使用00、01、10和11来分别表示占用1到4个字节；在读取节点的邻居集合时，只需首先读取相应的length flagarray，就可以明确了解每个邻居节点的二进制表示需要在byte array中读取多少个字节才能还原。具体操作如algorithm 1所示，其中c表示bytearray，l表示length flagarray，0xff是十六进制表示，用于进行位操作，将x转化为字节进行存储。
9、所述模型初始化模块，用于从大量输入的边集数据中根据首批数据初始化模型，将边流按照时间窗口来划分；在批处理模式下，以首个时间窗口容纳整个静态数据集，通过对首个窗口的数据进行初始化处理来直接输出状态，在流处理模式下，先对首个窗口的数据进行初始状态生成，然后输出到下游算子。
10、所述节点预处理模块，用于在流式数据中对于新到达边的节点的社区初始化，在这个过程中，根据节点情况进行社区id的更新，具体为：新节点采用已存在节点的id以避免孤立社区，而已存在节点的id则保持不变，确保社区的连通性和合理性；
11、所述社区结构更新模块，用于在预处理的基础上，通过重新计算节点的隶属度，并根据邻居节点的标签迭代更新节点自身的标签直到连续两次迭代每个社区的最小节点数量不变或者达到最大迭代次数，将具有相同标签的节点划分为同一社区；
12、所述广告推荐模块，根据上述得到的社区划分结果，为同属一个社区的用户进行对应的个性化视频推荐服务。
13、一种基于流批统一社区发现的视频推荐方法，采用基于流批统一社区发现的视频推荐系统，包括以下步骤；
14、步骤s1：在定义视频存储节点的时，用bitmap containter来存储节点，并使用字节编码规则来紧凑地存储节点邻居集合的数据；
15、步骤s2：根据社区迭代的处理模式确定第一个时间窗口的大小，初始化每个节点的标签，计算每个节点的隶属度，根据邻居节点的标签迭代更新节点的标签，直到连续两次迭代每个社区的最小节点数量不变或者达到最大迭代次数，此时将具有相同标签的节点划分为同一社区，形成初始化社区。
16、步骤s3：对于陆续到达的边，根据节点情况进行社区id的更新：新节点采用已存在节点的id以避免形成孤立社区，而已存在节点的id则保持不变；
17、步骤s4：通过重新计算节点的隶属度，并根据邻居节点的标签迭代更新节点自身的标签，直到连续两次迭代每个社区的最小节点数量不变或者达到最大迭代次数，然后将具有相同标签的节点划分为同一社区；
18、步骤s5：设属于同一个社区的用户具有更相似的兴趣爱好和观看倾向，根据上述步骤获得的社区发现结果，为不同社区内的用户节点推送更具针对性的视频，实现更精准的视频推送。
19、所述步骤s2具体为：
20、步骤s21：确定处理的模式为批处理还是流处理，对于批处理模式，第一个窗口设置较大，以容纳所有数据；对于流处理模式，第一个窗口选择较小，容纳部分数据，在时间窗口结束时进行初始化；
21、步骤s22：定义s为模型的状态，其中每条数据的存储内容包括节点id，节点邻居n(id),所属社区编号cid，s(i)表示第i个节点的状态；初始化一个bcm结构的状态b，对窗口的每条边e(i,j)，将当前的总边数加一；将节点i,j分别经过algorithm 1编码，并且加入各自的邻居集合中；
22、步骤s23：用一组对(c,b)标记每个顶点x，其中c是一个社团标识符，b是一个归属系数，表示x对社团c的隶属度的强度，使得x的所有归属系数之和为1；函数b(t,x)计算方式如公式1所示。
23、
24、其中n(x)表示x的邻居的集合，bt-1(c，y)是t-1轮迭代邻居的信息；
25、步骤s24：每个节点初始化自身标签为(i，1)，其中i中自身节点id，1为社区隶属度；
26、步骤s25：定义一个map集合k，key是邻居节点所属社区id，value是次数，用于统计邻居的分布情况；将每个邻居的社区id加入其中，每有一个重复的id，则对应的value加一，然后按照value的值从大到小排序；
27、步骤s26：根据公式1更新每个节点的标签信息，删除社区隶属度小于1/v的对，其中v表示任何顶点可以归属的最大社团数；在从顶点标签中删除对之后，通过将每个剩余对本文档来自技高网...
【技术保护点】
1.一种基于流批统一社区发现的视频推荐系统，其特征在于：所述系统包括图数据压缩存储模块、模型初始化模块、节点预处理模块、社区结构更新模块、视频推荐模块；系统在执行视频推荐时，在流批统一的基础上进行社区划分，考虑社交网络的影响，权衡实时性和准确性，以提升视频推荐的准确性。
2.根据权利要求1所述的一种基于流批统一社区发现的视频推荐系统，其特征在于：所述图数据压缩存储模块，使用Bitmap Container存储节点，并使用字节编码规则来紧凑地存储社区的节点邻居集合的数据，并将这两个组成部分合并成邻接表的形式，优化图数据的存储空间和访问效率；该模块包括两个核心部分：图数据压缩存储模块的第一核心部分用于存储所有节点集合，采用Bit Sequence的方式；
3.一种基于流批统一社区发现的视频推荐方法，采用基于流批统一社区发现的视频推荐系统，其特征在于：包括以下步骤；
4.根据权利要求3所述的一种基于流批统一社区发现的视频推荐方法，其特征在于：所述步骤S2具体为：
5.根据权利要求4所述的一种基于流批统一社区发现的视频推荐方法，其特征在于：
6.根据权利要求5所述的一种基于流批统一社区发现的视频推荐方法，其特征在于：所述步骤S4具体为：
7.根据权利要求6所述的一种基于流批统一社区发现的视频推荐方法，其特征在于：所述步骤S5具体为：
...【技术特征摘要】
1.一种基于流批统一社区发现的视频推荐系统，其特征在于：所述系统包括图数据压缩存储模块、模型初始化模块、节点预处理模块、社区结构更新模块、视频推荐模块；系统在执行视频推荐时，在流批统一的基础上进行社区划分，考虑社交网络的影响，权衡实时性和准确性，以提升视频推荐的准确性。
2.根据权利要求1所述的一种基于流批统一社区发现的视频推荐系统，其特征在于：所述图数据压缩存储模块，使用bitmap container存储节点，并使用字节编码规则来紧凑地存储社区的节点邻居集合的数据，并将这两个组成部分合并成邻接表的形式，优化图数据的存储空间和访问效率；该模块包括两个核心部分：图数据压缩存储模块的第一核心部分用于存...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。