直播数据的发送接收方法、装置及电子设备制造方法及图纸

本申请提出一种直播数据的发送、接收方法以及发送、接收装置，其中，发送、接收方法包括：通过发送端在直播过程中采集直播信息，获取在直播过程中同步生成的业务消息，并将直播信息与同步生成的业务消息，封装至同一数据流，进而向接收端发送数据流。接收端将从发送端接收数据流，并对数据流进行解析，得到直播信息以及业务消息，进而根据直播信息进行展示；以及，根据业务消息执行业务操作。该方法通过将直播信息和业务消息封装至同一视频流中，使得业务消息与直播信息同步传输，从而解决了现有技术中视频与业务逻辑不同步的技术问题。

【技术实现步骤摘要】
直播数据的发送接收方法、装置及电子设备
本申请涉及计算机算法领域，尤其涉及一种直播数据的发送接收方法、装置及电子设备。
技术介绍
在直播应用的开发过程中，对于直播视频与业务消息的传输是没有任何关联的，是通过不同的通道分开进行的。视频是通过视频流的通道进行传输，而用于客户端执行业务逻辑的业务消息则是通过其他通道进行传输。现有技术中，不同通道传输过程中，延迟情况不同，因此，当客户端执行某个业务逻辑时，会出现与视频流不同步的情况。
技术实现思路
本申请提出一种直播数据的发送、接收方法，发送、接收装置和电子设备，用于解决相关技术中客户端执行的业务逻辑与视频流不同步的技术问题。本申请一方面实施例提出了一种直播数据的发送方法，包括：在直播过程中采集直播信息；获取在所述直播过程中同步生成的业务消息；将所述直播信息与同步生成的业务消息，封装至同一数据流；向接收端发送所述数据流。作为本申请实施例的第一种可能的实现方式，所述直播信息为直播图像；所述数据流为视频数据流，所述视频数据流包括视频编码层；所述将所述直播信息与同步生成的业务消息，封装至同一数据流，包括：将所述业务消息编码后，封装至所述视频编码层中第一网络抽象层NAL单元；将所述直播图像编码后，封装至所述视频编码层中第二NAL单元；其中，所述第一NAL单元与所述第二NAL单元相邻，所述第一NAL单元与所述第二NAL单元具有不同的单元类型。作为本申请实施例的第二种可能的实现方式，所述将所述业务消息编码后，封装至所述视频编码层中第一网络抽象层NAL单元，包括：在所述第一NAL单元的NAL头中写入第一单元类型数据；所述第一单元类型数据用于指示附加增强信息类型；在所述第一NAL单元的原始字节序列层RBSP中写入编码后的业务消息。作为本申请实施例的第三种可能的实现方式，所述将所述直播图像编码后，封装至所述视频编码层中第二NAL单元，包括：在所述第二NAL单元的NAL头中写入第二单元类型数据；所述第二单元类型数据用于指示图像信息类型；在所述第二NAL单元的RBSP中写入编码后的直播图像数据。作为本申请实施例的第四种可能的实现方式，所述在所述第二NAL单元的RBSP中写入编码后的直播图像数据，包括：获取一帧直播图像对应的多组编码后的直播图像数据；将每一组编码后的直播图像数据，写入对应的第二NAL单元的RBSP中。本申请实施例的直播数据的发送方法，通过在直播过程中采集直播信息；获取在直播过程中同步生成的业务消息；将直播信息与同步生成的业务消息，封装至同一数据流；向接收端发送数据流。该方法通过将直播信息和业务消息封装至同一视频流中，使得业务消息与直播信息同步传输，从而解决了现有技术中视频与业务逻辑不同步的技术问题。本申请又一方面实施例提出了一种直播数据的接收方法，包括：从发送端接收数据流；对所述数据流进行解析，得到直播信息以及业务消息；根据所述直播信息进行展示；以及，根据所述业务消息执行业务操作。作为本申请实施例的第一种可能的实现方式，所述直播信息为直播图像，所述数据流为视频数据流；所述对所述数据流进行解析，得到直播信息以及业务消息，包括：从所述视频数据流中，提取视频编码层；对所述视频编码层中第一网络抽象层NAL单元进行解析，得到所述业务消息；对所述视频编码层中第二NAL单元进行解析，得到需要与所述业务消息同步处理的直播图像；其中，所述第一NAL单元与所述第二NAL单元相邻，所述第一NAL单元与所述第二NAL单元具有不同的单元类型。作为本申请实施例的第二种可能的实现方式，所述第一NAL单元的NAL头中写入有第一单元类型数据；所述第一单元类型数据用于指示附加增强信息类型；所述对视频编码层中第一NAL单元进行解析，得到所述业务消息，包括：对所述第一NAL单元中的原始字节序列层RBSP解析，得到所述业务消息。作为本申请实施例的第三种可能的实现方式，所述第二NAL单元的NAL头中写入有第二单元类型数据；所述第二单元类型数据用于指示图像信息类型；所述对视频编码层中第二NAL单元进行解析，得到需要与所述业务消息同步处理的直播图像，包括：解析对应同一帧直播图像的各第二NAL单元中的RBSP，得到所述直播图像。本申请实施例的直播数据的接收方法，通过从发送端接收数据流；对数据流进行解析，得到直播信息以及业务消息；根据直播信息进行展示；以及，根据业务消息执行业务操作。该方法通过将直播信息和业务消息封装至同一视频流中，使得业务消息与直播信息同步传输，从而解决了现有技术中视频与业务逻辑不同步的技术问题。本申请又一方面实施例提出了一种直播数据的发送装置，包括：采集模块，用于在直播过程中采集直播信息；获取模块，用于获取在所述直播过程中同步生成的业务消息；封装模块，用于将所述直播信息与同步生成的业务消息，封装至同一数据流；发送模块，用于向接收端发送所述数据流。作为本申请实施例的第一种可能的实现方式，所述发送装置还包括：第一封装单元，将所述业务消息编码后，封装至所述视频编码层中第一网络抽象层NAL单元；第二封装单元，将所述直播图像编码后，封装至所述视频编码层中第二NAL单元；其中，所述第一NAL单元与所述第二NAL单元相邻，所述第一NAL单元与所述第二NAL单元具有不同的单元类型。作为本申请实施例的第二种可能的实现方式，第一封装单元，还用于：在所述第一NAL单元的NAL头中写入第一单元类型数据；所述第一单元类型数据用于指示附加增强信息类型；在所述第一NAL单元的原始字节序列层RBSP中写入编码后的业务消息。作为本申请实施例的第三种可能的实现方式，第二封装单元，还用于：在所述第二NAL单元的NAL头中写入第二单元类型数据；所述第二单元类型数据用于指示图像信息类型；在所述第二NAL单元的RBSP中写入编码后的直播图像数据。作为本申请实施例的第四种可能的实现方式，所述发送装置还包括：第一获取单元，用于获取一帧直播图像对应的多组编码后的直播图像数据；写入模块，用于将每一组编码后的直播图像数据，写入对应的第二NAL单元的RBSP中。本申请实施例的直播数据的发送装置，通过在直播过程中采集直播信息；获取在直播过程中同步生成的业务消息；将直播信息与同步生成的业务消息，封装至同一数据流；向接收端发送数据流。该方法通过将直播信息和业务消息封装至同一视频流中，使得业务消息与直播信息同步传输，从而解决了现有技术中视频与业务逻辑不同步的技术问题。本申请又一方面实施例提出了一种直播数据的接收装置，包括：接收模块，用于从发送端接收数据流；解析模块，用于对所述数据流进行解析，得到直播信息以及业务消息；处理模块，用于根据所述直播信息进行展示；以及，根据所述业务消息执行业务操作。作为本申请实施例的第一种可能的实现方式，所述接收装置，还包括：所述对所述数据流进行解析，得到直播信息以及业务消息，包括：提取模块，用于从所述视频数据流中，提取视频编码层；第一解析单元，用于对所述视频编码层中第一网络抽象层NAL单元进行解析，得到所述业务消息；第二解析单元，对所述视频编码层中第二NAL单元进行解析，得到需要与所述业务消息同步处理的直播图像；其中，所述第一NAL单元与所述第二NAL单元相邻，所述第一NAL单元与所述第二NAL单元具有不同的单元类型。作为本本文档来自技高网...

【技术保护点】
1.一种直播数据的发送方法，其特征在于，所述方法包括以下步骤：在直播过程中采集直播信息；获取在所述直播过程中同步生成的业务消息；将所述直播信息与同步生成的业务消息，封装至同一数据流；向接收端发送所述数据流。

【技术特征摘要】
1.一种直播数据的发送方法，其特征在于，所述方法包括以下步骤：在直播过程中采集直播信息；获取在所述直播过程中同步生成的业务消息；将所述直播信息与同步生成的业务消息，封装至同一数据流；向接收端发送所述数据流。2.根据权利要求1所述的发送方法，其特征在于，所述直播信息为直播图像；所述数据流为视频数据流，所述视频数据流包括视频编码层；所述将所述直播信息与同步生成的业务消息，封装至同一数据流，包括：将所述业务消息编码后，封装至所述视频编码层中第一网络抽象层NAL单元；将所述直播图像编码后，封装至所述视频编码层中第二NAL单元；其中，所述第一NAL单元与所述第二NAL单元相邻，所述第一NAL单元与所述第二NAL单元具有不同的单元类型。3.根据权利要求2所述的发送方法，其特征在于，所述将所述业务消息编码后，封装至所述视频编码层中第一网络抽象层NAL单元，包括：在所述第一NAL单元的NAL头中写入第一单元类型数据；所述第一单元类型数据用于指示附加增强信息类型；在所述第一NAL单元的原始字节序列层RBSP中写入编码后的业务消息。4.根据权利要求2所述的发送方法，其特征在于，所述将所述直播图像编码后，封装至所述视频编码层中第二NAL单元，包括：在所述第二NAL单元的NAL头中写入第二单元类型数据；所述第二单元类型数据用于指示图像信息类型；在所述第二NAL单元的RBSP中写入编码后的直播图像数据。5.根据权利要求4所述的发送方法，其特征在于，所述在所述第二NAL单元的RBSP中写入编码后的直播图像数据，包括：获取一帧直播图像对应的多组编码后的直播图像数据；将每一组编码后的直播图像数据，写入对应的第二NAL单元的RBSP中。6.一种直...

【专利技术属性】
技术研发人员：刘伟，郎咸智，
申请(专利权)人：乐蜜有限公司，
类型：发明
国别省市：开曼群岛,KY