多媒体数据的实时传输方法及装置制造方法及图纸

本发明专利技术适用于网络技术领域，提供了在视频直播过程中，对直播终端进行指令监听；当监听到所述直播终端生成了体感控制指令时，根据所述体感控制指令生成体感控制数据包，并标记所述直播终端当前采集到的图像帧；将所述体感控制数据包与所述图像帧进行关联；将所述图像帧通过视频直播平台实时发送至用户终端，同时将与所述图像帧关联的所述体感控制数据包通过所述视频直播平台同步发送至所述用户终端，以使所述用户终端在输出所述图像帧至视频播放装置的同时，同步输出所述体感控制数据包至体感传感装置。本发明专利技术使用户终端在观看视频直播的同时体验到与视频直播内容相匹配的体感模拟，极大地提高了在线场景的可互动性。

【技术实现步骤摘要】

本专利技术属于网络
，尤其涉及多媒体数据的实时传输方法及装置。
技术介绍
多媒体是指组合两种或两种以上媒体的一种人机交互式信息交流和传播媒体，使用的媒体包括文字、图片、声音、动画和影片，以及程式所提供的互动功能。随着科学技术的发展，多媒体技术除了可以通过计算机为用户带来视觉体验和听觉体验，还可以对人所具有的其他体感进行模拟，包括对触感、力感、温感、湿感、风感、嗅觉等一切人体所具有的感知进行模拟，以为用户带来体感方面的交互体验。体感传感的实现原理为：向附着在人体体表的体感传感装置发送体感控制信号，以控制体感传感装置向人体进行各类体感反馈。例如，在虚拟现实(VirtualReality，VR)游戏中与虚拟人物握手时，通过力反馈控制信号对位于手部的力传感器产生的力度大小及持续时间进行控制，从而带来与游戏中的握手行为相匹配的力反馈体验。然而，技术人员在研发过程中发现，现有技术至少存在以下技术缺陷：现有的视频文件有很大一部分是以流媒体的方式面向用户进行在线播放，且现有的视频内容提供商及各类体感设备供应商各自独立提供服务，视频内容与体感传感控制信号的格式也各不相同，因此，现有技术无法为在线播放的视频实时匹配体感数据，由此降低了在线场景的互动性。
技术实现思路
有鉴于此，本专利技术实施例提供了多媒体数据的实时传输方法及装置，以解决现有技术无法为在线播放的视频实时匹配体感数据，由此降低了在线场景的互动性的问题。第一方面，本专利技术实施例提供了一种多媒体数据的实时发送方法，所述方法包括：在视频直播过程中，对直播终端进行指令监听；当监听到所述直播终端生成了体感控制指令时，根据所述体感控制指令生成体感控制数据包，并标记所述直播终端当前采集到的图像帧；将所述体感控制数据包与所述图像帧进行关联；将所述图像帧通过视频直播平台实时发送至用户终端，同时将与所述图像帧关联的所述体感控制数据包通过所述视频直播平台同步发送至所述用户终端，以使所述用户终端在输出所述图像帧至视频播放装置的同时，同步输出所述体感控制数据包至体感传感装置。作为第一方面的第一种可能的实现方式，所述根据所述体感控制指令生成体感控制数据包包括：获取M个身体点位的体感控制数据，每个身体点位的体感控制数据均包含N种类型的体感传感装置的控制信息；将获取到的所述M个身体点位的体感控制数据均写入所述体感控制数据包；所述M和所述N均为大于或等于1的整数。结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述根据所述体感控制指令生成体感控制数据包还包括；若未获取到第i个身体点位的第j种类型的体感传感装置的控制信息，在所述体感控制数据包中该控制信息对应的每个数据位均写入预设字符；所述i和所述j均为大于或等于1的整数，且所述i小于或等于所述M，所述j小于或等于所述N。结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述预设字符为0。第二方面，一种多媒体数据的实时发送装置，所述装置包括：监听单元，用于在视频直播过程中，对直播终端进行指令监听；生成单元，用于当监听到所述直播终端生成了体感控制指令时，根据所述体感控制指令生成体感控制数据包，并标记所述直播终端当前采集到的图像帧；关联单元，用于将所述体感控制数据包与所述图像帧进行关联；发送单元，用于将所述图像帧通过视频直播平台实时发送至用户终端，同时将与所述图像帧关联的所述体感控制数据包通过所述视频直播平台同步发送至所述用户终端，以使所述用户终端在输出所述图像帧至视频播放装置的同时，同步输出所述体感控制数据包至体感传感装置。作为第二方面的第一种可能的实现方式，所述生成单元包括：获取子单元，用于获取M个身体点位的体感控制数据，每个身体点位的体感控制数据均包含N种类型的体感传感装置的控制信息；第一写入子单元，用于将获取到的所述M个身体点位的体感控制数据均写入所述体感控制数据包；所述M和所述N均为大于或等于1的整数。结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述生成单元还包括；第二写入子单元，用于若未获取到第i个身体点位的第j种类型的体感传感装置的控制信息，在所述体感控制数据包中该控制信息对应的每个数据位均写入预设字符；所述i和所述j均为大于或等于1的整数，且所述i小于或等于所述M，所述j小于或等于所述N。结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述预设字符为0。本专利技术实施例可以在视频直播的同时，实时地由直播终端生成并向用户终端传输体感控制数据，以使用户终端在观看视频直播的同时体验到与视频直播内容相匹配的体感模拟，极大地提高了在线场景的可互动性。第三方面，本专利技术实施例提供了一种多媒体数据的实时输出方法，所述方法包括：在观看视频直播的过程中，通过视频直播平台接收直播终端实时发送的图像帧；若所述图像帧关联了体感控制数据包，通过所述视频直播平台接收所述直播终端同步发送的所述体感控制数据包，所述体感控制数据包由所述直播终端在视频直播的过程中根据体感控制指令生成；输出所述图像帧至视频播放装置，并同步输出所述体感控制数据包至体感传感装置。作为第三方面的第一种可能的实现方式，所述同步输出所述体感控制数据包至体感传感装置包括：从所述体感控制数据包中解析出M个身体点位的体感控制数据；从解析出的第i个身体点位的体感控制数据中解析出N种类型的体感传感装置的控制信息；将解析出的所述控制信息分别输出至第i个身体点位上的N种类型的体感传感装置中；所述M、所述N和所述i均为大于或等于1的整数，且所述i小于或等于M。结合第三方面的第一种可能的实现方式，在第二种可能的实现方式中，所述同步输出所述体感控制数据包至体感传感装置还包括：若所述体感控制数据包中，第i个身体点位的第j种类型的体感传感装置对应的控制信息在每个数据位上均为预设字符，则在该体感控制数据包相关的图像帧播放的同时，停止输出该控制信息；所述j为大于或等于1的整数，且所述j小于或等于N。结合第三方面的第二种可能的实现方式，在第三种可能的实现方式中，所述预设字符为0。第四方面，本专利技术实施例提供了一种多媒体数据的实时输出装置，所述装置包括：第一接收单元，用于在观看视频直播的过程中，通过视频直播平台接收直播终端实时发送的图像帧；第二接收单元，用于若所述图像帧关联了体感控制数据包，通过所述视频直播平台接收所述直播终端同步发送的所述体感控制数据包，所述体感控制数据包由所述直播终端在视频直播的过程中根据体感控制指令生成；输出单元，用于输出所述图像帧至视频播放装置，并同步输出所述体感控制数据包至体感传感装置。作为第四方面的第一种可能的实现方式，所述输出单元包括：第一解析子单元，用于从所述体感控制数据包中解析出M个身体点位的体感控制数据；第二解析子单元，用于从解析出的第i个身体点位的体感控制数据中解析出N种类型的体感传感装置的控制信息；第一输出控制子单元，用于将解析出的所述控制信息分别输出至第i个身体点位上的N种类型的体感传感装置中；所述M、所述N和所述i均为大于或等于1的整数，且所述i小于或等于M。结合第四方面的第一种可能的实现方式，在第二种可能的实现方式中，所述输出单元还包括：第二输出控制子单元，用于若所述体感控制数据包中，第i个身体点位的第j种类型的体感传感装置本文档来自技高网...

【技术保护点】
一种多媒体数据的实时发送方法，其特征在于，所述方法包括：在视频直播过程中，对直播终端进行指令监听；当监听到所述直播终端生成了体感控制指令时，根据所述体感控制指令生成体感控制数据包，并标记所述直播终端当前采集到的图像帧；将所述体感控制数据包与所述图像帧进行关联；将所述图像帧通过视频直播平台实时发送至用户终端，同时将与所述图像帧关联的所述体感控制数据包通过所述视频直播平台同步发送至所述用户终端，以使所述用户终端在输出所述图像帧至视频播放装置的同时，同步输出所述体感控制数据包至体感传感装置。

【技术特征摘要】
1.一种多媒体数据的实时发送方法，其特征在于，所述方法包括：在视频直播过程中，对直播终端进行指令监听；当监听到所述直播终端生成了体感控制指令时，根据所述体感控制指令生成体感控制数据包，并标记所述直播终端当前采集到的图像帧；将所述体感控制数据包与所述图像帧进行关联；将所述图像帧通过视频直播平台实时发送至用户终端，同时将与所述图像帧关联的所述体感控制数据包通过所述视频直播平台同步发送至所述用户终端，以使所述用户终端在输出所述图像帧至视频播放装置的同时，同步输出所述体感控制数据包至体感传感装置。2.如权利要求1所述的方法，其特征在于，所述根据所述体感控制指令生成体感控制数据包包括：获取M个身体点位的体感控制数据，每个身体点位的体感控制数据均包含N种类型的体感传感装置的控制信息；将获取到的所述M个身体点位的体感控制数据均写入所述体感控制数据包；所述M和所述N均为大于或等于1的整数。3.如权利要求2所述的方法，其特征在于，所述根据所述体感控制指令生成体感控制数据包还包括；若未获取到第i个身体点位的第j种类型的体感传感装置的控制信息，在所述体感控制数据包中该控制信息对应的每个数据位均写入预设字符；所述i和所述j均为大于或等于1的整数，且所述i小于或等于所述M，所述j小于或等于所述N。4.如权利要求3所述的方法，其特征在于，所述预设字符为0。5.一种多媒体数据的实时输出方法，其特征在于，所述方法包括：在观看视频直播的过程中，通过视频直播平台接收直播终端实时发送的图像帧；若所述图像帧关联了体感控制数据包，通过所述视频直播平台接收所述直播终端同步发送的所述体感控制数据包，所述体感控制数据包由所述直播终端在视频直播的过程中根据体感控制指令生成；输出所述图像帧至视频播放装置，并同步输出所述体感控制数据包至体感传感装置。6.如权利要求5所述的方法，其特征在于，所述同步输出所述体感控制数据包至体感传感装置包括：从所述体感控制数据包中解析出M个身体点位的体感控制数据；从解析出的第i个身体点位的体感控制数据中解析出N种类型的体感传感装置的控制信息；将解析出的所述控制信息分别输出至第i个身体点位上的N种类型的体感传感装置中；所述M、所述N和所述i均为大于或等于1的整数，且所述i小于或等于M。7.如权利要求6所述的方法，其特征在于，所述同步输出所述体感控制数据包至体感传感装置还包括：若所述体感控制数据包中，第i个身体点位的第j种类型的体感传感装置对应的控制信息在每个数据位上均为预设字符，则在该体感控制数据包相关的图像帧播放的同时，停止输出该控制信息；所述j为大于或等于1的整数，且所述j小于或等于N。8.如权利要求7所述的方法，其特征在于，所述预设字符为0。9.一种多媒体数据的实时发送装置，其特征在于，所述装置包括：监听单元，用于...

【专利技术属性】
技术研发人员：包磊，
申请(专利权)人：包磊，
类型：发明
国别省市：广东;44