通信装置、通信方法和存储介质制造方法及图纸

技术编号:19704750 阅读:57 留言:0更新日期:2018-12-08 14:58
本发明专利技术涉及通信装置、通信方法和存储介质。在被输入了用户操作的通信装置在显示区域中显示在其他通信装置上显示的图像的情况下,发送与表示通过对显示区域中显示的图像的用户操作而指定的位置的坐标相对应的坐标信息。此外,在显示区域中显示在其他通信装置或外部设备中存储的数据相关的图像的情况下,发送基于用户操作的控制信息。

【技术实现步骤摘要】
通信装置、通信方法和存储介质
本专利技术涉及用于发送关于用户操作的信息的技术。
技术介绍
近年来,用于对通信装置上显示的画面和/或由通信装置再现的音频进行无线镜像的技术被标准化为Wi-Fi显示(Miracast)。镜像是如下的技术,该技术通过将图像数据和/或音频数据作为关于在发送装置上显示的画面和由发送装置再现的音频的信息经由网络发送到接收装置,使得发送装置和接收装置能够共享所显示的画面和/或所再现的音频。在Wi-Fi显示中,定义了源设备(sourcedevice)和沉设备(sinkdevice)。源设备发送图像数据和/或音频数据作为关于所显示的画面和/或所再现的音频的信息。沉设备从源设备接收图像数据和/或音频数据。此外,用户输入返回信道(UIBC)功能可以用于Wi-Fi显示。当使用UIBC功能时,将操作信息从沉设备发送到源设备,以使源设备能够从沉设备操作。此时,将用户经由键盘、鼠标、遥控器等输入的操作信息作为操作信息从沉设备发送到源设备。日本特开第2016-71638号公报讨论了上述镜像功能和沉设备从除源设备以外的外部设备获取数据并显示数据的内容重定向功能。在内容重定向功能中,源设备向沉设备发送关于存储在外部设备中的数据的信息,并且沉设备从外部设备获取数据并再现该数据。然后,根据数据类型等切换进行镜像的镜像模式和进行内容重定向的内容重定向模式。在镜像模式下,如果使用UIBC功能,则沉设备基于输入的用户操作将包括关于由用户操作指定的坐标的坐标信息的操作信息发送到源设备。此外,在镜像模式下,源设备和沉设备上显示的图像是相同的。因此,如果源设备基于接收到的操作信息进行处理,则在源设备上显示的图像上与坐标信息对应的坐标处,输入与对沉设备输入的用户操作相同的用户操作。因此,按照用户的意图对通过镜像的数据再现进行控制。另一方面,在内容重定向模式下,即使包括坐标信息的操作信息像镜像模式下那样被发送到外部设备,也不能按照用户的意图对数据再现进行控制。这是因为,当在沉设备和外部设备上显示的图像不同或者在外部设备上没有显示时,如果外部设备基于接收到的操作信息进行处理,则进行与用户意图的操作不同的操作。为了控制内容重定向模式下的数据再现,沉设备需要生成包括诸如基于用户操作的临时数据挂起(temporarydatasuspension)等的信息的控制信息,并将控制信息发送到外部设备。
技术实现思路
本专利技术旨在提供一种如下的技术,该技术用于基于输入用户操作的通信装置接收到的数据,是在其他通信装置上显示的图像相关的数据还是在其他通信装置或外部设备中存储的数据,来发送适当的信息。根据本专利技术的一方面,一种通信装置,其能够在第一操作模式及第二操作模式下操作,在第一操作模式下,接收在其他通信装置处显示的图像相关的数据,并且在显示区域中显示在其他通信装置处显示的图像,在第二操作模式下,基于由其他通信装置接受的用户操作来接收其他通信装置或外部设备中存储的数据,并且在显示区域中显示所接收的在其他通信装置或外部设备中存储的数据相关的图像,该通信装置包括:接受单元,其用于接受对在第一操作模式或者第二操作模式下在显示区域中显示的图像的用户操作;以及发送单元,其用于在经由接受单元接受用户操作时,在通信装置在第一操作模式下操作的情况下,发送与表示通过对显示区域中显示的图像的用户操作而指定的位置的坐标相对应的坐标信息,而在通信装置在第二操作模式下操作的情况下,发送基于用户操作的控制信息。通过下面参照附图对示例性实施例的描述,本专利技术的其他特征将变得清楚。附图说明图1例示了通信系统的网络构造。图2是例示通信装置101和102的硬件构造的框图。图3是在通信装置101与102进行镜像时要实现的序列图。图4是在通信装置102接受用户操作时要实现的流程图。图5是在通信装置101从通信装置102接收基于用户操作的操作信息或控制信息时要实现的流程图。图6是在通信装置101和102与云服务器104进行镜像时要实现的序列图。图7是在通信装置101和102与云服务器104进行内容重定向时要实现的序列图。图8是在通信装置101和102进行直接流式传输(directstreaming)时要实现的序列图。具体实施方式下面将参照附图详细描述本专利技术的示例性实施例。以下示例性实施例中描述的构造仅仅是示例,并且本专利技术不限于所例示的构造。图1例示了根据本专利技术示例性实施例的通信系统的网络构造。网络110上的设备使用基于电气和电子工程师协会(IEEE)802.11系列标准的无线通信方法进行通信。通信装置101和102经由基于Wi-Fi显示规范(Wi-Fi标准)的网络彼此直接通信。通信装置101和102之间的网络是基于Wi-Fi点对点(P2P)规范(Wi-Fi标准)构造的无线网络。网络不限于上述网络,并且通信装置101和102可以经由基于IEEE802.11系列的、由接入点103形成的基础架构模式的无线网络进行通信。接入点103包括路由器功能,并且通信装置101和102可以经由接入点103与云服务器104进行通信。除了基于IEEE802.11系列标准的无线通信,或代替该无线通信,设备可以使用基于不同无线通信方法的通信方法,诸如蓝牙(注册商标)、近距离无线通信、超宽带(UWB)、ZigBee或多频带正交频分复用(OFDM)联盟(MBOA)。此外,近距离无线通信的示例包括近场通信(在下文中称为“NFC”)。此外,UWB的示例包括无线通用串行总线(USB)、无线1394和WiMedia网络。此外,可以使用基于诸如有线局域网(LAN)等的有线通信方法的通信方法。通信装置101的具体示例包括但不限于平板电脑、智能电话、个人计算机(PC)、移动电话、照相机和摄像机。此外,通信装置102的具体示例包括但不限于平板电脑、智能电话、PC、移动电话、电视机、头戴式显示器、投影仪、显示器、汽车导航设备以及诸如扬声器等的输出设备。在通信装置101作为源设备并且通信装置102作为沉设备的状态下,通信装置101和102基于Wi-Fi显示规范进行镜像。此时,源设备和沉设备分别基于Wi-Fi显示规范进行数据发送处理和数据接收处理。在基于Wi-Fi显示规范的镜像中,源设备用作如下的发送设备,其用于经由网络向沉设备发送(流式传输)图像数据和/或音频数据的流作为关于所显示的画面和/或所再现音频的信息。图像数据是通过对在源设备上显示的画面进行编码而获得的数据,并且音频数据是通过对由源设备再现的音频进行编码而获得的数据。此外,沉设备用作用于接收图像数据和/或音频数据的流并且与源设备同步地再现流的接收设备。结果,源设备和沉设备共享源设备上显示的画面和/或源设备再现的音频。在下文中,使用镜像的流式传输模式(通信装置101和102的操作模式)将被称为“镜像模式”。不仅可以基于Wi-Fi显示还可以基于其他规范来进行镜像。此外,通信装置101(源设备)和通信装置102(沉设备)可以使用内容重定向模式作为流式传输模式。在内容重定向模式下,源设备使沉设备从除源设备以外的外部设备获取数据,并使沉设备再现所获取的数据。此时,源设备向沉设备发送从外部设备获取数据所需的信息。沉设备要获取的数据例如是内容,并且包括图像数据、文档数据、音频数据和视频数据中本文档来自技高网
...

【技术保护点】
1.一种通信装置,其能够在第一操作模式及第二操作模式下操作,在所述第一操作模式下,接收在其他通信装置处显示的图像相关的数据,并且在显示区域中显示在所述其他通信装置处显示的图像,在所述第二操作模式下,基于由所述其他通信装置接受的用户操作来接收所述其他通信装置或外部设备中存储的数据,并且在所述显示区域中显示所接收的在所述其他通信装置或所述外部设备中存储的数据相关的图像,所述通信装置包括:接受单元,其用于接受对在所述第一操作模式或者所述第二操作模式下在所述显示区域中显示的图像的用户操作;以及发送单元,其用于在经由所述接受单元接受用户操作时,在所述通信装置在第一操作模式下操作的情况下,发送与表示通过对所述显示区域中显示的图像的用户操作而指定的位置的坐标相对应的坐标信息,而在所述通信装置在第二操作模式下操作的情况下,发送基于用户操作的控制信息。

【技术特征摘要】
2017.05.26 JP 2017-1041861.一种通信装置,其能够在第一操作模式及第二操作模式下操作,在所述第一操作模式下,接收在其他通信装置处显示的图像相关的数据,并且在显示区域中显示在所述其他通信装置处显示的图像,在所述第二操作模式下,基于由所述其他通信装置接受的用户操作来接收所述其他通信装置或外部设备中存储的数据,并且在所述显示区域中显示所接收的在所述其他通信装置或所述外部设备中存储的数据相关的图像,所述通信装置包括:接受单元,其用于接受对在所述第一操作模式或者所述第二操作模式下在所述显示区域中显示的图像的用户操作;以及发送单元,其用于在经由所述接受单元接受用户操作时,在所述通信装置在第一操作模式下操作的情况下,发送与表示通过对所述显示区域中显示的图像的用户操作而指定的位置的坐标相对应的坐标信息,而在所述通信装置在第二操作模式下操作的情况下,发送基于用户操作的控制信息。2.根据权利要求1所述的通信装置,其中,在通信装置在第一操作模式下操作的情况下,所述发送单元向所述其他通信装置发送,与通过对所述显示区域中显示的图像的用户操作而指定的坐标相对应的坐标信息。3.根据权利要求1所述的通信装置,其中,在所述通信装置在第二操作模式下操作的情况下,如果接收到在所述其他通信装置中存储的数据,则所述发送单元向所述其他通信装置发送基于用户操作的控制信息,并且其中,如果接收到在所述外部设备中存储的数据,则所述发送单元向所述外部设备发送基于用户操作的控制信息。4.根据权利要求3所述的通信装置,其中,如果接收到在所述其他通信装置中存储的数据,则发送表示如下指令中的至少一者的信息作为基于用户操作的控制信息,所述指令为开始、停止、快进、倒回、暂停在所述其他通信装置中存储并被所述通信装置接收的数据的再现,以及指定在所述其他通信装置中存储的数据的再现位置,并且其中,如果接收到在所述外部设备中存储的数据,则发送表示如下指令中的至少一者的信息作为基于用户操作的控制信息,所述指令为开始、停止、快进、倒回、暂停在所述外部设备中存储并被所述通信装置接收的数据的再现,以及指定在所述外部设备中存储的数据的再现位置。5.根据权利要求1所述的通信装置,其中,所述显示区域包括在所述通信装置中。6.根据权利要求1所述的通信装置,其中,在所述通信装置在第一操作模式下操作的情况下,如果所述接受单元接受对在所述显示区域和所述其他通信装置中显示的图像的用户操作,则所述发送单元发送基于通过对所述显示区域中显示的图像的用户操作而指定的坐标和所述显示区域的分辨率的坐标信息。7.根据权利要求1所述的通信装置,其中,在所述通信装置在第一操作模式下操作的情况下,所述通信装置还接收由所述其他通信装置再现的音频相关的数据并对所述音频进行再现。8.根据权利要求1所述的通信装置,其中,在所述通信装置在第二操作模式下操作的情况下接收的存储在所述其他通信装置或所述外部设备中的数据包括,文档数据、音频数据、图像数据和视频数据中的至少一者。9.根据权利要求1所述的通信装置,其中,在所述通信装置在第二操作模式下操作并且要接收在所述外部设备中存储的数据的情况下,从所述其他通信装置接收关于在所述外部设备中存储的数据的信息,并且基于关...

【专利技术属性】
技术研发人员:中川利之
申请(专利权)人:佳能株式会社
类型:发明
国别省市:日本,JP

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1