图像描绘方法技术

能够在暂定图像和出现于串流影像内的笔笔划图像中使外观一致。是由计算机1、2执行的图像描绘方法，包括：计算机2发送包括由第一渲染处理生成的笔笔划图像的串流影像SV的步骤S24；计算机1通过将与第一渲染处理共有的第二渲染处理与第一渲染处理并列地执行来生成笔笔划图像PS2的步骤S25；及计算机1经由会产生延迟的通信而从计算机2接收串流影像SV且将笔笔划图像PS2合成并输出的步骤S27。笔划图像PS2合成并输出的步骤S27。笔划图像PS2合成并输出的步骤S27。

【技术实现步骤摘要】
【国外来华专利技术】图像描绘方法


[0001]本专利技术涉及图像描绘方法，尤其涉及用于在远程会议的共有画面中进行笔输入的图像描绘方法。

技术介绍

[0002]最近，经常使用将多个计算机利用通信线路相互连接而进行的远程会议。在这种远程会议中，广泛地进行着将在某计算机中打开的画面以在其他的计算机中也能看见的方式“共有”。在该情况下，从共有了画面的计算机(以下称作“远程侧装置”)对其他的计算机(以下称作“本地侧装置”)发送共有的画面的串流影像。
[0003]另外，在平板终端等支持笔输入的计算机中，为了减轻主机处理器的处理延迟对笔笔划的描绘的影响，有时进行从检测笔的位置的传感器控制器对显示用处理器不经由主机处理器地直接供给笔的位置的处理。在专利文献1～3中公开了进行这样的处理的计算机的例子。其中，在专利文献1中记载了：从传感器控制器向主机处理器及显示用处理器的双方供给位置，在直到在由主机处理器生成的图像中出现笔笔划为止的期间，显示用处理器暂时描绘笔笔划。
[0004]另外，已知有构成为在进行笔输入时能够设定笔尖的尺寸、形状、颜色等笔尖属性的技术。在专利文献4、5中公开了这样的技术的例子。
[0005]现有技术文献
[0006]专利文献
[0007]专利文献1：美国专利第9721365号说明书
[0008]专利文献2：国际公开第2020/136729号公报
[0009]专利文献3：美国专利第8564555号说明书
[0010]专利文献4：美国专利公开第2005
‑
0162413号说明书
[0011]专利文献5：美国专利第9792517号说明书

技术实现思路

[0012]专利技术所要解决的课题
[0013]在上述的远程会议中，有时从本地侧装置对从远程侧装置发送来的串流影像进行笔输入。在该情况下，本地侧装置所进行的直到将由传感器控制器检测到的笔的位置向远程侧装置逐次发送的处理为止，笔笔划的渲染和向串流影像的合成由远程侧装置执行。但是，根据该处理，在笔笔划被反映于串流影像之前会产生无法忽视的量的延迟，因此，本申请的专利技术人正在研究：应用专利文献1～3所记载的技术，在直到在串流影像内出现笔笔划为止的期间，在本地侧装置中暂时描绘笔笔划。以下，将通过该暂时的描绘处理而描绘的笔笔划的图像称作“暂定图像”。
[0014]然而，专利文献1～3所记载的技术以简易的显示用处理器中的描绘处理为前提，不支持专利文献4、5所记载的考虑了笔尖属性的高度的描绘处理。这样一来，会产生在暂定
图像和最终在串流影像内出现的笔笔划图像中外观不同的情况，因此需要改善。
[0015]因此，本专利技术的目的之一在于提供能够在暂定图像和在串流影像内出现的笔笔划图像中使外观一致的图像描绘方法。
[0016]另外，串流影像一般包括例如菜单栏等作为描绘笔笔划的区域而不合适的区域。然而，根据专利文献1～3所记载的技术，本地侧装置无法判别适合于笔笔划的描绘的串流影像内的区域(以下称作“描绘区域”)，根据用户的笔的动作，在描绘区域外也会描绘暂定图像，因此需要改善。
[0017]因此，本专利技术的另一个目的在于提供能够防止暂定图像被描绘于描绘区域外的图像描绘方法。
[0018]用于解决课题的手段
[0019]本专利技术的第一侧面的图像处理方法是由远程侧装置及本地侧装置执行的图像描绘方法，其中，包括：所述远程侧装置发送包括由第一渲染处理生成的图像的串流影像的步骤；所述本地侧装置通过将与所述第一渲染处理共有的第二渲染处理与所述第一渲染处理并列地执行来生成暂定图像的步骤；及所述本地侧装置经由会产生延迟的通信而从所述远程侧装置接收所述串流影像且将所述暂定图像合成并输出的步骤。
[0020]本专利技术的第二侧面的图像处理方法是由远程侧装置及本地侧装置执行的图像描绘方法，其中，包括：所述远程侧装置发送串流影像的步骤；所述远程侧装置发送表示所述串流影像内的描绘区域的描绘区域信息的步骤；所述本地侧装置从所述远程侧装置接收所述描绘区域信息的步骤；所述本地侧装置生成用于在所述串流影像内暂定地显示的暂定图像的步骤；及所述本地侧装置将所述暂定图像向所述串流影像中的由所述描绘区域信息表示的区域合成并输出的步骤。
[0021]专利技术效果
[0022]根据本专利技术的第一侧面，由于由本地侧装置执行的第二渲染处理与由远程侧装置执行的第一渲染处理共有，所以本地侧装置能够使用考虑了笔尖属性的高度的描绘处理来描绘暂定图像。
[0023]根据本专利技术的第二侧面，由于能够将合成暂定图像的区域限制为由描绘区域信息表示的区域，所以能够限制描绘区域外的暂定图像的描绘。
附图说明
[0024]图1是示出执行本专利技术的第一实施方式的图像处理方法的计算机1、2的系统结构的图。
[0025]图2的(a)是示出串流影像SV及桌面影像DV1、DV1a的例子的图，(b)是示出用户正在进行笔输入的期间的串流影像SV及桌面影像DV1、DV1a的例子的图。
[0026]图3是示出描绘应用36为了进行渲染处理而需要的数据的格式的图。
[0027]图4的(a)是示出应用状态信息AS的格式的图，(b)是示出描绘应用窗口位置信息GAWP的格式的图。
[0028]图5是示出笔笔划图像PS2向描绘区域A3的内部的描绘的例子的图。
[0029]图6是示出本专利技术的第一实施方式的图像处理方法的序列的图。
[0030]图7是示出本专利技术的第一实施方式的图像处理方法的序列的图。
[0031]图8的(a)及(b)分别是示出用户正在进行笔输入的期间的串流影像SV及桌面影像DV1、DV1a的例子的图。
[0032]图9的(a)～(c)是示出与笔笔划图像PS1形状一致但花纹但及色彩的任一方或它们的组合不同的笔笔划图像PS2的例子的图，(d)是示出与笔笔划图像PS1轨迹(形状的中心线)一致但形状不同的笔笔划图像PS2的例子的图。
[0033]图10是示出笔笔划图像PS1表示特殊笔划的情况下的笔笔划图像PS1、PS2的例子的图。
[0034]图11是示出表示本专利技术的第二实施方式的图像处理方法的序列的图。
[0035]图12是示出表示本专利技术的第三实施方式的图像处理方法的序列的图。
[0036]图13是示出执行本专利技术的第四实施方式的图像处理方法的计算机3的系统结构的图。
[0037]图14是示出执行本专利技术的第五实施方式的图像处理方法的计算机1、2的系统结构的图。
具体实施方式
[0038]以下，一边参照附图，一边对本专利技术的实施方式进行详细说明。
[0039]图1是示出执行本专利技术的第一实施方式的图像处理方法的计算机1、2的系统结构的图。计算机1、2分别是例如个人计算机、平板终端、智能手机等作为个人用而使用的信息处理装置。在计算机1、2分别安装有规定的会议应用，计算机1、2通过该会议应用而相互进行远程会议。会议应用的种类不特别限定，但在本实施方本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像处理方法，是由远程侧装置及本地侧装置执行的图像描绘方法，其中，包括：所述远程侧装置发送包括由第一渲染处理生成的图像的串流影像的步骤；所述本地侧装置通过将与所述第一渲染处理共有的第二渲染处理与所述第一渲染处理并列地执行来生成暂定图像的步骤；及所述本地侧装置经由会产生延迟的通信而从所述远程侧装置接收所述串流影像且将所述暂定图像合成并输出的步骤。2.根据权利要求1所述的图像处理方法，所述延迟包括网络延迟、图像压缩编码延迟、缓冲延迟中的至少任一个。3.根据权利要求1或2所述的图像处理方法，所述本地侧装置构成为检测笔的指示位置并向所述远程侧装置发送，所述第一渲染处理及所述第二渲染处理分别是基于一连串的所述指示位置来描绘笔笔划图像的处理。4.根据权利要求3所述的图像处理方法，所述第一渲染处理和所述第二渲染处理的共有包括将在描绘所述笔笔划图像时参照的笔尖属性在所述本地侧装置和所述远程侧装置中共有。5.根据权利要求4所述的图像处理方法，所述笔尖属性包括所述笔的笔尖的形状。6.根据权利要求4所述的图像处理方法，所述笔尖属性包括所述笔笔划图像的描绘色。7.根据权利要求4所述的图像处理方法，所述笔尖属性包括用于基于与所述笔相关的信息来导出笔笔划的属性的函数。8.根据权利要求7所述的图像处理方法，与所述笔相关的信息包括笔压值，所述笔笔划的属性包括线宽。9.根据权利要求4所述的图像处理方法，所述笔尖属性包括通过颗粒散射来描绘所述笔笔划图像的情况下的随机数种子。10.根据权利要求4～9中任一项所述的图像处理方法，所述本地侧装置检测到所述笔后，至少定期地从所述远程侧装置接收与所述笔尖属性相关的信息。11.根据权利要求3～10中任一项所述的图像处理方法，所述第一渲染处理和所述第二渲染处理的共有包括将所述笔笔划的描绘区域在所述本地侧装置和所述远程侧装置中共有。12.根据权利要求11所述的图像处理方法，所述第二渲染处理是将所述笔笔划图像向所述描绘区域内描绘的处理。13.根据权利要求11或12所述的图像处理方法，所述本地侧装置在所述笔的落笔位置处于所述描绘区域内的情况下执行所述第二渲染处理。14.根据权利要求11～13中任一项所述的图像处理方法，
所述本地侧装置在从所述笔的落笔到抬笔为止的期间，将所述描绘区域固定而执行所述第二渲染处理。15.根据权利要求1～14中任一项所述的图像处理方法，包括所述本地侧装置将合成于所述串流影像的暂定图像擦除的步骤。16.根据权利要求15所述的图像处理方法，所述本地侧装置通过将所述暂定图像中的从生成起经过了规定时间的部分擦除来执行所述擦除的步骤。17.根据权利要求16所述的图像处理方法，所述规定时间由所述远程侧装置设定。18.根据权利要求16或17所述的图像处理方法，所述规定时间根据所述延迟的时间长度而设定。19.根据权利要求15～18中任一项所述的图像处理方法，所述本地侧装置通过将所述暂定图像中的出现于所述串流影像内的部分擦除来执行所述擦除的步骤。20.根据权利要求15～19中任一项所述的图像处理方法，所述远程侧装置构成为将表示从所述本地侧装置依次接收的笔的指示位置中的所述第一渲染处理开始的指示位置的信息对所述本地侧装置发送，所述本地侧装置通过将所述暂定图像中的与由来自所述远程侧装置的信息表示了所述第一渲染处理的开始的所述指示位置对应的部分擦除来执行所述擦除的步骤。21.根据权利要求3所述的图像处理方法，由所述第二渲染处理描绘的笔笔划图像即第二笔笔划图像是形状与由所述第一渲染处理描绘的笔笔划图像即第一笔笔划图像一致但花纹及色彩的任一方或它们的组合与所述第一笔笔划图像不同的笔笔划图像。22.根据权利要求21所述的图像处理方法，包括所述本地侧装置将合成于所述串流影像的暂定图像擦除的步骤，在所述擦除步骤进行所述暂定图像的擦除的时间点下显示的笔笔划图像中的相当于所述第一笔笔划图像的部分和相当于所述第二笔笔划图像的部分中，花纹及色彩的任一方或它们的组合不同。23.根据权利要求22所述的图像处理方法，所述色彩包括透明度。24.根据权利要求21～23中任一项所述的图像处理方法，所述本地侧装置使用2色...

【专利技术属性】
技术研发人员：加藤龙宪，武部佳文，坂井清一，山本定雄，渡边直树，
申请(专利权)人：株式会社和冠，
类型：发明
国别省市：