基于云端人工智能技术的触摸屏设备操控系统技术方案

发明专利技术名称：基于云端人工智能技术的触摸屏设备操控系统发明专利技术所属技术领域：电容触摸屏技术；人工智能技术；本发明专利技术介绍了一种通过云端的人工智能技术操控触摸屏智能手机（或平板）的系统，以实现手机的智能化操作。该发明专利技术终端系统接收并运行来自云端服务器的智能模型，并根据模型运行的结果，通过覆盖在手机显示屏上的透明触控板模仿手指触摸以实现对智能手机App的智能操作。透明触控板板由终端系统上的处理器通过控制电路和电子开关控制，通过改变触摸屏表面特定区域电场变化以触发屏幕触摸事件实现对手机的操控，能够支持各种多点触控行为。

【技术实现步骤摘要】
基于云端人工智能技术的触摸屏设备操控系统
本专利技术涉及的
包括图像视频以及声音数据的捕获采集。电容式触摸屏的电子触发（模仿手指触摸），云端的人工智能模型训练，以及终端设备的基于人工智能模型的对当前手机应用的状态判断和触控操作。
技术介绍
电容式触摸屏已经成为智能手机，平板电脑等行业的标准。它们的工作原理是：触摸屏电子设备在运行时会在屏幕表面产生一个电场，当手指触摸屏幕时，会导致屏幕表面的电容改变进而引起电场变化，内置的触摸控制器通过传感器检测电场变化的的坐标来检测用户的触摸行为。除手动触发外，在许多场合下，电容式触摸屏的自动触发也有很大的需求，比如智能手机App的自动测试，智能运行等。目前，用于自动触发触摸屏的系统主要基于模仿手指的机器手臂的机械运动，该机械手臂被带到触摸屏上的期望坐标并向下移动以触摸屏幕。由于速度的限制和这种系统的大尺寸，以及精度要求，该类设备通常都是价格非常昂贵的。本专利技术提出了一种通过改变触摸屏表面电场的电子触控方法，并通过引入连接到地面的导体来改变指定坐标的触摸屏电场，进而触发手机内置的触摸控制器，从而检测到触控行为。同机器手臂的方式相比，本专利技术体积小，速度快，价格便宜。同时，由于近年来人工智能，深度增强学习的大力发展，已经可以在许多方面代替或超越人类，比如AlphaGo玩围棋，利用增强学习训练玩Atari游戏等，效果上比专业的玩家水平还要强。目前已经可以通过训练的方式让人工智能掌握部分应用的操作（比如游戏），因此可以替代人工的方式运行应用（典型的如游戏代练）。本专利技术将触摸屏的电子触控技术同云端的人工智能技术相结合，实现了对智能手机App的无侵入的智能运行，在许多场合下都是非常有价值的，比如手机游戏的代练，智能抢红包系统等。
技术实现思路
本专利技术通过基于人工智能的系统，实现对手机应用的智能操控。具体来说，就是对选定的应用比如某款游戏在云端完成训练，当玩家打开该游戏，并把手机同本专利技术的设备对接之后，本专利技术设备通过同云端的系统配合，下载并运行智能模型，以一种非侵入的方式，智能的帮助用户操控智能手机App，比如实现智能游戏代练的功能。该专利技术设备通过置于智能手机屏幕上方的摄像机录屏，屏幕数据发送到专利技术设备的处理器，处理器上运行着与手机前台应用相匹配的智能模型，该智能模型会产生相关操控指令，并通过控制电路和电子开关操控覆盖在手机显示屏上的透明操控面板来模仿用户的手指触摸行为以实现对手机的操作。透明操控面板通过以下方式来实现触摸操作：透明操控面板上排列着由许多透明导电岛组成的矩阵（实现上可以使用透明ITO导电膜），每个导电岛都有导线连接到一个电子开关（Mosfet或者继电器）。电子开关控制导电岛与地面的断开与连接。当电子开关处在导通状态时，导电岛与地面接通，因其直接接触手机触摸屏表面，会引起触摸屏上导电岛附近的电场变化，使得触摸屏控制器检测并定位触摸点的坐标。当电子开关处在断开状态，导电岛与触摸屏的电场恢复原样，使得触摸屏控制器检测到触摸行为的消失。通过遍布透明操控板上的导电岛矩阵，本专利技术可以模仿多种触摸行为，包括点击，长按，滑动，双指或多指触摸，放大缩小，旋转等典型触摸屏操作。具体的操控流程如下：1.在云端服务器上对常见智能手机App进行增强学习建模和模型训练，生成能够模仿人类操控App的人工智能模型。在云端服务器上维护着已训练好智能模型的智能手机App的列表。2.运行手机端的移动管理App，连接到云端，搜索并下载一个智能手机App的智能模型到终端设备3.在手机上启动该智能手机App，将手机放在终端设备的透明触控板下方，手机屏幕要紧贴透明触控板（以确保透明触控板上的电压变化能够触发触摸屏），并确保终端设备的摄像头能够采集到手机的屏幕数据。4.启动终端设备，终端设备开始运行下载的智能模型。智能模型通过输入的手机屏幕和声音数据判断手机上智能应用的状态，并发出相应的操控命令。5.操控命令经过控制电路，电子开关和透明触控板，最终转化为手机屏幕上的触摸行为，从而完成对手机应用的智能操控。本专利技术包括三大主要模块：•终端设备（硬件）。负责手机屏幕和声音数据的抓取。从服务器（电脑或者云端）下载智能模型并运行，根据智能模型的结果实现对手机的操控。手机操控主要由覆盖在手机的透明触摸屏操控面板实现。手机屏幕数据的抓取，主要通过置于屏幕上方的摄像头实现。声音数据的抓取，通过终端设备上的声音采集模块实现。•移动管理App。运行在智能手机上，主要用来同云端系统进行通信，选择想要智能运行的智能手机App的智能模型并下载到终端设备运行，以实现对智能手机App操控。比如，想智能运行一款叫做滚动天空的智能手机App，就下载该应用的智能模型到绑定的终端设备。•云端系统。对选定智能手机App利用人工智能进行训练，并将训练模型发送到终端设备。终端设备通过该模型代替人对手机应用进行操控，比如微信抢红包，游戏代练等。附图说明图1为专利技术的总体框架。本专利技术包括3部分：云端服务器，终端设备和移动管理App。附图中○1为终端设备。○2为触摸屏智能手机，移动管理App运行在该手机上，移动管理App主要同云端进行通信，选择需要智能运行的智能手机App并下载该智能手机App的智能模型到终端设备。○3为云端的服务器○4。终端设备同云端服务器通过IP网络相连。终端设备与触摸屏智能手机的交互见图2说明。图2为终端设备结构图。终端设备通过置于智能手机屏幕上方的摄像头（图2中的屏幕摄像模块）采集智能手机的屏幕数据，通过声音输入设备（图2中的声音采集模块）采集智能手机的外放声音信息。采集的屏幕图像和声音信息被发送到处理器进行处理。处理器运行着适配选定智能手机App的智能模型，该模型的结果通过控制电路和电子开关控制透明触控板上的导电岛同大地的连接和断开，进而实现对手机的操控。通信模块负责同云端进行通信。图3为透明触控板结构图。透明触控板基底○1由玻璃或者其他透明不导电材质构成。在该材质上方铺设导电材料（例如ITO）构成的导电岛阵列○2。每个导电岛都通过导线○3连接到终端设备上的电子开关上。电子开关可以由Mosfet或者继电器组成。当电子开关接通时，导电岛同大地相连，使得该区域的触摸屏电场发生变化，导致触摸屏控制器检测并定位触摸点的坐标。当电子开关断开时，导电岛同大地断开，使得该区域的触摸屏电场恢复原样，触摸行为消失。具体实施方式手指触摸的原理是通过在由触摸屏形成的电容内引入手指来干扰电容式触摸屏的电场。手指充当连接到人体（大地）的长导体。因此它“带走”由电容器感应的电荷，并使电容器的一部分没有电场，触摸屏控制器检测电场发生变化的区域并定位触摸点的坐标。引入的手指可以通过触摸屏与连接到地面的导电岛来模拟。手指与触摸屏脱离接触可以通过断开与地面相连的导电岛来模拟。电子开关可以通过Mosfet或者继电器实现。电子开关的控制通过设备控制模块来实现。为精确的模拟手指触摸的行为，导电岛的尺寸不能太大，否则触摸精度不够。导电岛的尺寸也不能太小，否则电容量变化不足以激活触摸屏。通常导电岛的尺寸为3x3mm2到10x10mm2之间。本专利技术实现的方式是在透明的介质（如玻璃）上实现导电岛矩阵，矩阵中的每个导电岛都通过导线连接到电子开关上。该实现被称为透明触控板。因为导电本文档来自技高网...

【技术保护点】
1.该系统包含3个组成部分：终端设备（硬件），移动管理App，云端服务器，相互间进行通信。

【技术特征摘要】
1.该系统包含3个组成部分：终端设备（硬件），移动管理App，云端服务器，相互间进行通信。2.终端设备有一个唯一号，上电启动后连接到网络并在云端服务器注册激活并绑定到用户账号。3.云端服务器对常见的智能手机App利用增强学习技术训练智能模型，并维护一个已训练好智能模型的智能手机App列表。4.用户通过移动管理App登陆到云端服务器，从已训练好智能模型的智能手机App列表中选择一款应用（比如一款游戏），选好之后，将该应用的智能模型下载到绑定的终端设备并启动运行。5.智能模型运行在终端设备的处理器中，通过置于手机上方的高速摄像头抓取实时的屏幕数据，并通过声音输入设备采集的手机声音数据作为...

【专利技术属性】
技术研发人员：邵文龙，
申请(专利权)人：邵文龙，
类型：发明
国别省市：北京,11