手势交互进入主流是由于什么

2019-11-20 21:50| 发布者: | 查看: |

  上周,谷歌在其Made by Google发布会上一口气发布了数款新硬件,包括最新的等。这些新硬件除了形态上与传统硬件的不同之外,在用户交互上也有创新之处,▼▼▽●▽●而这些新的用户交互特性也让相关芯片进入我们的视野。

  上周谷歌的硬件发布会是近来一系列互联网公司硬件发布会的延续。在谷歌之前,亚马逊和微软也发布了其新硬件。

  如果我们仔细分析这些互联网公司发布的硬件,我们首先看到的是互联网公司希望从传统智能硬件格局中突围的决心。这些互联网公司发布的新硬件更注重智能化,往往会使用一些非传统的硬件形态(例如亚马逊的智能眼镜)配合人工智能来实现让用户耳目一新的效果。互联网公司做硬件的最终目标还是希望用户能通过硬件作为入口来使用自己的互联网服务,因此即使每个硬件的出货量都不大,◆◁•但是只要能带来一定的流量就算成功。因此,我们会看到亚马逊和谷歌都采用了类似散弹枪的打法,即一次发布许多款不同的硬件,而并非集中所有资源去开发一两款重点硬件。

  如前所述,这类互联网公司开发的新硬件拥有全新的形态,而其最终目的是希望和用户做交互并且把用户接入到互联网公司的服务中去。那么,如何在这些新的硬件形态上搭配新的用户交互界面就变得非常重要。目前主流的触摸屏交互方案已经无法满足新形态智能硬件的需求,因此探索下一代用户接口以及相关的硬件芯片就势在必行。

  在新的用户接口中,目前最广为接受的是语音交互。语音交互正式进入大规模消费应用始于苹果推出Siri,之后亚马逊的Echo系列智能音箱的发布则真正点燃了整个消费语音交互市场。谷歌也不甘落后,在推出Google Home系列智能音箱之后,■□这次发布会上发布的Pixel 4手机、Pixel Bud 2智能耳塞和Nest Mini都拥有最新的语音交互接口,同时拥有相关的机器学习芯片支持。

  那么,谷歌最新发布的硬件中的语音交互与之前的语音接口有什么不同呢?我们认为,其最大的不同就是强调终端计算,将语音交互的计算尽可能都放在终端完成,而无需传输到云端。极速快三登录注册从功能上来说,使用终端计算的语音交互接口可以满足在无网络连接的时候也能完成基本的交互,从而大大拓宽了实用的场景。

  从性能上来说,网络传输会引入很大的能量消耗和延迟,因此如果能在本地做大部分语音交互运算,则可以大大延长智能设备的电池使用时间并在更短时间内就完成用户需求响应以提升用户体验。最后,从合规角度来看,目前对于互联网公司对于用户数据的监管越来越多,因此把语音交互运算在本地完成而非上传到云端就可以尽可能避免侵犯用户隐私的嫌疑。

  从计算复杂度来说,本地语音交互接口可以分成两类,一类是低复杂度计算(例如关键词识别),这类计算的复杂度不高,但是需要能消耗尽可能低的能量,且延迟需要尽可能小。另一类计算复杂度较高(例如实时语音转录成文字以及Assistant类需要对用户的语音输入做一定语义理解的任务)。

  在这次发布会中,Pixel Bud 2的语音交互接口就属于前一种。Pixel Bud 2语音交互的主要特性是可以根据用户的指令去完成发送短信、阅读短信、播放音乐等功能。根据谷歌的说法,Pixel Bud 2内部包含了一块专用的机器学习芯片以完成这类语音接口。

  仔细分析Pixel Bud 2这些智能助手的实现方式后我们认为Pixel Bud 2的语音助手主要作用是识别用户的语音指令,并且通过蓝牙连接的手机来完成相关指令的需求。

  例如,如果用户通过语音给出“阅读短信”的指令,●则智能耳机里的语音助手首先需要识别出用户是在下语音指令,其次需要识别出语音指令的大致内容(“阅读短信”)并且将指令发送给手机,之后手机端的TTS算法把短信转换成声音再通过蓝牙传送给耳机并播放。在这样一个过程中,耳机端的语音接口关键词识别算法需要完成较传统单一关键词唤醒更复杂的功能。

  除了Pixel Bud 2之外,谷歌在Nest Mini和Pixel 4上也使用了离线语音模型来支持语音接口。按照谷歌官方的说法,在Nest Mini上的专用机器学习加速芯片可以让Google Assistant更快完成相应,而在Pixel 4手机上的离线语音模型则可以完成更复杂的语音交互,例如离线语音转录成文字,复杂的多轮语音指令等等(例如可以让assistant去查找一张图片,并且把它发送给某个联系人)。

  从技术上来说,第一类低复杂度的语音关键词识别算法目前通常会使用卷积神经网络来实现。相较于使用在计算机视觉应用中的卷积神经网络,语音接口中的卷积神经网络对于性能的需求较低,然而由于应用场景对于硬件的限制(例如耳机中的芯片不太可能搭配DRAM),如何在硬件成本最低、功耗最小的条件下完成高精准度的关键词识别仍然具有挑战性。

  例如,为了最小化功耗,会需要芯片中的相关模组工作在非常低的电源电压下,甚至比Fab提供的最低电压还要低,◆▼这就给低功耗设计流程带来了挑战。此外,由于这类应用中无法搭载DRAM,因此对于神经网络模型带来了不少挑战,如何在模型尺寸和精确度之间达成一个较好的平衡需要很多工作。

  总体而言,★-●△▪️▲□△▽这类设计需要做软硬件结合设计以保证合理的精确度和尽可能低的功耗。根据现有的消息,我们估计Pixel Bud 2中使用的机器学习专用芯片很可能是在传统TWS无线耳机芯片上再集成了一块DSP或者谷歌自己的IP来完成这样的低功耗计算。由于对于成本和硬件尺寸的限制,我们认为未来针对该方向的超低功耗语音关键词交互芯片方案最有可能是以IP的形式存在,或者集成在耳机的主控芯片中,或者和前端麦克风集成在一起。

  而Pixel 4手机上的语音交互属于典型的高复杂度语音模型(第二类计算),这类模型往往会需要使用循环神经网络而非卷积神经网络。虽然循环神经网络的计算主要还是矩阵计算,但是如何优化模型和片上内存以尽量减少内存访问带来的消耗仍然是最关键的设计要点。

  与卷积神经网络不同,口▲=○▼循环神经网络中的数据复用程度并不高,因此如何开发和优化相应的模型/硬件必须要使用和卷积神经网络不同的方法,这也是目前循环神经网络计算硬件的主要挑战。相较于传统的卷积神经网络,循环神经网络的硬件支持在业界目前还处于较早期的研发阶段,但是相信随着这类复杂离线语音交互应用的普及,会有越来越多的设计方案和芯片解决方案出现。

  我们估计未来可能的解决方案有几种形态:首先是对于功耗和性能要求并不严格的场合,通过把循环神经网络的模型设计成非常小的尺寸,可以通过类似DSP或者NEON这类支持矩阵加速的IP模块去做计算。这种方法的好处是可以快速部署,只需要设计软件即可,硬件上不用做太大改动,但是问题是没法优化循环神经网络对于内存访问。在对于性能和功耗有更高需求的场合,则可望会出现更专用的硬件架构以完成加速。例如,目前用于语音应用的循环神经网络往往稀疏度较高,因此通过设计支持稀疏矩阵存取和运算的专用加速器可望能实现更高的性能和更低的功耗。•●

  总而言之,随着语音接口的普及,我们可望在更多语音相关的硬件上看到DSP类IP的出现,同时随着离线语音复杂交互的普及,我们可望会看到专用的语音加速芯片/IP。

  除了语音交互之外,谷歌此次发布的Pixel 4手机上的另一个亮点是使用毫米波雷达来实现隔空手势交互。

  Pixel 4上的毫米波雷达芯片系原谷歌先进研究项目(ATAP)project soli的商业化,该毫米波芯片使用60GHz频段,并且可以用雷达的方法去检测到目标与手机之间的距离变化,从而实现隔空手势操作。

  具体来说,雷达传感器芯片的技术原理是首先发射出电磁波,而发射的电磁波经过用户手的反射回到传感器端,就能根据回波来检测用户手的位置和动态,并借此完成三维非接触手势检测。

  Pixel 4上雷达芯片使用的是57-64GHz的频段,理论上可以实现毫米级别的分辨精度。根据之前Project Soli发布的毫米波雷达传感芯片(属于此次使用在Pixel 4中雷达芯片的原型版本),芯片大小约为8mm x 10mm, 芯片上还有天线阵列(绿色框内)用来实现波束成型,根据官方信息该芯片上集成了四个发射机和两个接收机,使用波束成形来提升分辨率。

  使用毫米波雷达也有局限性。主要问题就是硬件对于尺寸和功耗的需求——毫米波雷达如果需要做高精度高分辨率检测需要使用复杂的天线和/或多个雷达收发阵列。在60GHz频段上,复杂的天线阵列的体积很大,而如果使用多个雷达收发阵列则会大大增加系统功耗。本次媒体对于Pixel 4中毫米波雷达的测评中分辨率并不高,▼▲据说也是因为Pixel 4硬件设计中留给雷达的空间过小以至于无法安放下能实现高分辨精度的雷达收发机阵列和天线阵列。当然,这个问题可望在之后能通过优化硬件设计来解决。

  事实上,使用手势操作智能设备一直是业界开发的方向。传统的方法是使用摄像头结合机器视觉的方法。2D摄像头难以检测到手势在深度方向的变化,因此限制了交互。微软 Xbox的Kinect使用ToF 3D摄像头的方法来支持手势操作,但是3D摄像头的使用环境会受到限制:机遇结构光的方案速度太慢,而基于ToF的方案在明亮的环境中性能会打折扣。

  除了视觉方案之外,超声波也是一个可行的方案。超声波方案与毫米波方案原理相似,只是超声波方案使用的是超声波而不是电磁波。超声波方案的优势是功耗较小(可以小于1mW而毫米波方案的功耗在10-100mW),缺点是必须使用CMOS工艺无法实现的超声波元件,而毫米波方案可以完全使用CMOS电路实现,集成度较高。因此,在智能设备的隔空交互领域,毫米波雷达和超声波在具体技术指标上可以说是各有千秋。

  如果把视角拉远一些,我们则认为基于电磁波和毫米波的方案有更大的可扩展性。我们认为,在手机中加入毫米波雷达只是这类交互的第一步。基于电磁波(包括毫米波)的交互将在未来几年内出现在更多的智能电器中。除了手势交互之外,电磁波还可以检测房间内的人员情况和物体识别,并且有望能无缝与WiFi设备相衔接,因此省去了安装摄像头的麻烦和对于隐私问题。因此,用于交互应用的射频芯片有望成为未来几年内的一个新品类。

  展望未来,用于人机交互的毫米波雷达主要需要克服模组尺寸和功耗的瓶颈,为此必须优化雷达本身设计提高信噪比,从而可以在减少天线尺寸/阵列中收发机数量的情况下仍然能实现分辨精度;或者优化天线设计,以满足在小尺寸下仍然能提供很低的衰减。我们认为,随着这些技术瓶颈被逐渐突破,我们有望看到更多基于毫米波的交互方案出现在智能设备中。

  一、活动简介中国硬件创新大赛是由电子发烧友网所属,全球一站式电子零组件服务商——深圳华强聚丰联合硬创大道等权威孵化器主办

  近年来,中国智能网联汽车行业发展迅速。今年9月16日,上海颁发首批智能网联汽车示范应用牌照;9月19....

  网络安全是指网络系统的硬件,软件及其系统中的数据受到保护,不受偶然的或者恶意的原因而遭到破坏、更改、....

  Qtum 2.0从底层架构、稳定性和灵活性等多个方面进行了优化与改进,大大降低了合约开发成本,也为后....

  作为比特币网络世界的一部分,闪电网络让比特币成为更加支持个人主权和自由市场的事物。

  三大运营商都在积极部署5G网络,初步估计,目前全国的5G基站数已近10万,而且部分网络基于SA架构。

  2G、3G的退网是移动通信更新换代的必然选择,也是当前国际上各个国家的主要做法。

  保护物联网设备只能在网络级别上进行。虽然配置每个端点使其尽可能安全是必要的,但是假设这是可行的或者链....

  “邬院士讲了一个概念,5G基站更密集,每个基站发射功率更低,同时,手机离基站近的时候,功率不用很大,....

  本届世界互联网大会有来自超过80个国家和地区的约1500名嘉宾参会。自2014年首次举办以来,大会逐....

  5G时代,技术毋庸置疑将带来更多样的消费需求,更多新的服务通道正在发展。

  5G的超快速度、超高带宽、超低延时,将对原来的移动互联网进行全面的改造,对整个世界带来全新的改变。

  区块链落地如火如荼,区块链基础设施的研发也在轰轰烈烈地进行中—当前的热门研究区域集中在不牺牲拜占庭式....

  更加开放和更多社区参与的应用程序开发过程成为可能,这取决于你的设置方式。

  区块链在技术层面最重要的意义,是它达成了分布式架构下的共识,有效的解决了原先被认为是无解的拜占庭容错....

  十多年来,随着备受瞩目的网络犯罪案件的激增,网络安全行业呈指数级增长,这已不是什么秘密。将网络安全视....

  10月21日消息,第六届世界互联网大会于10月20日-22日在浙江乌镇召开,本次大会以“智能互联 开....

  10月21日消息,在第六届世界互联网大会“5G,开创数字经济新时代”论坛上,百度首席技术官王海峰表示....

  10月21日消息,在第六届世界互联网大会“5G,开创数字经济新时代”论坛上,搜狐公司董事局主席兼CE....

  2018年中国数字经济规模达31.3万亿元,占国内生产总值比重达34.8%,已成为中国经济增长新引擎....

  10月20日至22日,◆●△▼●第六届世界互联网大会在浙江乌镇举行。△工业和信息化部副部长陈肇雄出席大会开幕式,....

  6G愿景是:泛在无线G服务将无缝覆盖全球用户;无线,即无线连接是关键基础架构的一部分....

  来源:全天候科技 10月21日,主题为智能互联 开放合作 携手共建网络空间命运共同体的第六届世界互联....

  在PCBA贴片加工厂生产中,PCB板上的那些“特殊焊盘“有什么工艺作用?

  利用现代网络技术、通信技术与医疗相结合,开发基于嵌入式Internet技术的多生理参数网络监护系统,....

  2017年三季度至2019年三季度,在全行业实现14.47%薪酬增长率的同时,通信/电信/网络设备与....

  未来是智能化的时代,5G+AI将成为行业主流,运营商的网络智能化不可能一蹴而就,需要一个长期的实践过....

  赛灵思革命性的Versal ACAP,是业界首款完全支持软件编程的异构计算平台,加上赛灵思最新发布的....

  包括人工智能、传感器、机器人、人机协同等在内的新兴技术正被应用于传统制造业中。

  10月20日消息,第六届世界互联网大会今日开幕。小米集团创始人、董事长和CEO雷军在演讲环节指出,小....

  并不否认烧钱模式已经创造的辉煌,也并不是说这一模式对区块链行业完全一无是处,只是认为烧钱模式并不是能....

  10月20日消息,☆△◆▲■第六届世界互联网大会在乌镇开幕。在中外部长高峰论坛上,中国工程院院士倪光南发表演讲....

  常态化的互联网治理必须建立在网络安全的基石之上。深刻认识网络空间面临的风险和挑战,积极利用、主动应对....

  目前,以“互联网+”、大数据、人工智能为代表的数字革命,正在深刻地改变着我们的经济形态和生活方式,建....

  10月21日上午消息,第六届世界互联网大会于10月20日-22日在浙江乌镇召开,◇▲=○▼=△▲本次大会以“智能互联....

  作为世界互联网大会重要理论成果,《世界互联网发展报告2019》在乌镇发布。报告显示,目前全球独角兽企....

  具体行业云计算应用落地的行动规划发布后,行业云时代将全面开启,云计算应用正从互联网行业向传统行业渗透....

  除了SA/NSA组网模式等挑战之外,对于客户影响最为直接的还是实际覆盖效果。

  倪光南表示,如果智慧城市的建设能够结合当前5G、人工智能等新技术的发展,会把整个城市的经济和人民生活....

  在社会高速发展的今天,互联网数据催生出人工智能、大数据和云计算等信息技术,也催生出了诸如旷视科技、商....

  随着云计算、大数据、人工智能、虚拟现实、5G等技术的不断突破,将迎来新的更大的发展契机。

  中国电信副总经理刘桂清在IPv6成果发布时表示:“作为全球最大的互联网宽带网络运营商,中国电信长期以....

  数字经济在经历了PC的发明与普及,PC互联网,移动互联网这三个阶段后,正在进化到以人工智能为核心驱动....

  随着5G的发展,未来整个射频前端供应链或迎来重构,而借此机会,中国国内的厂商也将会获得更多的发展机遇....

  在大数据,▲●…△云计算爆发的今天,对于所有这些网络设备的大量用户,添加更多100G以太网(100GE)端口....

  生物进化史上总是会有那么几个重要的节点,在网络安全进化的过程中也同样如此,如同生物进化史中出现了拥有....

  作为低空中的“王者”,近年来无人机发展非常迅猛。在AI、传感、导航、通信等技术的大力加持下,无人机在....

  10月19日消息,第六届世界互联网大会开幕在即,马云现身乌镇。据搜狐科技了解,马云正在参加世界互联网....

  物联网(IoT)已经模糊了数字世界和物理世界之间的界限,因为从手表到冰箱的所有东西都加入了互联网。而....

  一个电路板焊接完后,在检查电路板是否可以正常工作时,通常不直接给电路板供电,而是要按下面的步骤进行,确保每一步...

  DDOS攻击基本上是每个互联网企业都会遇到的问题,特别是金融、游戏、电商等行业,一直以来都是DDOS....

  会议伊始,梦网集团董事长总裁余文胜发表了题为《5G浪潮下的企业通信服务》的专题演讲,•☆■▲深度介绍了梦网对....

  通俗的说,边缘计算是去中心化或分布式的云计算,现在的云计算都是集中式的,即把服务器集中在某一个地方,....

  天眼查数据显示,长城宽带网络服务有限公司成立于2000年4月,注册资本9亿人民币,★△◁◁▽▼其母公司是在A股上....

  在现场看到,无人投递车车长约2米、高约1.5米,有30个投递格口,最多可装30个包裹,根据邮件大小还....

  10月18日,2019中关村论坛举行平行论坛“5G赋能未来产业”。中国工程院院士邬贺铨在演讲中表示,□▼◁▼....

  随着IT技术飞速发展,互联网已经进入了“物联网”时代。物联网中需要的大量设备不在依赖人与人之间的交互产生联系,...

  你好 有可能通过互联网使用PSoC4套件来控制对象(马达)吗? 我的意思是我们可以通过互联网直接连接PSoC4工具...

  对图像监控系统,用户常常提出这样的功能需求:希望能够监控距离较远的对象 这些对象有可能分布在郊区、深山,荒原...

  无需分享,扫码入群即可免费领取4节课程+课件(包含硬件+单片机+仿真+PCB课程),总有一款适合你

  之前很多小伙伴问小编,电子发烧友学院有没有免费课程,现在小编很高兴告诉大家,国庆结束后,就有三节免费的课程可...

  一、硬件工作的薪资调查 首先,介绍下一个硬件产品的研发流程,如下图所示:公司内所有的岗位是同等重要的,有...

  了帮助大家更好地进行高速PCB设计,具有十几年工作经验的李增老师和电子发烧友合作开设了《【基础班】高速信号仿线▲★-●

<
>
极速快三 成立于2012年,我们是一家专注用户体验设计开发与互联网品牌建设的设计公司,创立至今为2000多位客户提供了创新与专业的设计方案。设计服务范围包括:交互原型设计、产品视觉设计、网站设计与开发建设、移动及软件产品界面设计、图标设计、品牌及平面设计等。

联系我们

山东省临沂市幸福大道科技广场智博大厦23-58

400-000-8899(服务时间:9:00-18:00)

45420974@qq.com

在线咨询 新浪微博 官方微信官方微信

部门热线

前   台:400-000-8899
业务部:400-000-8899
客服部:400-000-8899
技术部:400-000-5588
人事部:400-000-5588

网站建设 微信开发 售后服务 咨询电话400-000-8899 返回顶部
返回顶部