联系我们
  1. 客服热线:
    400-0531-701
  2. 联系地址:
    济南市华阳路67-1留学人员创业园高新商务港2号楼1单元5层

为什么手机能认出戴口罩的你?主要是它的功劳

发布时间:2020/11/17

疫情的到来,让人脸解锁功能低下了高贵的头颅。

当口罩成为我们出街必备的单品,在解锁手机时,我们总要经历‘人脸识别失败’—‘输入密码’的繁琐过程。这不由得让人怀念起指纹识别的好。

为了优化人脸解锁的体验,今年早些时候国外创业者Danielle Baskin推出了一款带有面部信息的口罩。该产品通过提取用户的面部信息,然后印在口罩外侧,用户戴上口罩后就可以拼凑成完整的脸部。

为什么手机能认出戴口罩的你?主要是它的功劳

不过这个产品的解锁成功率尚不明确,并且没有大量的样本验证。那么如何让人脸识别系统,不再被口罩困扰呢?

一些网友渐渐发现,随着戴口罩的时间越来越久,手机似乎在一次次人脸解锁失败中找到了‘经验’,逐渐能够识别成功戴着口罩的自己。

靠着这个思路,一些科技博主也分享了更高效的教程,比如戴着口罩反复解锁,人脸识别不成功就立即输入密码,循环这个动作30分钟左右,手机便能识别出戴着口罩的自己了。

不过在实践的过程中,网友们表示不同机型的‘学习’速度不一。有人将上述动作重复了20分钟便已成功,但有的人重复了上千次,手机仍然无法识别戴着口罩的自己。

为什么会出现这种情况呢?其实答案关乎手机的AI学习能力。

深度学习利器——NPU

如果你有关注近两年的手机发布会,你一定发现了手机厂商们在介绍SoC芯片时,都会重点提到NPU的升级。

所谓NPU,就是指神经网络处理器。在一个手机芯片中,一般会分为几个功能区,发布会常提的有三个:一是擅长处理繁复任务和发号指令的CPU,二是擅长图形处理的GPU,再者就是擅长处理人工智能任务的NPU。

虽然NPU‘占地’没有CPU和GPU大,但其能力却不容忽视,一台手机的智慧程度,主要依赖它。

上文提到的训练手机识别戴口罩的自己,便主要归功于NPU的能力。摄像头捕捉到人脸画面后,CPU和GPU会在极短的时间内对图片进行预处理,然后NPU、GPU来检测、提取特征,最后CPU、GPU和NPU共同完成人脸的识别和分类。

得益于日益强大的算力,整个过程已经能够做到‘无感’的程度。在我们拿起手机的一瞬间,上述流程便已处理完毕。

而NPU的加入,让手机可以认识不同状态的你。早上刚醒时,即便面部浮肿,手机也知道这就是你。甚至被马蜂蛰了,嘴巴肿成‘香肠’,手机依然能够识别出来。

所以经过一定量的训练后,手机便可以‘无惧口罩’并认出你了。

实际上,如果只依靠算法,CPU和GPU也可以配合完成学习。但缺点是效率低,且功耗大。据《汽车电子与软件》介绍,CPU和GPU需要用到数千条指令完成的神经元处理,NPU只需要一条或几条就能完成。

另外在同等功耗下,NPU的性能是GPU的18倍。可以看出NPU在深度学习的处理效率方面优势明显。

说到这不得不提一下NPU的工作原理。之所以NPU的学习效率高,不是因为它喝了‘六个核桃’,而是它在电路层模拟人类神经元和突触。并且用深度学习指令集,直接处理大规模的神经元和突触。通过突出权重实现储存和计算一体化,NPU的一条指令,便能胜任以往CPU和GPU的上千条指令。

打个不那么恰当的比喻,这就像京东物流实现的仓储、物流一体化一样,极大地提高了送货效率,当天买甚至当天就能送到。

NPU并不鸡肋

国内最早研究NPU的企业当属寒武纪。2017年发布的麒麟970芯片,就曾采用寒武纪的NPU架构。麒麟970也成为世界首款移动端AI芯片。

据华为介绍,集成NPU单元的麒麟970,相较于四个Cortex-A73核心,在处理同样的AI应用任务时,拥有大约50倍能效和25倍性能优势。例如在图像识别速度上,可达到约2000张/分钟,远高于业界同期水平。

11天后,iPhone 8/8 Plus、iPhone X携带着A11仿生芯片面世,苹果在发布会上表示这是其有史以来最强大、最智能的芯片。

A11 Bionic是苹果首款以‘仿生’命名的处理器,也是苹果第一款支持AI加速的处理器。比如在人脸识别的功能上,其神经网络引擎,让A11支持速度高达每秒6000亿次运算识别。

也是从这一年开始,越来越多的厂商开始重视手机AI能力的宣传。比如华为主打的AI摄影、超级夜景、隔空手势等功能;iPhone引以为傲的Face ID、人像虚化、Deep Fusion(深度融合)等功能,都紧紧依赖着NPU的能力。

自2019年6月开始,随着麒麟810的发布,华为开始使用自研达芬奇架构的手机AI芯片。达芬奇架构的巧妙之处在于各单元分工清晰,可以实现更高效的AI计算。

据《电子产品世界》介绍,达芬奇架构核心的3D Cube、Vector向量计算单元、Scalar标量计算单元等,都各自负责不同的运算任务实现并行化计算模型,共同保障AI计算的高效处理。实现高算力、高能效、灵活可裁剪的特性。

在刚结束不久的Mate 40系列发布会上,华为强调麒麟9000芯片的NPU升级到达芬奇架构2.0版本,算力翻番。AI计算能力更强的同时,能效提升了15%,网络运行性能也提升了20%。

苏黎世联邦理工学院推出的AI Benchmark榜单中,麒麟9000摘得安卓阵营的桂冠,分数是高通骁龙865+的两倍多。

还记得上文提到的麒麟970每分钟可识别2000张图像的能力吗?麒麟9000已经进化到2000张/秒的速度。另外,发布会重点展示的AI隔空手势、AI灵动熄屏、AI字幕等,也都是其NPU能力的显现。

让我印象尤为深刻的是‘智感支付’功能,当手机感知到靠近扫码盒时,便会自动弹出付款码页面,一气呵成完成支付。这代表着理想的智能终端的方向:向‘知你’、‘懂你’、‘帮你’的方向迈进。

而第四代iPad Air在发布之时,苹果也着重强调了其NPU能力的精进。相比A12仿生处理器,A14仿生新一代神经网络引擎让机器学习性能快达两倍。

超高的机器学习速度,让A14仿生芯片可以实现超级像素功能,搭配pixelmator使用,放大裁切后的照片,像素会自动增补,让照片更清晰。

反映到iPhone 12系列上,计算摄影能力也得到了空前改进。举个小例子,在延时摄影时,手机会自动计算被摄物体,如果是在拍车流,那么手机便会自动降低快门速度,让车灯呈现拖影的感觉,画面流动感更强。

新一代的iPhone在Deep Fusion、HDR视频等方面,与iPhone 11相比都有着肉眼可见的变化。这都得益于A14强大的AI计算能力。

我们可以对NPU期待什么?

虽然移动端NPU在近两、三年才开始被厂商宣传,实际上和它相关的概念在2013年就已出现。

当时,高通希望通过一种模仿人脑的计算结构,缩小普通机器运算与人脑之间的差距,这种通过模拟神经元的运算处理器,被高通称之为‘Zeroth’。

高通的Zeroth芯片,运算结构模仿了人类生物神经细胞的运作模式,是从大脑结构层面模仿的。而NPU则是在大脑功能层面模仿的,两者的方向并不一致。而高通也一直坚持了自己的方向,没有加入独立NPU的大军,而是坚持着人工智能引擎AI Engine的方向。

据‘芯智讯’报道,在高通骁龙845发布之时,一些外界声音批评高通没有顺应NPU的趋势,以至于在AI能力上落后。而高通高级副总裁兼移动业务总经理Alex Katouzian回应称,高通虽然没有独立的神经网络引擎单元,但是采用了更为弹性的机器学习架构(AI Engine),在通用平台内做内核优化,分布在CPU、GPU、DSP等每个单元上,从而可以针对不同移动终端提供弹性调用各个处理单元。

你可以这样理解:NPU的方向是分工明确,每个单元的集约化程度较高;而高通AI Engine的方向是‘有活大家一起干’。

直到采用第五代多核人工智能引擎AI Engine的骁龙865系芯片发布时,高通依旧没有踏入NPU的道路。

不过实际使用中,高通骁龙865的学习能力依然值得肯定。比如我在近半个月使用搭载高通骁龙865+的vivo X50 Pro+时,每天解锁十次左右,它现在已经能成功识别出戴口罩的我了。

但从数据上看,其AI学习能力,已落后麒麟9000和A14仿生不少。NPU一次次用数据证明了自己的AI实力,高通下一代AI Engine能否力挽狂澜,我们还需等待875系列芯片的面世才能知道。

人工智能时代,我希望看到的场景是,手机不再是被动响应用户需求的终端,而是能够主动分析、感知用户当下的需求,并可以预先提供相关服务的智慧终端。

在这方面,各家厂商还都处在起步阶段。比如在应用建议上,目前做的最好的个人认为是小米。通过时间和场景等因素的分析,每次它都能‘猜到’我想打开的软件,并智能排序在最显眼的位置。而Mate40系列支持的‘智感支付’更无疑在AI道路上走在了前列,也给了我们更多的想象空间。

值得注意的是,除了手机,NPU也逐渐应用到平板电脑、笔记本电脑等移动端上。苹果近日发布的M1芯片,就拥有16核的NPU,每秒可以执行11万亿次运算,将机器学习的速度提升至11倍,这是传统PC难以企及和比拟的。

而搭载M1芯片的MacBook系列、Mac mini将带来哪些使用体验上的变化,相信令人期待。

在当前的软件生态下,移动端CPU和GPU的提升,对于用户日常使用来说已经感知不强了。比如一台iPhone XS和一台iPhone 12相比,在应用的流畅性上几近一致。更加影响用户体验的,是机器学习能力的变化。这也是为什么我们要关注NPU的发展。

或许再过十年,当AI技术发展地更为成熟,‘智能’手机是时候改名为‘智慧’手机了。

  • 官方微信