[普通]国产AI框架开源也疯狂 从生态看华为MindSpore的危机并存

作者(passion) 阅读(34次) 评论(0) 分类( 软件)

新冠疫情全球爆发、美股10天4次熔断,2020年3月,注定是个要被记录世界历史的时刻。或许多年以后再次回想,2020年3月仍令我们记忆犹新。

对于“两耳不闻窗外事、一心只穿格子衫”的中国开发者而言,若干年后,这一时刻同样也令他们怀念。

不过他们怀念的,是今年3月的国产AI框架开源热,使得未来AI在国内将像现在的水电般,随地可见、随处可用。 (注:下文所称的AI框架均指深度学习框架)

不止华为在开源

3月28日,即华为开发者大会2020(Cloud)第二天,华为宣布全场景AI计算框架MindSpore正式开源,4月份开始公测。

据华为MindSpore首席科学家、IEEE Fellow陈雷教授介绍, MindSpore主要具备以下特性:原生适应端、边、云全场景,可按需协同;AI算法即代码,通过自动微分、自动运行、自动调优,使得代码量减少20%,效率提升50%;通过自身技术创新及MindSpore与昇腾AI处理器的协同优化,实现运行态的高效,提高计算性能;对GPU、CPU等其它处理器的支持。

其实,在2019年8月的华为发布会上,华为轮值董事长徐直军便发布了MindSpore。早在2018年10月华为全联接大会上,华为便首次发布AI战略与全栈全场景AI解决方案,并提出AI框架应该是开发态友好(例如减少训练时间和成本)和运行态高效(例如最少资源和最高能效比),且能够适应包括端、边缘和云的每个场景。

今天来看,经过一年多的研发,MindSpore在这三方面均取得了成功。

但华为宣布开源MindSpore,只是3月份国产AI框架开源事件中的一起,准确来说,是3月下旬。

3月25日, 旷视联合创始人兼CTO唐文斌在其线上发布会上宣布开源自家AI生产力平台Brain++的核心深度学习框架旷视天元(MegEngine),并将于6月推出公测版本。

公开资料显示,天元是一套训练推理一体化、动静态合一的工业级深度学习框架,架构上具体分为计算接口、图表示、优化与编译、运行时管理和计算内核五层。天元的前身是旷视内部自用的算法训练推理引擎MegEngine,由旷视3名实习生在2013年着手研发,并于2014年正式上线。该框架支撑了旷视6年来在AI竞赛的表现,以及公司产品和业务的落地,并服务于旷视研究院1400余名AI开发者。

旷视称,相比当下主流的开源深度学习框架,天元降低了深度学习的门槛,可提升算法训练和部署的效率。目前,旷视已在OpenI启智社区和GitHub两个开源社区发布了Alpha版。

时间再回拨5天。3月20日, 清华大学计算机系图形实验室宣布开源自研深度学习框架Jittor,中文名为计图。

不同于TensorFlow、Pytorch等主流深度学习框架,Jittor是一个完全基于动态编译(Just-in-time)、使用元算子和统一计算图的深度学习框架。Jittor研发团队表示,开发Jittor是为了更好地释放硬件、模型等能力。如在收敛精度一致情况下,与同类型框架相比,Jittor推理速度提升 10%-50% 。

目前,Jittor已经得到了国家自然科学基金项目、北京信息科学与技术国家研究中心团队项目和清华-腾讯联合实验室项目的资助和支持。

事实上, 早在2016年,百度自研的PaddlePaddle飞桨深度学习框架便打响了国产AI框架开源的第一枪,此后包括腾讯PocketFlow、阿里X-Deep Learning在内的深度学习框架均选择了开源。

不得不说,从某种意义上来看,2020年可以看作国产AI框架开源元年。

纷纷开源为哪般

不同于国内自研的AI框架进入发展期,国外AI框架早已成熟多年。且有趣的是,无论是TensorFlow、Pytorch、PaddlePaddle,还是mxnet、Keras、CNKT等,全球主流AI框架均选择了开源。

这不禁令人好奇:AI框架纷纷开源究竟为哪般?或许,了解了AI框架究竟是什么,这个问题便迎刃而解。

简单理解,在互联网时代,我们借助Windows操作系统浏览网页、办公。在当下移动互联网时代,我们借助安卓操作系统下载应用,工作生活。AI亦如此,AI也需要一个这样的“操作系统”,而这个“操作系统”便是AI框架。

可以看到, AI框架下接芯片、硬件系统,上连模型以及实际应用。这便意味着,在AI框架上掌握了主动权,便在AI上掌握了主动权。

而AI框架的主动权又在哪呢?开发者。“得开发者得天下”的结论早已不言而喻,从谷歌、苹果、微软、Facebook、华为等纷纷举办开发者大会便可看出。

开源,则是聚集开发者最简单且有效的方式。对推出AI框架的公司或者组织机构而言,通过将AI框架开源,借助开发者的力量可以提升代码的质量以及AI框架的易用性。

最重要的是, 通过开源掌握了开发者,便掌握了AI框架生态的主动权,进而提升AI框架贡献者在整个AI框架界的地位。

TensorFlow便是一个例子。从2015年11月谷歌宣布将TensorFlow开源,四年多的时间里,这一AI框架已成为GitHub最活跃的项目之一。GitHub发布的2019年度报告显示,在贡献者最多的TOP10开源项目中,TensorFlow排名第五。且仅2018年便有4.6万个项目依赖于TensorFlow。TensorFlow在开发人数、贡献人数、受欢迎程度、谷歌搜索量等多个方面都遥遥领先其他AI框架。

这给谷歌带来的是,TensorFlow已被公认为业界数一数二的AI框架,被众多知名公司、组织、创企使用。且这样的形式使得谷歌间接“招募”了众多开发者。

MindSpore“生来不易”

理解了这些,自然也就明白华为为何要做AI框架以及为何选择将MindSpore开源。只有这样,华为AI战略中的“全栈”才能实现: 从底层芯片,到芯片算子库和高度自动化算子开发工具 CANN 、训练推理计算框架 MindSpore 、再到全流程服务(ModelArts)一步到位。

也只有借助MindSpore连接,包括公有云、私有云、各种边缘计算、物联网行业终端以及消费类终端等全场景的部署环境才能实现,即华为AI战略中的“全场景”。

可见,MindSpore这一AI框架对华为的重要性。但必须承认的是,从全球视野来看,华为切入AI框架的时间稍显晚,且开源的时间更晚。这便意味着,华为想要在一个近乎成熟的市场做出些动静并不容易。

这是因为,无论是TensorFlow、Pytorch、PaddlePaddle,还是mxnet、Keras、CNKT,这些市面上流行的AI框架早已被开发者优化多遍,性能足够使用。对于企业或者开发者而言,没必要为了“尝鲜”而放弃已经能熟练应用的AI框架,去重新学习一个新的AI框架,尤其对于企业而言。

由此也引出MindSpore的社区问题。只有MindSpore的社区足够活跃,开发者足够支持,MindSpore才能越来越成熟。华为云与计算BG总裁侯金龙在HDC 2020(Cloud)上透露,华为沃土计划已聚集160万的开发者,但并不清楚有多少开发者聚焦MindSpore。

抛开谷歌和Facebook,看国内百度,公开数据显示,百度PaddlePaddle已累计服务超过150万开发者,其中企业用户超过6.5万,在定制化训练平台上发布了16.9万个模型。Github也数据显示,PaddlePaddle在Github上的star数为1.02万,fork数达2700,提交超过2.5万commits。

其次,正如AI框架承上启下的作用一般,要想一款AI框架的易用性持续提升,除了对框架自身的优化,还要与上下游厂商一起,共同对这个AI框架生态进行优化。以微软、Facebook为例,这两家AI框架的重要参与者在2017年便携手AWS发起了深度学习开源联盟ONNX,这一联盟吸引了AMD、ARM、NVIDIA、INTEL、高通、HPE、IBM、百度、腾讯、阿里、MathWork、CEVA、Synopsys等企业在内的众多芯片及服务器厂商、互联网厂商、以及专业软件和集成电路公司。

华为也参与了这一联盟。但华为当时尚未公布AI战略,或许更多是以服务器厂商身份参与。这就引发一个问题,华为能否在ONNX中围绕MindSpore进行整个生态的协同优化,或者自行建立另一个“ONNX”呢?

内外在优势并存

尽管MindSpore要想成功面临不少的难题,但有句话这样说到:万事皆开头难。值得关注的是,MindSpore蕴含着不少闪光点。

一方面,MindSpore自身的技术特性。当下,评判一款AI框架是否好用,方便上手、快速部署、功能完备是最基本的需求。而对于新的AI框架而言,不仅不能有明显的短板,还要有亮眼的强项。这一点,MindSpore做到了。

华为在宣传MindSpore时用了下面三个短句:开发态友好、运行态高效以及部署态灵活。这样的呈现效果,源于MindSpore的新编程范式、新执行模式以及按需协同的核心设计理念。直观表示的话,对开发者而言,这样的创新使得代码编写量减少20%,效率提升50%。

另一方面,华为自身为MindSpore构建的小生态。尽管MindSpore在整个业界的生态才刚刚起步,但MindSpore与华为全栈全场景AI中的其他组成部分已充分融合。在此可重点关注昇腾AI处理器和ModelArts Pro。

仔细了解ONNX的话会发现,在这一深度学习开源联盟中,有一家重要的AI框架提供者没有参与——谷歌。谷歌之所以没参与,一个原因就是谷歌自己也构建了一个小生态,其中谷歌为TensorFlow量身定制的TPU发挥着不小的作用。华为亦如此。华为公开表示,通过与昇腾AI处理器的协同优化,MindSpore将更高效运行,计算性能也将提高。

在2018年华为AI战略发布时,华为便面向企业和开发者发布了一站式AI开发平台ModelArts。HDC 2020(Cloud)上伴随着MindSpore的开源,华为也发布了新一代AI开发平台ModelArts Pro。

华为将ModelArts Pro定位为企业AI生产力工具,通过将算法专家的积累和行业专家的知识沉淀在相应的套件和“行业工作流”(workflow)中,ModelArts Pro能真正实现赋能行业AI应用开发者,提升行业AI开发效率和落地效果。

用户既可以使用ModelArts Pro套件中特定行业场景的预置行业工作流满足快速定制的需求,也可以运用ModelArts Pro提供的原子组件(Atom)灵活编排新的行业工作流。基于AI市场,还可以相互分享不同行业场景的行业AI工作流。

第三便是华为汇集开发者的决心。早在2015年,华为便宣布沃土计划,表示5年内投入10亿美元,在开放能力、平台工具、培训赋能、成功孵化、创新基金五个方面持续投入,以使能和帮助开发者获得技能、加速创新、持续发展。

2019年沃土计划进入2.0阶段。投资继续加大,华为称将在5年内投入15亿美金,发展500万开发者,覆盖四个领域,分别面向高校、初创企业、开发人员及合作伙伴。

为了进一步汇集开发者,在HDC 2020(Cloud)上,侯金龙表示华为已建立了以开发者为中心的人才发展体系,从学习、训练、构建、社交4个方面全方面支持开发者。得益于此,目前,已有50多家大学加入沃土高校教研扶持。

同时,2020年华为云与计算BG将面向全球开发者招收2000名实习生,开放200个挑战性课题,并举办面向高校的“2020年华为软件精英挑战赛”、 面向企业的华为开发者大赛2020(Cloud)秋季赛。

第四则是新基建带来的机遇。人工智能被明确定为新基建七大领域之一。虽然TensorFlow、Pytorch、mxnet、Keras、CNKT等AI框架相当成熟,但“外来身份”使得这些AI框架或多或少受到影响。

尽管国内百度的PaddlePaddle发展势头良好,但整个国内的AI市场足够大,MindSpore与PaddlePaddle的竞争不会太激烈。华为构建的鲲鹏生态凭借自主优势也将推动MindSpore在国内的发展。

总结来看, MindSpore现在的不足在于AI框架市场已相对成熟,企业、开发者对现在使用的框架形成依赖,这使得MindSpore的生态、社区、开发者“拥护”不足。但能看出,这些并非什么致命缺陷。MindSpore自身特性、华为对开发者的持续投入以及新基建的机遇也将使MindSpore逐渐摆脱这些困境。

最后,跳出AI框架看开源。实际上,开源近几年已经成为整个行业大势所趋。国外前有微软75亿美元收购GitHub,后有IBM340亿美元收购红帽。国内腾讯整体开源战略路线图于2019年公布,阿里参与全球多家开源基金会及组织,并上线阿里开源网站。


« 上一篇:关于numpy中axis的理解
« 下一篇:nvidia docker centos8安装
在这里写下您精彩的评论
  • 微信

  • QQ

  • 支付宝

返回首页
返回首页 img
返回顶部~
返回顶部 img
';