近年來(lái),隨著深度學(xué)習(xí)和云計(jì)算的不斷發(fā)展,AI開(kāi)源逐漸成為眾多開(kāi)發(fā)者談?wù)摰暮诵模渲匾燥@著提升。AI開(kāi)源引領(lǐng)著各項(xiàng)技術(shù)應(yīng)用向前,而技術(shù)應(yīng)用又進(jìn)一步促進(jìn)AI開(kāi)源的發(fā)展。
4月11日,OpenI啟智社區(qū)特邀本社區(qū)技術(shù)委員會(huì)委員、華為昇騰開(kāi)源生態(tài)總監(jiān)黃之鵬老師作客由OpenI和InfoQ聯(lián)合推出的《人工智能開(kāi)源錄》直播訪談欄目,解碼“AI開(kāi)源的技術(shù)應(yīng)用與未來(lái)趨勢(shì)”。
一、個(gè)人經(jīng)歷及對(duì)開(kāi)發(fā)者的建議
黃之鵬老師介紹自己接觸過(guò)很多開(kāi)源社區(qū),初入華為公司時(shí)接觸的是云計(jì)算開(kāi)源的相關(guān)社區(qū),比如OpenStack,OpenDaylight,OpenVswitch,以及云原生Kubernetes社區(qū)。從2019年下半年開(kāi)始,便開(kāi)始負(fù)責(zé)MindSpore整個(gè)開(kāi)源社區(qū)的建設(shè)。
陰錯(cuò)陽(yáng)差與AI結(jié)緣
做通信出身的黃老師介紹自己一開(kāi)始接觸的是比如快速傅里葉變換的這些領(lǐng)域,本應(yīng)該是去到華為的無(wú)線部門,卻陰差陽(yáng)錯(cuò)與云計(jì)算結(jié)緣。
黃老師說(shuō)數(shù)學(xué)是他與AI之間的一個(gè)連接點(diǎn)。早在他讀碩士期間,他接觸過(guò)一個(gè)無(wú)線傳感網(wǎng)的項(xiàng)目,為了設(shè)計(jì)一套比較好的預(yù)測(cè)網(wǎng)絡(luò)擁塞的協(xié)議,當(dāng)時(shí)在用卡爾曼濾波器(Kalman Filter)的工具去實(shí)現(xiàn)算法過(guò)程中,黃老師發(fā)現(xiàn)它與深度學(xué)習(xí)的很多原理有著類似。四五年前的AI熱潮下,黃老師開(kāi)始正式接觸AI。由于曾經(jīng)深入地看過(guò)一系列AI相關(guān)的論文,黃老師發(fā)現(xiàn),人工智能研究涉及的很多關(guān)于數(shù)學(xué)的推導(dǎo)、演算,與做通信出身的他所接受到的數(shù)學(xué)的訓(xùn)練非常類似。這些經(jīng)歷促使黃老師比較快速的從一個(gè)門外漢入門AI。
開(kāi)源初心不能忘
黃老師認(rèn)為,目前國(guó)內(nèi)很多企業(yè)沒(méi)有特別處理好的一個(gè)問(wèn)題是做開(kāi)源社區(qū)的初心和期望不夠明確。大家普遍認(rèn)為做開(kāi)源社區(qū)是通過(guò)四處宣講布道來(lái)得到影響力,然而,在與開(kāi)源社區(qū)真實(shí)參與過(guò)開(kāi)發(fā)的人進(jìn)行交流時(shí),會(huì)發(fā)現(xiàn)做開(kāi)源的初心最終還是會(huì)回到“人”這個(gè)命題上。
相比有些公司為開(kāi)源設(shè)定的商業(yè)KPI這冷冰冰的數(shù)字而言,黃老師通過(guò)分享社區(qū)一個(gè)身處東北的開(kāi)發(fā)者在東北去年初雪時(shí),為從未見(jiàn)過(guò)雪的社區(qū)運(yùn)營(yíng)助手“小貓子”在雪地上寫(xiě)上她名字的有趣故事,來(lái)表達(dá)自身更關(guān)注開(kāi)源的人情溫度,也讓他感覺(jué)這是2021年成就感最強(qiáng)的事情。
同時(shí),黃老師也認(rèn)為,開(kāi)源最主要的在于動(dòng)作,一定要發(fā)自內(nèi)心地做對(duì)很多事,目標(biāo)自會(huì)水到渠成。黃老師回憶他接觸開(kāi)源社區(qū)初期,在北美曾發(fā)生過(guò)一件讓他印象深刻的事情,為了打造一個(gè)全球化的社區(qū),需要大家克服時(shí)差導(dǎo)致的晚睡早起、精力有限的困難。然而,美國(guó)開(kāi)發(fā)者們?cè)诿鎸?duì)來(lái)自有著時(shí)差的日本、英國(guó)和印度等國(guó)用戶的提問(wèn)時(shí),卻響應(yīng)非常快。大家在開(kāi)源時(shí)的忘我拼搏精神顛覆了對(duì)“美國(guó)人習(xí)慣懶惰,華人非常刻苦”的慣有刻板偏見(jiàn)。
開(kāi)發(fā)者建議 | 新手小白如何選擇適合自己的開(kāi)源項(xiàng)目
黃老師結(jié)合他本人的個(gè)人經(jīng)歷,建議大家選擇一個(gè)自己最熟悉或擅長(zhǎng)的領(lǐng)域,去嘗試做第一個(gè)開(kāi)源項(xiàng)目。而他當(dāng)時(shí)雖然踏進(jìn)了全然不懂的云計(jì)算行業(yè)中,但也是選擇他最熟悉的協(xié)議設(shè)計(jì)作為他第一個(gè)開(kāi)源項(xiàng)目的切入點(diǎn),然后查看相關(guān)的論文,跟隨項(xiàng)目開(kāi)例會(huì),慢慢熟悉和參加進(jìn)去。
開(kāi)發(fā)者建議 | 人工智能能量補(bǔ)給站
關(guān)于人工智能,黃老師推薦了一本由作者侯世達(dá)寫(xiě)的新書(shū)《我是個(gè)怪圈》,以及他之前最有名的、非常集大成的一本書(shū)《GEB》(集異壁),介紹三個(gè)看似不太關(guān)聯(lián)的藝術(shù)家,通過(guò)一系列問(wèn)答故事,將很多關(guān)于人工智能的理解傳承到了《GEB》書(shū)中,可以很好的幫助大家補(bǔ)充一些關(guān)于人工智能的人文周邊背景。
二、人工智能開(kāi)源生態(tài)
淺談深度學(xué)習(xí)領(lǐng)域的技術(shù)應(yīng)用與突破
深度學(xué)習(xí)框架是推動(dòng)AI應(yīng)用大規(guī)模落地的關(guān)鍵力量,在人工智能技術(shù)體系中占據(jù)非常重要的地位。那么,如何選擇一個(gè)得心應(yīng)手的深度學(xué)習(xí)框架,以及目前主流的開(kāi)源開(kāi)源的深度學(xué)習(xí)框架有哪些?
黃老師基于個(gè)人角度淺談了框架的發(fā)展簡(jiǎn)史,比如,最初的框架為淺層框架,由于大家最始接觸到的是類似Theano、Caffe這一代的框架,然而它們更多屬于工具類而非如今的框架。
從2016年開(kāi)始,大家就迎來(lái)了第二代浪潮即通用框架或較深層框架時(shí)代里的熟悉框架,比如Tensorflow, PyTorch, 和李沐老師的Apache MXnet,這一批的框架可以提供一套完整的語(yǔ)義描述,基于這些框架可以寫(xiě)出某一類任務(wù)的若干模型。
第三次浪潮便是以昇思MindSpore、谷歌的Jax為代表,而第三代框架有幾個(gè)特點(diǎn),首先是AI+科學(xué)計(jì)算的強(qiáng)能力,未來(lái)框架必備的一個(gè)能力便是能支撐深度學(xué)習(xí)和科學(xué)計(jì)算的結(jié)合。其次是基礎(chǔ)模型的研發(fā),作為新一代的框架,它需要能支持訓(xùn)練基礎(chǔ)模型,且是面對(duì)某一領(lǐng)域具備很強(qiáng)泛化性和基礎(chǔ)能力的模型。第三個(gè)是全場(chǎng)景,由于整個(gè)AI應(yīng)用的范疇在多個(gè)場(chǎng)景都會(huì)出現(xiàn),新一代的框架需要在很多個(gè)不同的場(chǎng)景下,基于一套框架便可以支持開(kāi)發(fā)AI應(yīng)用。
總的來(lái)說(shuō),就是經(jīng)過(guò)三波浪潮,目前,深度學(xué)習(xí)框架的已經(jīng)發(fā)展到了能夠與科技深度結(jié)合,支持基礎(chǔ)模型的研發(fā),支持全場(chǎng)景,面對(duì)不同場(chǎng)景具備生成能力。
支持全場(chǎng)景覆蓋的MindSpore版本迭代經(jīng)歷
MindSpore目前已經(jīng)到了1.6版本,黃老師介紹版本迭代的時(shí)間比較固定,大致有兩個(gè)階段,而在開(kāi)源的第一年,也就是2020年是最瘋狂的時(shí)候,基本一個(gè)月就發(fā)布一個(gè)可商用的版本。在發(fā)布了1.0這個(gè)對(duì)用戶而言可以放心使用的版本之后,從2021年開(kāi)始,MindSpore基本上保持穩(wěn)定的一個(gè)季度發(fā)布一個(gè)版本的節(jié)奏。
目前,MindSpore可以說(shuō)是國(guó)產(chǎn)開(kāi)源項(xiàng)目的代表性案例。在這兩年的發(fā)展過(guò)程中,MindSpore都是從完全原創(chuàng)的角度為每一個(gè)版本不斷添加新的功能特性,比如圖學(xué)習(xí)、聯(lián)邦學(xué)習(xí)、增量學(xué)習(xí)等。MindSpore在過(guò)去的2年里,以盡可能最短的時(shí)間迅速夯實(shí)基礎(chǔ),同時(shí)也在不斷推出非常有競(jìng)爭(zhēng)力的東西。
MindSpore開(kāi)源治理經(jīng)驗(yàn)分享
根據(jù)最新報(bào)道,昇思MindSpore今年將融入鴻蒙和歐拉生態(tài),成為內(nèi)置的 AI 引擎。昇思MindSpore 到目前,已突破140萬(wàn)用戶下載量,服務(wù)了5000+ 企業(yè),短短2年取得了傲人的成績(jī),這都跟MindSpore開(kāi)源社區(qū)的運(yùn)作與管理分不開(kāi)。
黃老師分享治理社區(qū)經(jīng)驗(yàn)時(shí),指出治理是一個(gè)非常專業(yè)的領(lǐng)域,并介紹了它的三個(gè)維度。
最重要的維度是開(kāi)放性,而MindSpore算是企業(yè)推動(dòng)開(kāi)源AI框架里,第一個(gè)采用開(kāi)放治理模式的社區(qū)。比如,社區(qū)不僅有大家都能看到的指導(dǎo)各機(jī)構(gòu)運(yùn)作的章程,還有14名橫跨中國(guó)、歐洲、英美等代表組成的全球性的技術(shù)委員會(huì),而MindSpore版本特性模塊的開(kāi)發(fā)是通過(guò)SIG(Special Interest Group)組織,所有需要跨模塊合作以解決場(chǎng)景性問(wèn)題的是通過(guò)WG(Working Group)來(lái)承載,同時(shí)也會(huì)通過(guò)大量的投票活動(dòng)收集大家的意見(jiàn)。
第二個(gè)維度是多樣性。MindSpore的多樣性體現(xiàn)在很多方面,比如,面向國(guó)內(nèi)外不同城市、不同企業(yè)、不同高校的MSG(MindSpore Study Group)這一類的開(kāi)發(fā)者社群,把開(kāi)發(fā)者都組織起來(lái)參加社區(qū)的活動(dòng)。多樣性也體現(xiàn)在社區(qū)很多的專題活動(dòng),比如,科技從業(yè)女性主題的自由分享和交流經(jīng)驗(yàn)的Women In Tech。
第三個(gè)維度是可信,企業(yè)對(duì)很多開(kāi)源軟件的使用是基于一定信任的,所以MindSpore也跟國(guó)內(nèi)很多標(biāo)準(zhǔn)組織、產(chǎn)業(yè)組織進(jìn)行了合作。通過(guò)社區(qū)治理推動(dòng)開(kāi)源項(xiàng)目和開(kāi)源社區(qū)更值得信賴。
為OpenI啟智社區(qū)深度打Call
提到OpenI啟智社區(qū),黃老師在線為它打Call。MindSpore與OpenI啟智社區(qū)有著非常緊密的合作,共同舉辦過(guò)諸如集結(jié)號(hào)這樣的開(kāi)發(fā)者活動(dòng),邀請(qǐng)來(lái)自各個(gè)高校的學(xué)生利用假期的時(shí)間集中在一起進(jìn)行MindSpore相關(guān)模型的開(kāi)發(fā)活動(dòng)。
黃老師說(shuō)他跟啟智的淵源其實(shí)要比MindSpore還要久,并介紹OpenI啟智是以鵬城實(shí)驗(yàn)室等科研機(jī)構(gòu)進(jìn)行支撐和推動(dòng)建設(shè)的國(guó)內(nèi)第一個(gè)專注人工智能開(kāi)源的非常好的社區(qū)。這對(duì)于推動(dòng)科研工作者們進(jìn)行開(kāi)源是非常難能可貴的,同時(shí),OpenI啟智社區(qū)的章程設(shè)計(jì)也有這很高的完備度,歡迎大家通過(guò)訪問(wèn)官網(wǎng)(www.hualongw.cn)進(jìn)行查看。
社區(qū)也經(jīng)常邀請(qǐng)人工智能開(kāi)源相關(guān)的專家學(xué)者進(jìn)行開(kāi)源與知識(shí)產(chǎn)權(quán)結(jié)合的講座分享,這在國(guó)內(nèi)目前依舊是非常小眾的領(lǐng)域,而它對(duì)科研院校和企業(yè)的開(kāi)源應(yīng)用非常重要。為了保護(hù)知識(shí)產(chǎn)權(quán),啟智社區(qū)在初期還建立了自己的開(kāi)源許可證,希望能探索更多符合我國(guó)國(guó)情的開(kāi)源知識(shí)產(chǎn)權(quán)管理方法。同時(shí),啟智社區(qū)有著非常多種類且名字非常有趣的開(kāi)源項(xiàng)目,比如啟智章魚(yú)、啟智珊瑚等很有深圳特色的項(xiàng)目名稱,對(duì)人工智能感興趣的人,可以在啟智社區(qū)里找到自己非常喜歡或者感興趣的項(xiàng)目。另外,OpenI啟智社區(qū)也經(jīng)常舉辦各種跟開(kāi)源相關(guān)的活動(dòng),除了集結(jié)號(hào),還有校園行系列分享活動(dòng)、開(kāi)發(fā)者大會(huì)、全國(guó)人工智能大賽等多樣化活動(dòng),推動(dòng)我國(guó)人工智能開(kāi)源發(fā)展。
三、人工智能開(kāi)源的未來(lái)發(fā)展
開(kāi)源越趨年輕化之象
目前,MindSpore社區(qū)中的布道師以及開(kāi)發(fā)者,普遍存在年輕化的趨勢(shì),且很多來(lái)自在校大學(xué)生,對(duì)于這種年輕化趨勢(shì)的現(xiàn)象,黃老師非常贊同,認(rèn)為開(kāi)源本就應(yīng)該為年輕人提供一個(gè)更廣闊的舞臺(tái),讓他們更愿意去講述分享自己的故事,讓開(kāi)源更具朝氣。同時(shí),也因?yàn)槟壳叭斯ぶ悄苁翘幱谄痫w狀態(tài)的朝陽(yáng)產(chǎn)業(yè),越來(lái)越多的高校開(kāi)設(shè)人工智能的專業(yè)以及人工智能學(xué)院,吸引了更多年輕人踏入到人工智能學(xué)科與行業(yè)。
同時(shí),黃老師也指出其中的挑戰(zhàn),即在跟商業(yè)接軌這塊,需要他們更加認(rèn)真、嚴(yán)肅對(duì)待開(kāi)源。尤其在打造專業(yè)的開(kāi)源社區(qū)時(shí),日常涉及的工作雖然枯燥,但為開(kāi)發(fā)者和企業(yè)提供的每一項(xiàng)服務(wù)都類似于在精心打造一款產(chǎn)品,需要嚴(yán)肅認(rèn)真交付和不斷迭代、復(fù)盤(pán),希望更多年輕人關(guān)注開(kāi)源是一件很專業(yè)也很嚴(yán)肅的事情。
四、直播互動(dòng)精選問(wèn)答
自動(dòng)駕駛的全面發(fā)展
直播間有小伙伴提問(wèn)關(guān)于“AI駕駛是否會(huì)全產(chǎn)業(yè)鏈發(fā)展”的問(wèn)題,黃老師認(rèn)為,對(duì)于跟人工智能或者深度學(xué)習(xí)的結(jié)合來(lái)說(shuō),自動(dòng)駕駛算得上是最全面的一個(gè)場(chǎng)景。因?yàn)樗婕吧疃葘W(xué)習(xí)幾大類任務(wù),比如對(duì)圖像做大量處理的cv類的任務(wù),以及nlp類的任務(wù)去做很多跟自動(dòng)駕駛相關(guān)的功能,還有類似交規(guī)遵從這類強(qiáng)化學(xué)習(xí)方面的任務(wù)。由于自動(dòng)駕駛本身是一個(gè)會(huì)把很多領(lǐng)域的深度學(xué)習(xí)技能都集合到一起的領(lǐng)域,所以自動(dòng)駕駛將來(lái)會(huì)形成一種全面的發(fā)展。
CV和NLP模型最終將實(shí)現(xiàn)統(tǒng)一
有小伙伴提問(wèn)黃老師如何看待CV和NLP模型統(tǒng)一的發(fā)展方向,黃老師提到最近比較火的、業(yè)界也有不少專家很看好的transformer,認(rèn)為它非常有希望能提供一套把cv類的任務(wù)和nlp類任務(wù)最終實(shí)現(xiàn)統(tǒng)一的架構(gòu)。黃老師還回憶他們之前在做有關(guān)論文的分享時(shí),發(fā)現(xiàn)如果transformer作為大一統(tǒng)架構(gòu),則意味著語(yǔ)義可以作為描述包括視覺(jué)、自然語(yǔ)言處理等一系列廣泛任務(wù)的基礎(chǔ),將很多此前只在書(shū)本上的哲學(xué)討論,一下子拉進(jìn)了現(xiàn)實(shí),它也將帶來(lái)更深遠(yuǎn)的影響。不過(guò)基于其他研究,除了transformer,也將有其他的方式來(lái)實(shí)現(xiàn)統(tǒng)一。
開(kāi)源是否能幫助國(guó)產(chǎn)深度學(xué)習(xí)框架在通往主流道路上實(shí)現(xiàn)跨越式發(fā)展
黃老師談起了他在InfoQ發(fā)布的第一篇關(guān)于“對(duì)開(kāi)源的作用應(yīng)該如何認(rèn)知”的文章,他認(rèn)為無(wú)論是深度學(xué)習(xí)框架還是人工智能,能植根于中國(guó)的依然是技術(shù)創(chuàng)新,但它還要依靠大量的科學(xué)家、工程師踏踏實(shí)實(shí)的不斷研究算法、做工程實(shí)現(xiàn),來(lái)彌補(bǔ)當(dāng)前國(guó)產(chǎn)技術(shù)的不足,推動(dòng)國(guó)產(chǎn)深度學(xué)習(xí)框架不斷迭代發(fā)展。而開(kāi)源是目前能夠看到的幫助創(chuàng)新的最佳方式,雖然它并不能幫助跨越式發(fā)展,但它能加速整個(gè)生態(tài)的成長(zhǎng)。如果用開(kāi)源的方式去幫助核心技術(shù)發(fā)展生態(tài),它帶來(lái)的最大好處就是不確定性,通過(guò)不斷引入這些規(guī)劃之外的不確定性,才能不斷加速技術(shù)創(chuàng)新和生態(tài)的成長(zhǎng)。
MindSpore的一些優(yōu)勢(shì)及差異點(diǎn)
黃老師以Jax為例與MindSpore做對(duì)比,指出Jax的主要目的是為了讓NumPy在GPU和谷歌的TPU上跑得更好,而MindSpore的優(yōu)化對(duì)象則是昇騰,這個(gè)國(guó)產(chǎn)自主研發(fā)的AI硬件。MindSpore本身支持主流的CPU、GPU,以及昇騰,尤其對(duì)昇騰有深度的優(yōu)化。它與Jax的區(qū)別在于,MindSpore優(yōu)先支持自主生產(chǎn)的AI硬件平臺(tái)性能,而MindSpore也是昇騰平臺(tái)上跑同類任務(wù)最優(yōu)的框架。其次,MindSpore是一個(gè)比較通用的支持全場(chǎng)景的框架,JAX從它的定位出發(fā),在全場(chǎng)景相關(guān)支持上目前尚未有很成熟的思路。
黃老師心得總結(jié)
黃老師結(jié)合自身從門外漢攻入人工智能領(lǐng)域的經(jīng)驗(yàn),建議想從事人工智能開(kāi)源相關(guān)的非AI專業(yè)的小伙伴們,在掌握人工智能基礎(chǔ)必備的數(shù)學(xué)技能、讀Paper的能力、找到好的工具(比如昇思MindSpore社區(qū)團(tuán)隊(duì)開(kāi)發(fā)的TinyMS)的同時(shí),排除對(duì)未知的恐懼,選擇一個(gè)像MindSpore這樣的開(kāi)源社區(qū)參與進(jìn)去,與社區(qū)專家多交流多學(xué)習(xí),從而加速自身入門人工智能的速度。