8 月底，在機(jī)器之心承辦的 WAIC 2019 世界人工智能大會(huì)上，商湯科技聯(lián)合創(chuàng)始人林達(dá)華教授首次對(duì)商湯自研的深度學(xué)習(xí)框架 SenseParrots 進(jìn)行了系統(tǒng)性介紹，也暢談了對(duì) AI 技術(shù)未來發(fā)展的看法。
自 2015 年底谷歌開源深度框架 TensorFlow 以來，越來越多的科技巨頭、創(chuàng)業(yè)公司注重框架的投入與研發(fā)。而商湯科技作為國內(nèi) AI 創(chuàng)業(yè)公司的代表，自創(chuàng)辦開始就走在自研深度學(xué)習(xí)框架的道路上。
過去幾年，我們能夠或多或少的聽到商湯深度學(xué)習(xí)框架 SenseParrots 的信息，但因?yàn)樵摽蚣懿⑽撮_源而無法有系統(tǒng)性的了解。在不久之前的 WAIC 2019 開發(fā)者日深度學(xué)習(xí)框架分論壇上，商湯科技聯(lián)合創(chuàng)始人林達(dá)華教授首次對(duì)外系統(tǒng)性的介紹 SenseParrots，解讀了該自研框架的核心技術(shù)模塊。
以下是機(jī)器之心對(duì)林達(dá)華老師演講內(nèi)容的梳理：
各位朋友，非常感謝機(jī)器之心今天舉辦這個(gè)論壇，讓對(duì)深度學(xué)習(xí)框架感興趣的朋友能夠匯聚在黃浦江邊一起共論深度學(xué)習(xí)未來發(fā)展。今天我也非常有幸在這里跟大家分享商湯科技這方面的工作。
今天，我想利用這個(gè)機(jī)會(huì)跟大家講一個(gè)故事，一個(gè)關(guān)于商湯原創(chuàng)的故事。
在這個(gè)故事里，我將向大家分享我們?nèi)绾巫呱献约貉邪l(fā)深度學(xué)習(xí)框架的道路，如何一步步地把這樣一個(gè)技術(shù)框架發(fā)展成為一個(gè)工業(yè)級(jí)的算法生產(chǎn)平臺(tái)，為商湯以 AI 技術(shù)賦能百業(yè)的愿景提供有力的支撐。
在過去的這幾年，人工智能技術(shù)突飛猛進(jìn)地發(fā)展，給我們的社會(huì)、生活帶來了巨大的變化。但是人工智能的成功，在我看來不是單一要素的結(jié)果。在這個(gè)成功的背后，它是深度學(xué)習(xí)算法的改進(jìn)、GPU 提供的高性能算力，以及大數(shù)據(jù)這三個(gè)重要的要素歷史性的匯聚在一起，所產(chǎn)生的爆發(fā)。
如果我們回顧深度學(xué)習(xí)在過去七八年波瀾壯闊的發(fā)展歷史，我們會(huì)看到這背后有一系列的標(biāo)志性事件。
在 2012 年的時(shí)候，AlexNet 獲得了 ImageNet 比賽的冠軍，震驚了整個(gè)計(jì)算機(jī)視覺。在此之后，很多的研究小組投入到深度學(xué)習(xí)模型結(jié)構(gòu)的研發(fā)，一系列更加先進(jìn)的模型結(jié)構(gòu)涌現(xiàn)出來，把圖像識(shí)別的準(zhǔn)確率提高到一個(gè)歷史性的高度。到了 2017 年，深度學(xué)習(xí)在自然語言領(lǐng)域取得了新的突破性的進(jìn)展。到了 2019 年，從頭開始訓(xùn)練的 AlphaGo Zero 橫空出世。
如果我們從一個(gè)更長的時(shí)間尺度來看，我們會(huì)看到，這一系列成功故事的背后還蘊(yùn)含著另外一層重要的趨勢(shì)，就是它們所需要的計(jì)算能力的指數(shù)式的增長。從 AlexNet 到 AlphaGo Zero，在短短的五六年時(shí)間里面，對(duì)算力需求增長了超過三十萬倍，可以說這幾年深度學(xué)習(xí)的成功，人工智能的爆發(fā)，在一定程度上就是把算力連接到有價(jià)值的產(chǎn)業(yè)應(yīng)用所促成的結(jié)果。
而深度學(xué)習(xí)框架就是這種連接最核心的樞紐。
商湯也在這一個(gè)人工智能浪潮里面，取得了巨大的成功。在過去幾年走到今天，成為了人工智能領(lǐng)域領(lǐng)先的企業(yè)，而這背后最重要的核心，在我看來就是兩個(gè)字，原創(chuàng)。
在 2012 年的時(shí)候，當(dāng)時(shí) CVPR 總共只有兩篇是關(guān)于深度學(xué)習(xí)的，而這兩篇都來自于我們實(shí)驗(yàn)室。到了 2013 年，ICCV 有八篇 paper 關(guān)于深度學(xué)習(xí)，其中六篇來自于我們實(shí)驗(yàn)室。正因?yàn)槲覀儗?shí)驗(yàn)室把深度學(xué)習(xí)引入計(jì)算機(jī)視覺的先驅(qū)性，我們?cè)?GTC 2016 年被評(píng)為全世界深度學(xué)習(xí)十大先驅(qū)的實(shí)驗(yàn)室之一。我想這段小歷史，也能夠很好的詮釋了商湯人所說的原創(chuàng)精神。
原創(chuàng)之路風(fēng)光無限，但是它的背后也蘊(yùn)含了無限的艱辛，在我們一開始做深度學(xué)習(xí)的時(shí)候，那時(shí)候的環(huán)境和現(xiàn)在非常不一樣，沒有 TensorFlow、沒有 PyTorch、連 GPU 都沒有。在那個(gè)時(shí)候，我們是依靠著人工手寫的一行行 C++ 代碼，完成整個(gè)神經(jīng)網(wǎng)絡(luò)的計(jì)算。每一個(gè)模型的訓(xùn)練都需要一兩個(gè)月的時(shí)間。
正是在這樣一個(gè)艱辛的環(huán)境下面，我們打開了把深度學(xué)習(xí)應(yīng)用于計(jì)算機(jī)視覺的道路。也正是在這樣一個(gè)艱辛的環(huán)境里面，我們深切的體會(huì)到一個(gè)好的框架對(duì)于 AI 基礎(chǔ)核心性的作用。于是 2014 年，從商湯科技創(chuàng)辦的第一天開始，我們就下定了決心要走自研深度學(xué)習(xí)框架的道路。
SenseParrots 發(fā)展歷程
我們把自己研發(fā)的深度學(xué)習(xí)框架，命名為 Parrots，這背后寄托了我們對(duì)它良好的祝愿，聰明、美麗而又能夠自由的飛翔。
從那時(shí)候開始，Parrots 跟商湯共同成長，經(jīng)歷了五年的發(fā)展。2015 年的時(shí)候，幾乎與 TensorFlow 同時(shí)，我們發(fā)布了第一版的 SenseParrots。那時(shí)候它已經(jīng)具備了多機(jī)多卡聯(lián)合訓(xùn)練和多路徑執(zhí)行的領(lǐng)先業(yè)界的特性。之后又經(jīng)過了三年的發(fā)展，我們于去年內(nèi)部發(fā)布了 SenseParrots 的第二代。在這一代它不但具有了一系列更加重要的特性，具備了更豐富的能力和更高的性能，而且也逐漸成為了商湯賦能 AI 產(chǎn)業(yè)的戰(zhàn)略支撐。
首先，簡單的回顧一下我們第一代（三年前）SenseParrots。SenseParrots 在 2015 年出來的時(shí)候，已經(jīng)具備了超越當(dāng)時(shí)開源框架的卓越性能，它在業(yè)界率先實(shí)現(xiàn)了在 64 個(gè) GPU 上接近線性的拓展。而且它通過極致的內(nèi)存優(yōu)化，允許一個(gè)超大型的模型在單個(gè) GPU 上進(jìn)行訓(xùn)練。
正是在這樣一個(gè)框架上面，我們訓(xùn)練出了 1207 層的超大型卷積神經(jīng)網(wǎng)絡(luò)，這個(gè)網(wǎng)絡(luò)就叫 PolyNet，取得了當(dāng)時(shí)圖像識(shí)別性能的世界記錄，并且把這個(gè)記錄保持了一年時(shí)間。在這樣強(qiáng)有力的網(wǎng)絡(luò)支持下，我們?cè)谝幌盗械谋荣悾?ImageNet、ActivityNet，取得了一系列的冠軍。
雖然我們?nèi)〉昧艘恍┏煽儯俏覀冋f，深度學(xué)習(xí)、人工智能這個(gè)領(lǐng)域是一個(gè)快速發(fā)展的領(lǐng)域，如果我們不能夠有效的把握這個(gè)領(lǐng)域發(fā)展的趨勢(shì)，有一天我們會(huì)落后于時(shí)代發(fā)展的潮流。從 2015 年開始，我們繼續(xù)觀察深度學(xué)習(xí)的發(fā)展，發(fā)現(xiàn)這個(gè)領(lǐng)域有一個(gè)根本性的重要的變化，就是深度學(xué)習(xí)技術(shù)已經(jīng)走出了實(shí)驗(yàn)室，走向了更廣泛的產(chǎn)業(yè)落地。
與此同時(shí)，在技術(shù)層面，也發(fā)生了很多深刻的變化。
首先，越來越多的研究員，越來越多的工程師，開始使用動(dòng)態(tài)模型來表達(dá)復(fù)雜的計(jì)算邏輯，而不再依賴于靜態(tài)的網(wǎng)絡(luò)結(jié)構(gòu)；
深度學(xué)習(xí)模型開始走出了實(shí)驗(yàn)室的機(jī)房，落地到了越來越多樣化的設(shè)備里面，包括車載設(shè)備、手機(jī)攝像頭、機(jī)器人等；
我們對(duì)于算法的需求，從單一的追求大模型、高精度，變成了去追求更重要更有價(jià)值的事情，就是在真正的產(chǎn)品上落地，所以在這個(gè)時(shí)候我們會(huì)更加關(guān)注性能跟成本的平衡。這樣新的追求下面，一系列新的成果，包括專門為移動(dòng)端設(shè)計(jì)的 MobileNet，包括量化壓縮等降低模型成本的技術(shù)，成為了熱門的技術(shù)。
最后，我們的深度學(xué)習(xí)研發(fā)是通過研究員進(jìn)行的。因此，研究員的生產(chǎn)力制約了我們這個(gè)領(lǐng)域的發(fā)展。為了提高研究員的研發(fā)效率，越來越多的自動(dòng)化方法應(yīng)運(yùn)而生，包括網(wǎng)絡(luò)結(jié)構(gòu)搜索，包括自動(dòng)設(shè)計(jì)損失函數(shù)。
所以歸納起來，在過去這幾年的發(fā)展，一個(gè)很重要的趨勢(shì)，就是我們從單一的性能追求變成了更加多元的價(jià)值追求。這樣多元的價(jià)值追求，它給深度學(xué)習(xí)框架的發(fā)展提供了一個(gè)巨大的空間。與此同時(shí)我們也看到，國際主流的開源的平臺(tái)，包括 TensorFlow、PyTorch，也逐漸成熟，形成了成熟的社區(qū)生態(tài)。而且它們的性能也能滿足大部分常規(guī)應(yīng)用的需求。
可是為什么在這樣的情況下，我們依然要堅(jiān)持自主研發(fā)深度學(xué)習(xí)框架的道路？這是因?yàn)槲覀冊(cè)诋a(chǎn)業(yè)落地過程中發(fā)現(xiàn)，這些開源的框架主要是面向普及應(yīng)用進(jìn)行研發(fā)的。真正的 AI 工業(yè)化應(yīng)用面前，它們依然有著巨大的差距。
在商湯內(nèi)部的工業(yè)化的產(chǎn)業(yè)落地的業(yè)務(wù)里面，我們經(jīng)常要表達(dá)邏輯非常復(fù)雜的模型，要把這個(gè)模型在數(shù)百張、上千張的 GPU 的大規(guī)模并行環(huán)境中進(jìn)行訓(xùn)練。這樣的環(huán)境里面，開源框架不能夠?yàn)槲覀兲峁┳銐虻男阅堋Ａ硗馕覀円盐覀冇?xùn)練出來的模型，放在很多樣化的設(shè)備里面，各種各樣的手機(jī)、IoT 設(shè)備、機(jī)器人。而現(xiàn)有的開源框架，對(duì)于多元化的設(shè)備的支持是非常有限的，嚴(yán)重不足的。而且它們訓(xùn)練出來的模型，離投入具體的業(yè)務(wù)場(chǎng)景的部署依然有著非常長的路要走，中間要經(jīng)歷非常復(fù)雜的環(huán)節(jié)，而這種復(fù)雜的環(huán)節(jié)，從根本上制約了我們研發(fā)的效率和迭代的速度。
我們商湯的愿景，是要以 AI 技術(shù)賦能百業(yè)，所以我們別無選擇，必然要面對(duì)這樣的挑戰(zhàn)。在這些問題對(duì)于我們來說是巨大的挑戰(zhàn)，但是對(duì)于自研深度學(xué)習(xí)框架來說也是一個(gè)重要的機(jī)遇。
商湯經(jīng)過過去將近五年的發(fā)展，已經(jīng)把業(yè)務(wù)拓展到了十幾個(gè)不同的業(yè)務(wù)線，我們給數(shù)以百計(jì)的大型的企業(yè)進(jìn)行 AI 產(chǎn)業(yè)賦能，正是這樣廣泛而深度的落地實(shí)踐給深度學(xué)習(xí)框架的研發(fā)提供了非常豐沃的土壤。在這個(gè)土壤上面，我們能深切的認(rèn)識(shí)到 AI 產(chǎn)業(yè)化第一線的需求和最大的痛點(diǎn)是什么。在這樣的土壤上面，我們走出了自己差異化發(fā)展的道路。所以產(chǎn)業(yè)落地的過程當(dāng)中，我們?yōu)橄乱淮疃葘W(xué)習(xí)框架，定義了新的發(fā)展目標(biāo)。具體來說有三點(diǎn)。
第一，就是我們要支持商湯業(yè)務(wù)范疇里面的工業(yè)級(jí)的應(yīng)用，其中包括很多具有非常復(fù)雜的動(dòng)態(tài)邏輯的大規(guī)模模型的并行訓(xùn)練。
第二，我們?cè)谖覀儽姸嗟亩嘣穆涞貓?chǎng)景里面，對(duì)我們的模型進(jìn)行極致優(yōu)化，構(gòu)建我們?cè)谶@些場(chǎng)景里面的核心競(jìng)爭力，這不僅是算法精度，也包括模型運(yùn)行的性能。
第三，就是剛剛說到的，我們也非常關(guān)注研究員的生產(chǎn)效率，所以在我們新一代的訓(xùn)練框架研發(fā)里面，非常重要的一個(gè)目標(biāo)就是關(guān)注生產(chǎn)力的提升。通過把數(shù)據(jù)采集、模型的訓(xùn)練和部署，以及到最后在業(yè)務(wù)場(chǎng)景上面應(yīng)用的全鏈條進(jìn)行打通，聯(lián)合優(yōu)化。這樣能夠非常有效地提高研究員的生產(chǎn)效率，加快我們產(chǎn)品迭代的速度。
這就是現(xiàn)在商湯的整個(gè)的平臺(tái)的技術(shù)架構(gòu)。我們看到最底層是我們的基礎(chǔ)系統(tǒng)，它提供包括存儲(chǔ)、網(wǎng)絡(luò)、虛擬化、調(diào)度等基礎(chǔ)系統(tǒng)的能力。在這個(gè)系統(tǒng)基礎(chǔ)之上，我們建立了我們新一代的 SenseParrots，它包含了從表達(dá)、編譯與調(diào)度、計(jì)算、通信以及最終連接到模型部署的一系列的關(guān)鍵技術(shù)模塊。
再往上，我們構(gòu)建了算法工具鏈，它沉淀了商湯在這過去五年所凝練出來的很多業(yè)界最先進(jìn)的算法。最上層是我們的垂直應(yīng)用平臺(tái)，通過對(duì)于這些算法進(jìn)行組合、重構(gòu)，我們構(gòu)造出了適應(yīng)各個(gè)行業(yè)落地的垂直平臺(tái)，真正的賦能百業(yè)。
關(guān)鍵技術(shù)模塊解讀
接下來我將對(duì) SenseParrots 的一些關(guān)鍵技術(shù)模塊做一個(gè)簡要的講解。
動(dòng)態(tài)編譯與調(diào)度
SenseParrots 的核心是一個(gè)動(dòng)態(tài)的編譯與調(diào)度引擎，這也是 SenseParrots 最重要的技術(shù)特色。當(dāng)一個(gè)計(jì)算過程進(jìn)來的時(shí)候，我們通過這樣一個(gè)引擎，首先把它動(dòng)態(tài)地實(shí)時(shí)編譯成為可以執(zhí)行的中間代碼，然后通過一個(gè)可以高并發(fā)的執(zhí)行引擎，在大規(guī)模的并行環(huán)境中執(zhí)行。
我們知道現(xiàn)在主流的訓(xùn)練框架有兩種，一種是對(duì)于靜態(tài)的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行預(yù)編譯，讓它能夠真正大規(guī)模的并行；另外一種就以 PyTorch 為代表，對(duì)一個(gè)動(dòng)態(tài)的計(jì)算過程進(jìn)行解釋性的運(yùn)行。
而 SenseParrots 在這一點(diǎn)上面，有所不同，它走的是動(dòng)態(tài)實(shí)時(shí)編譯的道路。所有的代碼，都是在運(yùn)行過程當(dāng)中即時(shí)編譯，并且放到引擎上大規(guī)模地并行執(zhí)行。這就讓它具備了像傳統(tǒng)的靜態(tài)深度網(wǎng)絡(luò)的伸縮性，同時(shí)也具備了當(dāng)代的動(dòng)態(tài)編程模型的靈活性。達(dá)到了這兩者最佳的組合。
從上圖我們可以看到，在很多的主流的模型上面，我們相比另外一個(gè)原生支持動(dòng)態(tài)模型的框架 PyTorch，有了一個(gè)明顯的性能提高，尤其是在 64 卡大規(guī)模并行的環(huán)境下。
核心計(jì)算庫
對(duì)每一個(gè)算子的具體執(zhí)行，有一個(gè)我們自己研發(fā)的核心計(jì)算庫 PPL（Parrots Primitive Library）。在這個(gè)計(jì)算庫里面，我們對(duì)于超過一百個(gè)算子在十多種不同的架構(gòu)上進(jìn)行了極致的優(yōu)化，它們支持了很多商湯業(yè)務(wù)里面非常重要的算子。
我們可以在這里看到，在多個(gè)不同的架構(gòu)上面，對(duì)多個(gè)不同的算子我們?nèi)〉昧吮仍瓘S提供的算子服務(wù)顯著的高性能。經(jīng)過過去幾年的迭代，我們的計(jì)算庫達(dá)到了真正的工業(yè)級(jí)的可靠性，正在支持商湯全線產(chǎn)品的落地。
算子編譯工具鏈
剛才說到對(duì)這一百多個(gè)重點(diǎn)的算子，我們手工進(jìn)行了極致的優(yōu)化。但還有很多的算子我們沒有足夠的人力進(jìn)行同樣深入的優(yōu)化，所以我們同時(shí)建設(shè)了一套算子編譯工具鏈。通過這個(gè)鏈條，我們可以對(duì)于長尾的算子進(jìn)行優(yōu)化，這個(gè)鏈條集成了很多種不同的優(yōu)化方式，保證了自動(dòng)輸出的算子依然具備了具有競(jìng)爭力的高性能，而且也大大的提高了算子優(yōu)化的效率。
核心通信引擎
除了計(jì)算以外，對(duì)于并行訓(xùn)練來說另一個(gè)重要的核心的組件，就是通信。
在商湯內(nèi)部的訓(xùn)練框架里面，我們并不依賴外部提供的通信庫。我們有自己的核心通信引擎，里面實(shí)現(xiàn)了一系列的領(lǐng)先的先進(jìn)的性能，包括通過塊狀稀疏；還有通信的延時(shí)合并，能大大地節(jié)省通信量，提高了在大規(guī)模并行情況下的通信效率。
此外，我們通信庫還提供了很多與生產(chǎn)環(huán)境緊密關(guān)聯(lián)、非常有用的性能，包括我們對(duì)于兩萬個(gè) GPU 的大型集群提供實(shí)時(shí)的性能檢測(cè)。在這時(shí)候我們看到哪個(gè) GPU 變慢哪個(gè) GPU 變快了，實(shí)時(shí)地調(diào)節(jié)訓(xùn)練任務(wù)的部署；而且它允許動(dòng)態(tài)的增刪設(shè)備。大家可以想象，在一個(gè)超大規(guī)模的集群里面，各種單獨(dú)的設(shè)備變慢或者故障，是時(shí)常發(fā)生的事情，我們不能讓這樣的故障讓大型的訓(xùn)練任務(wù)被停下來，所以我們提供了動(dòng)態(tài)設(shè)備調(diào)整的功能。
這樣的通信引擎支持下，我們實(shí)現(xiàn)了在 512 卡同步進(jìn)行訓(xùn)練的時(shí)候 86% 的并行效率。
部署工具鏈
在模型訓(xùn)練出來之后，最后的一個(gè)環(huán)節(jié)就是把訓(xùn)練出來的模型部署到業(yè)務(wù)場(chǎng)景。在這里面其實(shí)是有一系列工序的。如果在實(shí)驗(yàn)室發(fā) paper，我們不需要做這樣的事情，但是在一個(gè)工業(yè)生產(chǎn)環(huán)節(jié)，這里面每個(gè)環(huán)節(jié)都是必不可少、非常重要的。
所以 SenseParrots 還提供了一系列的工具，包括模型量化工具；部署模擬器，它能夠在訓(xùn)練過程中模擬模型在各種設(shè)備上性能；還提供了專用的網(wǎng)絡(luò)結(jié)構(gòu)搜索的工具，在特定計(jì)算約束條件搜索下一個(gè)最高性能的模型；還提供了包括模型剪枝壓縮、模型轉(zhuǎn)換等工具，讓訓(xùn)練出來的模型能夠無縫的銜接到我們生產(chǎn)部署的環(huán)境中。
正是在這一系列的工具的支持下，我們建立起來了新一代的 Parrots。在這個(gè)上面，我們使用了 512 張 V100，獲得了迄今為止業(yè)界最快的訓(xùn)練的速度，實(shí)現(xiàn)了 1.5 分鐘訓(xùn)練達(dá)到 90 輪（epoch），在業(yè)界率先實(shí)現(xiàn)了每秒訓(xùn)練一輪的訓(xùn)練速度，這大大加快了我們內(nèi)部大型模型的迭代速度，也提高了商湯的核心競(jìng)爭力。
端上訓(xùn)練
除了技術(shù)性能的提升之外，我們也在多個(gè)層面、多個(gè)領(lǐng)域，進(jìn)行積極的創(chuàng)新，走自己不同于別人的道路。比如現(xiàn)在主流的 AI 研發(fā)主要是把模型應(yīng)用在這些設(shè)備上面進(jìn)行推理。但是我們也開始了在端上進(jìn)行訓(xùn)練的研發(fā)，在業(yè)界率先落地了我們第一個(gè)在端上進(jìn)行訓(xùn)練的框架，現(xiàn)在已經(jīng)投入到實(shí)際產(chǎn)品當(dāng)中使用。
AI 集成研發(fā)環(huán)境
最后一個(gè)，這是一個(gè)上層應(yīng)用框架，但是它對(duì)于提供 AI 研發(fā)的生產(chǎn)效率至關(guān)重要。正如剛才提到的，在工業(yè)化的 AI 生產(chǎn)環(huán)境里面流程非常復(fù)雜，需求多樣。在這個(gè)時(shí)候，如果用傳統(tǒng)的方式去運(yùn)行整個(gè) AI 研發(fā)的流程是非常低效的。所以我們也研發(fā)了這個(gè) AI 集成研發(fā)環(huán)境，它具有全生命周期的管理能力，集成了很多模型生產(chǎn)的工具和組件，能夠自動(dòng)化地執(zhí)行研發(fā)和業(yè)務(wù)流程。而且它為研究員提供了一個(gè)一站式的非常友好的研發(fā)環(huán)境，大大提高了他們的工作效率。
開源設(shè)想
正如我剛才所說，商湯內(nèi)部的平臺(tái)研發(fā)主要專注于工業(yè)級(jí)的產(chǎn)業(yè)化賦能。但是我們?cè)谘邪l(fā)的過程當(dāng)中，也從社區(qū)里面獲益。我們深信，跟開源社區(qū)的互動(dòng)和緊密銜接，是商湯平臺(tái)未來持續(xù)具有生命力的活力的源泉。
所以從去年開始，我們?cè)谥鸩皆O(shè)想了一個(gè)開源的路線，整個(gè)開源路線可以分為三步，是一個(gè)從外到內(nèi)三步走的過程。我們會(huì)首先在算法層面進(jìn)行開源，然后逐漸深入到一系列的外圍工具，最后我們?cè)诤线m的時(shí)候，會(huì)把基礎(chǔ)框架的一些技術(shù)開源出來。
剛才提到了開源，我們已經(jīng)有了實(shí)實(shí)在在的工作，以商湯的聯(lián)合實(shí)驗(yàn)室 MMLab 開始我們逐漸把這幾年積累下來的很多業(yè)界學(xué)界領(lǐng)先的算法開源出來，包括我們開源了 MMCV、MMDetection 等一系列的開源庫，這些融會(huì)了商湯以及聯(lián)合實(shí)驗(yàn)室過去幾年研究的精華。其中 MMDetection 目前已經(jīng)有超過六千顆星，在學(xué)界已經(jīng)形成了非常廣泛的影響。
AI 模型生產(chǎn)的未來趨勢(shì)
正如我剛才所說，技術(shù)的發(fā)展，最重要的就要把握未來的趨勢(shì)。我們自己判斷 AI 的發(fā)展，必然會(huì)經(jīng)歷三個(gè)主要的發(fā)展階段，從實(shí)驗(yàn)室走向大規(guī)模的工業(yè)賦能，然后從工業(yè)賦能走向全社會(huì)。我們憧憬，未來十年 AI 的發(fā)展一定會(huì)讓我們每一個(gè)行業(yè)每一個(gè)人都能從 AI 的技術(shù)賦能中獲益，把整個(gè)社會(huì)連接起來，成為整個(gè)社會(huì)的基礎(chǔ)設(shè)施，這就是我們所說的 AI 的普及。我們已經(jīng)經(jīng)歷了從實(shí)驗(yàn)室到工業(yè)化的道路，我們面向未來就是從工業(yè)化到普及化邁進(jìn)。
具體來說，我覺得有三個(gè)重要的趨勢(shì)想向大家分享。
首先是隨著隱私保護(hù)的加強(qiáng)與數(shù)據(jù)價(jià)值的彰顯，AI 模型的生產(chǎn)形態(tài)將會(huì)從集中訓(xùn)練逐漸向多主體的形態(tài)演進(jìn)，這里每個(gè)主體各自擁有自己的數(shù)據(jù)和模型，與其它主體進(jìn)行交互，而聯(lián)邦學(xué)習(xí)正是這個(gè)長期趨勢(shì)的起點(diǎn)。
第二，現(xiàn)在商湯內(nèi)部已經(jīng)形成了企業(yè)內(nèi)的 AI 生產(chǎn)鏈的分工，我們相信隨著這個(gè)技術(shù)的發(fā)展，AI 將成為一個(gè)社會(huì)性的大規(guī)模分工產(chǎn)業(yè)。就像幾十年前集成電路一樣，當(dāng)時(shí)只是一個(gè)小的實(shí)驗(yàn)室可以完成的一個(gè)流程，現(xiàn)在變成了非常大范圍的社會(huì)分工。而 AI 同樣將走這樣的道路，每個(gè)環(huán)節(jié)都將孕育出一大批富有競(jìng)爭力的企業(yè)，這些企業(yè)之間，將通過標(biāo)準(zhǔn)化的協(xié)議進(jìn)行溝通。
第三，隨著 AI 更加廣泛的產(chǎn)業(yè)落地，它將進(jìn)入到更多的設(shè)備，更多的場(chǎng)景，連接更多的人，從而構(gòu)成一個(gè)更加豐富多彩的 AI 世界。
最后我們憧憬十年之后，在我們的世界里面，AI 將會(huì)無處不在。在這樣的世界里面，AI 不會(huì)取代人類，但是它將在我們的生活，在我們的工作，在我們的世界的方方面面，成為我們最可信賴的助手。我們正在朝著這樣的愿景，朝著這樣的目標(biāo)努力，也希望與在座的各位共勉，謝謝大家。
來源 | 機(jī)器之心
演講 | 林達(dá)華
