高精度+高效率：NAS的發(fā)展趨勢(shì)【VALSE Webinar】Panel實(shí)錄

編者按：神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索 (NAS)近期引起了學(xué)界和工業(yè)界的高度關(guān)注，在很多任務(wù)上都得到了應(yīng)用，尤其是計(jì)算機(jī)視覺(jué)相關(guān)的任務(wù)上。有關(guān)NAS的研究也逐漸深入，那么NAS未來(lái)的發(fā)展趨勢(shì)又是如何呢？VALSE Webinar 2020-17期邀請(qǐng)王云鶴(華為諾亞方舟實(shí)驗(yàn)室)、歐陽(yáng)萬(wàn)里(悉尼大學(xué))、常曉軍(蒙納士大學(xué))、紀(jì)榮嶸(廈門(mén)大學(xué))、嚴(yán)駿馳(上海交通大學(xué))針對(duì)“高精度+高效率：NAS的發(fā)展趨勢(shì)” 開(kāi)展了深入探討，本文是該次討論的文字實(shí)錄，共計(jì)5個(gè)議題。點(diǎn)擊查看本次活動(dòng)的報(bào)告信息、講者及Panel嘉賓介紹：VALSE Webinar 20-17期 高精度+高效率：NAS的發(fā)展趨勢(shì)

01 NAS在很多任務(wù)上都得到了應(yīng)用，尤其是計(jì)算機(jī)視覺(jué)相關(guān)的任務(wù)上。NAS搜索出來(lái)的模型都達(dá)到了業(yè)界最好的性能。但是，NAS所帶來(lái)的性能提升與他的成本相比，是否是物超所值的呢？

歐陽(yáng)萬(wàn)里：目前可以看到，隨著硬件綜合成本的降低，新的讓速度能夠更快地算法的不斷開(kāi)發(fā)，綜合考慮，我們相信NAS會(huì)越來(lái)越物超所值。這個(gè)技術(shù)剛開(kāi)始是比較花錢(qián)的，例如剛開(kāi)始去買(mǎi)的各種新潮的硬件設(shè)備一樣，開(kāi)始價(jià)格可能感覺(jué)還不夠便宜，但再過(guò)五年以后就不一樣了。目前NAS是類(lèi)似這樣的一個(gè)發(fā)展過(guò)程。

對(duì)比幾年以前的NAS和現(xiàn)在的NAS的準(zhǔn)確率，在ImageNet上是有改善的，但是還沒(méi)有到比人工設(shè)計(jì)要好很多的狀態(tài)。回顧2012年發(fā)展的深度學(xué)習(xí)，做任務(wù)的時(shí)候，深度學(xué)習(xí)并不比人工設(shè)計(jì)的好多少，那么過(guò)了幾年事情是怎么發(fā)展的，深度學(xué)習(xí)至少會(huì)證明它是有效的。NAS在里面是否會(huì)有效？我認(rèn)為這應(yīng)該是promissing的發(fā)展。

常曉軍：我對(duì)這個(gè)問(wèn)題對(duì)于工業(yè)界上的影響，我思考也挺多的。如果我們花了兩三天，但只是把效果從95%提升到97%，對(duì)于工業(yè)界，這個(gè)提升的好處到底有多少，比如視頻搜索的話(huà)，95%和97%的準(zhǔn)確率，這其中的差別用戶(hù)是感受不到的。未來(lái)是否有必要提出一個(gè)新的評(píng)價(jià)指標(biāo)，來(lái)綜合考慮精度的提升以及搜索效率，這是我一直在思考的問(wèn)題。

王云鶴：我認(rèn)為有的時(shí)候也不完全是這樣，比如自動(dòng)駕駛追求的就是最后那百分之幾的精度提升?，F(xiàn)在大多數(shù)的情況下看到的NAS在提升方面的效果并不是那么大，比如在ImageNet上，越來(lái)越多NAS算法追求更高的精度，但是看起來(lái)似乎沒(méi)有特別大的提升。

紀(jì)榮嶸：隨著算力的提升，速率上的損失還是可以接受的。特別是像用CNN的任務(wù)太多了，不只是做research這種簡(jiǎn)單的分類(lèi)任務(wù)，很多新任務(wù)重新設(shè)計(jì)模型要花太多的時(shí)間，我沒(méi)有那么多程序員。所以NAS幫助我們做的自動(dòng)化，這方面收益肯定是值得的。包括我們有一些NAS的工作，都在加速整個(gè)架構(gòu)搜索的流程。所以我認(rèn)為NAS肯定是有收益的。

嚴(yán)駿馳：NAS研究并不只是為了得到一個(gè)更高精度、更高效的模型，也是幫助我們更好地去研究嘗試探索神經(jīng)網(wǎng)絡(luò)內(nèi)部的連接和運(yùn)算單元之間的關(guān)系。這樣可以更好地給我們的學(xué)者對(duì)理解神經(jīng)網(wǎng)絡(luò)內(nèi)部的機(jī)理帶來(lái)很多的幫助，如同下圍棋，AlphaGo可以幫助圍棋高手們對(duì)圍棋有更好的理解，這也是值得我們推敲的一方面。

02 NAS是在一個(gè)數(shù)據(jù)集一個(gè)任務(wù)上盡可能地對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化，那么NAS搜索出來(lái)的模型可以被應(yīng)用于其它數(shù)據(jù)集和其它任務(wù)嗎？

嚴(yán)駿馳：我認(rèn)為現(xiàn)在這是一個(gè)研究的趨勢(shì)，我們?nèi)プ鯪AS，一個(gè)方面是在一個(gè)數(shù)據(jù)集，另一方面現(xiàn)在的NAS研究考慮泛化性能。比如從CIFAR10的分類(lèi)任務(wù)擴(kuò)展到ImageNet的更大規(guī)模的分類(lèi)，或者到MS-COCO的檢測(cè)任務(wù)上，這些都是有一些嘗試。目前很多的研究依然側(cè)重搜索的空間 ，因?yàn)樗阉骺臻g要有一定的針對(duì)性，所以我認(rèn)為在搜索的search space和search strategy這兩方面都需要去考慮多個(gè)數(shù)據(jù)集和多個(gè)任務(wù)的方法和性能的問(wèn)題。

王云鶴：另外一個(gè)方面，目前NAS仍然是在全精度（FLOAT32）上進(jìn)行搜索，我也關(guān)注到紀(jì)老師有關(guān)于binary network（1bit參數(shù)）的架構(gòu)搜索，您覺(jué)得1bit/低bit的NAS和全精度的NAS相比，二者有什么區(qū)別或者向通的地方？

紀(jì)榮嶸：優(yōu)化（低bit網(wǎng)絡(luò)架構(gòu)搜索）在概念上是沒(méi)有問(wèn)題，但實(shí)際上不是很容易進(jìn)行優(yōu)化的。如果大家能把優(yōu)化理論算法解決的話(huà)，是很好的一個(gè)方向。因?yàn)楝F(xiàn)在做網(wǎng)絡(luò)壓縮的方法，大家都在往這方面嘗試，binary network是典型網(wǎng)絡(luò)壓縮的算法，NAS網(wǎng)絡(luò)壓縮最近也做了很多的工作，這個(gè)大家肯定愿意去嘗試。

王云鶴：歐陽(yáng)老師您對(duì)NAS在不同數(shù)據(jù)集和任務(wù)上，比如目標(biāo)檢測(cè)、行人重識(shí)別，與當(dāng)前主流NAS比較，您有沒(méi)有什么建議？

歐陽(yáng)萬(wàn)里：目前看到的是已經(jīng)有一些網(wǎng)絡(luò)在CIFAR10上去搜索，遷移到ImageNet數(shù)據(jù)集發(fā)現(xiàn)精度也還不錯(cuò)，當(dāng)然如果在直接在ImageNet上面搜效果應(yīng)該會(huì)更好，我認(rèn)為現(xiàn)在去做嘗試應(yīng)該是可能做好的。另一方面，個(gè)人感覺(jué)NAS的目的主要是在針對(duì)特定任務(wù)，去找到針對(duì)特定任務(wù)更合適的架構(gòu)。最開(kāi)始我們是想人工設(shè)計(jì)一個(gè)特征可以應(yīng)用于任何的數(shù)據(jù)庫(kù)，接下來(lái)是對(duì)這些不同的數(shù)據(jù)庫(kù)有了一個(gè)深度模型，我們要去學(xué)習(xí)它的參數(shù)?，F(xiàn)在我們不只要學(xué)習(xí)模型的參數(shù)，還要找到適合對(duì)應(yīng)數(shù)據(jù)庫(kù)的架構(gòu)(NAS)，這樣的類(lèi)似于原來(lái)深度模型里面的微調(diào)在將來(lái)的應(yīng)用過(guò)程中，仍然是需要的。

03 由于Google開(kāi)源了NASBench-101，最近開(kāi)始有更多的工作在討論利用精度預(yù)測(cè)器來(lái)構(gòu)建NAS系統(tǒng)。雖然，這類(lèi)算法可以解決性能評(píng)估的不準(zhǔn)確性，但是預(yù)測(cè)器的訓(xùn)練需要大量的精細(xì)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)作為樣本，是否有必要構(gòu)建更大的NAS數(shù)據(jù)集？

紀(jì)榮嶸：我們做了一系列的關(guān)于performance estimation(性能評(píng)估預(yù)測(cè))的工作，其中有很多細(xì)節(jié)，包括如何加速性能估計(jì)的各種各樣的方法。這（NAS）里面主要的實(shí)際的開(kāi)銷(xiāo)中，得到performance占了很大一部分，所以這個(gè)步驟還是蠻重要的。這個(gè)議題是訓(xùn)練器的訓(xùn)練需要大量精細(xì)的網(wǎng)絡(luò)作為樣本，構(gòu)建更大的NAS數(shù)據(jù)集。這個(gè)問(wèn)題很像前一個(gè)問(wèn)題（NAS的可遷移性），還有（涉及到）一個(gè)廣義的NAS網(wǎng)絡(luò)，不同的答案，可能都不一樣。但是我們特別希望有一個(gè)像VGT這樣的基礎(chǔ)的東西，比如提供部分優(yōu)化的中間狀態(tài)，從中間狀態(tài)再往下做那是最好的一個(gè)狀態(tài)了。這部分我不認(rèn)為一定是NAS，大家可以想想Meta-Learning,這是蠻有意思的。但是如果大家讀過(guò)文章都知道，有一些NAS就是把模塊拼在一起做組合，但是證明效果沒(méi)有那么好，所以可能需要特殊人用這個(gè)方法pursue它的一個(gè)經(jīng)典的工作。我們最近可能會(huì)發(fā)布一套跟NAS相關(guān)的一個(gè)平臺(tái)，有點(diǎn)像NNI，做出來(lái)可以供大家使用。

嚴(yán)駿馳：我們現(xiàn)在做的數(shù)據(jù)集背后限定了搜索空間，這與我們要做一個(gè)訓(xùn)練集有各自地的分布一樣。如果測(cè)試體不在這個(gè)分布里，可能就會(huì)產(chǎn)生過(guò)擬合或預(yù)測(cè)產(chǎn)生一些困難，我認(rèn)為過(guò)擬合分布的偏移是第一點(diǎn)。第二點(diǎn)，因?yàn)閳D網(wǎng)絡(luò)本身是離散的東西，里面是離散的數(shù)據(jù)，在映射到一個(gè)連續(xù)的performance上面可能比一般的連續(xù)的數(shù)據(jù)映射更復(fù)雜。這兩點(diǎn)是要比較小心的地方。一方面是搜索空間（對(duì)模型結(jié)構(gòu)造成的限制），一方面是本身圖是一個(gè)離散的結(jié)構(gòu)，所以映射（從模型結(jié)構(gòu)映射到performance）存在很多不連續(xù)性和不穩(wěn)定性。

王云鶴：當(dāng)數(shù)據(jù)集太大的情況下，圖也不是很好構(gòu)建。常老師的工作里面提到了一些神經(jīng)網(wǎng)絡(luò)精度的評(píng)估，您提到的這種利用NAS的數(shù)據(jù)集去構(gòu)建評(píng)估器的工作，是不是能幫助我們徹底解決NAS在執(zhí)行過(guò)程中性能評(píng)估不準(zhǔn)確的問(wèn)題呢？

常曉軍：這個(gè)問(wèn)題很有價(jià)值，徹底解決這個(gè)感覺(jué)有點(diǎn)難，但是肯定會(huì)起到輔助的作用，能夠提高我們的評(píng)測(cè)效果。

王云鶴：更早一點(diǎn)，商湯的一些工作也是關(guān)于精度預(yù)測(cè)的，歐陽(yáng)老師在這個(gè)方向可以給出一些建議么？

歐陽(yáng)萬(wàn)里：我本身其實(shí)沒(méi)有參與精度預(yù)測(cè)的這樣一些工作。其實(shí)做NAS有很多挺有意思的方向，從精度角度研究也確實(shí)是挺有意思的。比較難一點(diǎn)的問(wèn)題是要解決雞生蛋、蛋生雞的問(wèn)題（模型搜索的目的是為了得到高精度模型，但是在搜索過(guò)程中有需要利用模型的精度來(lái)衡量搜索結(jié)果）。

04 對(duì)于給定的搜索空間，NAS產(chǎn)生了一系列具有更高精度的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。這其中有一些與之前的結(jié)構(gòu)是相似的也有不相似的，比如多分支的網(wǎng)絡(luò)架構(gòu)，這些結(jié)構(gòu)對(duì)未來(lái)的架構(gòu)設(shè)計(jì)和搜索空間的設(shè)計(jì)有什么啟發(fā)呢？

常曉軍：之前的工作都是別人給一個(gè)手工設(shè)計(jì)的網(wǎng)絡(luò)，通過(guò)實(shí)驗(yàn)驗(yàn)證這個(gè)網(wǎng)絡(luò)的效果比較好，但是如果我們由NAS跑出來(lái)一個(gè)神經(jīng)網(wǎng)絡(luò)，可以倒推網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)成這樣為什么會(huì)達(dá)到好的效果，這可能會(huì)給我們?cè)诤罄m(xù)的網(wǎng)絡(luò)設(shè)計(jì)方面有一些不錯(cuò)的啟發(fā)。

王云鶴：您是指NAS的算法跟搜索空間的設(shè)計(jì)可能會(huì)迭代起來(lái)去做出更好地東西。剛才觀(guān)眾們?cè)诤笈_(tái)問(wèn)了一個(gè)有意思的問(wèn)題， NAS怎么能產(chǎn)生出像ResNet這樣的一個(gè)東西呢？我們之前沒(méi)有見(jiàn)過(guò)ResNet怎么產(chǎn)生它。

常曉軍：那肯定是針對(duì)我們蒸餾的神經(jīng)網(wǎng)絡(luò)提出來(lái)的吧。

王云鶴：這個(gè)問(wèn)題應(yīng)該是指一個(gè)通用的問(wèn)題。我們?cè)僬?qǐng)嚴(yán)老師回復(fù)一下，NAS現(xiàn)在有沒(méi)有對(duì)圖神經(jīng)網(wǎng)絡(luò)或者是有一些其他結(jié)構(gòu)的設(shè)計(jì)？

嚴(yán)駿馳：這個(gè)可以是一個(gè)比較開(kāi)放性的問(wèn)題，我們現(xiàn)在也想往這一方向也在做一些探索，這里面比較重要的一個(gè)問(wèn)題是關(guān)于圖的網(wǎng)絡(luò)的生成模型，因?yàn)樽錾赡Ｐ蛨D是個(gè)離散的結(jié)構(gòu)。另外一方面取決于數(shù)據(jù)集的豐富程度，因?yàn)椋∟AS）數(shù)據(jù)集由搜索空間決定的，手工設(shè)計(jì)什么樣的搜索空間，怎樣采樣生成很多的樣本，再去算它對(duì)應(yīng)的performance。但我們總是會(huì)被限制在搜索空間里。如果當(dāng)生成的圖的結(jié)構(gòu)不在這個(gè)搜索空間里，那么預(yù)測(cè)就會(huì)出現(xiàn)困難。那這個(gè)問(wèn)題本質(zhì)上是一個(gè)機(jī)器學(xué)習(xí)的問(wèn)題，剛才紀(jì)老師說(shuō)的Meta-Learning等等都是有它的關(guān)系的。包括這個(gè)跟強(qiáng)化學(xué)習(xí)，我們面臨著樣本不夠的問(wèn)題。在這些層面，很多是機(jī)器學(xué)習(xí)本質(zhì)的問(wèn)題。我們做NAS的學(xué)者同學(xué)們，也可以更多地去看一些這方面機(jī)器學(xué)習(xí)本身的發(fā)展，肯定對(duì)我們這方面的研究是有裨益的。

王云鶴：謝謝嚴(yán)老師，下一個(gè)小問(wèn)題是給歐陽(yáng)老師。NAS雖然產(chǎn)生了很多很奇怪的模型，有的精度很好，有的精度不好，但是它基本上主要的算法還都是在分類(lèi)任務(wù)上面去做的。我們?cè)诜诸?lèi)任務(wù)上得到的這些模型，對(duì)于其他的任務(wù)，比如說(shuō)您在其他領(lǐng)域做的CV相關(guān)的工作，比如這種intecture上面會(huì)不會(huì)在這種手工設(shè)計(jì)的網(wǎng)絡(luò)上面去產(chǎn)生相應(yīng)的影響呢？

歐陽(yáng)萬(wàn)里：我想應(yīng)該是會(huì)的，現(xiàn)在用NAS去做相關(guān)的任務(wù)，比如物體檢測(cè)已經(jīng)有不少工作在做了。因?yàn)闄z測(cè)包含幾個(gè)部分，一個(gè)是backbone，一個(gè)是neck/head （例如FPN網(wǎng)絡(luò)），這兩個(gè)部分都有一些現(xiàn)有工作在考慮了。當(dāng)然檢測(cè)也有檢測(cè)自己的問(wèn)題，所以針對(duì)檢測(cè)的問(wèn)題去設(shè)定自己的合適的搜索空間和搜索算法，還是會(huì)有不少的研究者在這里（目標(biāo)檢測(cè)的NAS）關(guān)注的，包括像Person ReID（行人重識(shí)別）也是類(lèi)似的。在各個(gè)不同的方向（任務(wù)），已經(jīng)有不少的工作用NAS在做了。那么NAS應(yīng)用在其他方面（任務(wù)），相信還會(huì)有一些工作去考慮，進(jìn)一步地完善起來(lái)。

王云鶴：謝謝歐陽(yáng)老師。我們?cè)僬?qǐng)紀(jì)老師討論一下，NAS產(chǎn)生的這些結(jié)構(gòu)，跟我們?nèi)プ瞿Ｐ筒眉?、剪枝產(chǎn)生的結(jié)構(gòu)，有沒(méi)有一些相通的地方？

紀(jì)榮嶸：目前來(lái)說(shuō)還沒(méi)有看到。

王云鶴：之前我看到有討論說(shuō)NAS所產(chǎn)生的模型神經(jīng)元多一些，還是中間的神經(jīng)元多一些？剪枝可能也會(huì)產(chǎn)生一些不一樣的結(jié)果，比如在ResNet上面我們?nèi)ビ^(guān)測(cè)到，它可能會(huì)有一些淺層的剪枝比較少或者是其他的現(xiàn)象。

紀(jì)榮嶸：這個(gè)問(wèn)題和另一個(gè)問(wèn)題是連在一起的，就是你的這個(gè)模型是否可以去理解它的搜索網(wǎng)絡(luò)架構(gòu)，當(dāng)然我們很希望（機(jī)器搜索到的結(jié)構(gòu)和人工設(shè)計(jì)的結(jié)構(gòu)）一樣的，但是即使機(jī)器找到了（人工設(shè)計(jì)的結(jié)構(gòu)，例如ResNet）一定也要問(wèn)為什么？是很湊巧，還是說(shuō)他們都有什么相同的本質(zhì)的結(jié)構(gòu)。如果我們?nèi)斯ぴO(shè)計(jì)的網(wǎng)絡(luò)，跟NAS跑出來(lái)的網(wǎng)絡(luò)沒(méi)有什么不同，那么機(jī)器證明了我們的設(shè)計(jì)是完美的，這是最好的，但是我們并沒(méi)有看到這種的東西。我們目前看到（機(jī)器搜索出來(lái)的結(jié)構(gòu)與人工設(shè)計(jì)的結(jié)構(gòu)）是不一樣的，所以要么機(jī)器錯(cuò)，要么人錯(cuò)，但是其實(shí)我們都沒(méi)做，只是兩者都不是最優(yōu)解。

05 NAS的算法同時(shí)存在很多個(gè)優(yōu)化問(wèn)題，比如我們要同時(shí)優(yōu)化權(quán)重和架構(gòu)的參數(shù)，有些時(shí)候我們也會(huì)涉及到多個(gè)任務(wù)多個(gè)數(shù)據(jù)集一起搜索，比如檢測(cè)任務(wù)。把所有問(wèn)題都放在一起進(jìn)行搜索肯定是最理想的求解方案，但是也帶來(lái)了求解的不穩(wěn)定性，各位老師針對(duì)NAS里面的這些優(yōu)化難題有沒(méi)有什么好的建議？

紀(jì)榮嶸：因?yàn)镹AS里面的操作很多，現(xiàn)在的方向不一樣，比如進(jìn)化算法有自己的優(yōu)化難題，這種直接可以解的NAS（DARTS）也有自己優(yōu)化難題，各自好像不大相同。NAS的算法可以分成很多類(lèi)，都有自己的優(yōu)化難題。這就回到最優(yōu)化的問(wèn)題里面去了，并不是NAS自己特定的問(wèn)題，但是無(wú)論怎樣，我覺(jué)得這塊可以做，但是影響力不是很大。

王云鶴：好的，謝謝紀(jì)老師。嚴(yán)老師我知道您在組合優(yōu)化的領(lǐng)域內(nèi)也做過(guò)很多比較深入的研究，您對(duì)這個(gè)問(wèn)題怎么看？舉個(gè)限定的例子，比如說(shuō)DARTS里面同時(shí)有優(yōu)化權(quán)重和架構(gòu)的參數(shù)，您對(duì)這個(gè)問(wèn)題有什么好的建議？

嚴(yán)駿馳：如果從數(shù)學(xué)的角度上來(lái)看，主要是兩方面，一方面是多目標(biāo)優(yōu)化，因?yàn)槟憧赡苡忠Ｐ偷娜萘?、performance、泛化性能、穩(wěn)定性等等，這些抽象出來(lái)看都是一些優(yōu)化目標(biāo)。另外一方面是權(quán)重（DARTS中的結(jié)構(gòu)參數(shù)），權(quán)重是個(gè)連續(xù)的值，結(jié)構(gòu)往往是一個(gè)離散的值，這個(gè)是類(lèi)似整數(shù)規(guī)劃，我們叫混合整數(shù)，里面又有離散又有連續(xù)值?；\統(tǒng)地來(lái)說(shuō)是這兩個(gè)觀(guān)點(diǎn)去看這個(gè)優(yōu)化的問(wèn)題。神經(jīng)網(wǎng)絡(luò)的獨(dú)特的挑戰(zhàn)就是它的權(quán)重、參數(shù)量規(guī)模非常大，傳統(tǒng)的數(shù)學(xué)的做法，觀(guān)點(diǎn)和理論用不上去。所以主要是那兩種，一種是基于圖微分、基于梯度的方法，一種是偏強(qiáng)化學(xué)習(xí)等更靈活的方法。我覺(jué)得梯度方法求解的更快一點(diǎn)，在短期內(nèi)有一個(gè)比較好的解，再可以用這種更靈活的、更復(fù)雜的、更細(xì)粒度的方法在局部的空間里面做探索，這是一種思路。像數(shù)學(xué)里面做優(yōu)化一樣，先把它松弛到一個(gè)凸優(yōu)化的問(wèn)題，再慢慢地類(lèi)似于一種continuation method（連續(xù)法）或者模擬退火一樣，就可以把那個(gè)問(wèn)題做的越來(lái)越細(xì)，它的解會(huì)越來(lái)越好，但是一開(kāi)始的時(shí)候可能是一個(gè)比較快速的方案。

王云鶴：好的，謝謝嚴(yán)老師。下一個(gè)小問(wèn)題想請(qǐng)問(wèn)歐陽(yáng)老師，您剛才講了一些算法理論，其實(shí)是把NAS的搜索速度提升的很明顯。在NAS這個(gè)系統(tǒng)里面，同時(shí)加速了搜索想提升它的精度，這個(gè)問(wèn)題怎么能保證？你搜索的速度很快，但是同時(shí)怎么能保持搜索算法的精度？

歐陽(yáng)萬(wàn)里：我們的方法搜索速度比較快而精度也好的的原因是有一個(gè)更加快速可靠的代理任務(wù)。當(dāng)然通常的情況下，要設(shè)計(jì)一個(gè)算法，想要精度和速度都要變好其實(shí)是非常難的。我身邊有人認(rèn)為，對(duì)于基于differentiable（可微分）或者one-shot的NAS方法，是為了去達(dá)到像強(qiáng)化學(xué)習(xí)或進(jìn)化算法那樣的（性能）上限，當(dāng)然強(qiáng)化學(xué)習(xí)或進(jìn)化算法其實(shí)也并沒(méi)有把整個(gè)的搜索空間的所有模型結(jié)構(gòu)搜索到。目前NAS的大量算法本質(zhì)上就是一個(gè)trade-off，基于one-shot或者基于可微分方法的NAS，其速度確實(shí)是會(huì)快得多的，但是其能達(dá)到的性能上限可能不見(jiàn)得會(huì)比強(qiáng)化學(xué)習(xí)要好。像這樣的一個(gè)情況下，怎么去做好（精度和速度之間的）trade-off應(yīng)該是要考慮的事情。要做好這個(gè)trade-off，我們認(rèn)為存在一些更快速有效的，達(dá)到可靠性的一個(gè)東西。當(dāng)然達(dá)到可靠性并不只是這樣一條路要走，就算是在DARTS這種可微分方式，或者是像one-shot這樣的一些方法，怎樣去提高它的可靠性，這也是沒(méi)有完全解決的問(wèn)題，但是它的可靠性是不一樣的，這些都是要去考慮的。