神經架構搜索（NAS）因其比手工構建的架構更能識別出更好的架構而備受關注。近年來，可微分的搜索方法因可以在數(shù)天內獲得高性能的NAS而成為研究熱點。然而，由于超級網的建設，其仍然面臨著巨大的計算成本和性能低下的問題。
在本文中，第四范式提出了一種基于近端迭代（NASP）的高效NAS方法。與以往的工作不同，NASP將搜索過程重新定義為具有離散約束的優(yōu)化問題和模型復雜度的正則化器。由于新的目標是難以解決的，我們進一步提出了一種高效的算法，由近端啟發(fā)法進行優(yōu)化。通過這種方式，NASP不僅比現(xiàn)有的可微分的搜索方法速度快，而且還可以找到更好的體系結構并平衡模型復雜度。
最終，通過不同任務的大量實驗表明，NASP在測試精度和計算效率上均能獲得更好的性能，在發(fā)現(xiàn)更好的模型結構的同時，速度比DARTS等現(xiàn)有技術快10倍以上。此外，NASP消除了操作之間的關聯(lián)性。
此外，在WWW 2020的論文” Efficient Neural Interaction Functions Search for Collaborative Filtering”中，我們將NASP算法應用到了推薦系統(tǒng)領域，歡迎關注：
視頻：https://www.tuijianxitong.cn/cn/school/video/26
PPT：https://www.tuijianxitong.cn/cn/school/openclass/27
論文：https://arxiv.org/pdf/1906.12091
代碼：https://github.com/quanmingyao/SIF
