大數(shù)據(jù)文摘作品

作者：小魚、土豆

《深度學(xué)習(xí)》(花書)作者Ian Goodfellow今早連發(fā)了10條推特，細(xì)數(shù)了他最喜歡的兩個(gè)機(jī)器學(xué)習(xí)“黑魔法”。他在著名的GAN論文中使用這兩個(gè)小竅門推導(dǎo)了公式。

最后，他還不忘操心大家的學(xué)習(xí)，推薦了一本關(guān)于凸優(yōu)化的書。當(dāng)然，更詳盡的操作還是要去看Goodfellow本人的《深度學(xué)習(xí)》。文摘菌給大家搭配了斯坦福的一門MOOC，一起學(xué)習(xí)風(fēng)味更佳~拉至文末查看喔~

Goodfellow稱，這是關(guān)于機(jī)器學(xué)習(xí)，他最喜歡的兩個(gè)快速理解理論推導(dǎo)的“黑魔法”。

感興趣的同學(xué)在大數(shù)據(jù)文摘后臺(tái)回復(fù)“goodfellow”可獲取GAN論文和《凸優(yōu)化》。

以下是Ian Goodfellow推特內(nèi)容：

很多時(shí)候，我們用代數(shù)或微積分來分析神經(jīng)網(wǎng)絡(luò)的最優(yōu)行為。想實(shí)現(xiàn)一些函數(shù)的權(quán)重衰減或許可以用代數(shù)方法實(shí)現(xiàn)，但想要用代數(shù)方法解決神經(jīng)網(wǎng)絡(luò)中大多數(shù)函數(shù)的參數(shù)優(yōu)化問題就有些過于復(fù)雜。

為了得到一個(gè)不太復(fù)雜的模型，常見的方法就是使用線性模型，因?yàn)榫€性模型能很好的解決凸優(yōu)化問題。但線性模型又過于簡(jiǎn)單，其模型效果遠(yuǎn)不及神經(jīng)網(wǎng)絡(luò)。

黑魔法1：將神經(jīng)網(wǎng)絡(luò)視為一個(gè)任意函數(shù)，因此可以在同一空間優(yōu)化所有的函數(shù)f，而不是特定的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)theta。與使用參數(shù)和特定結(jié)構(gòu)模型相比，這種方法非常簡(jiǎn)潔。

將神經(jīng)網(wǎng)絡(luò)視為一個(gè)函數(shù)，保留了線性模型的諸多優(yōu)點(diǎn)：多種凸函數(shù)問題。例如，分類器的交叉熵?fù)p失在函數(shù)空間中就是一個(gè)凸優(yōu)化問題。

這個(gè)假設(shè)并不準(zhǔn)確，特別是與線性模型相比。但是根據(jù)通用逼近定理，神經(jīng)網(wǎng)絡(luò)可以較好地近似任意函數(shù)。

黑魔法2：如果你在同一空間優(yōu)化所有函數(shù)時(shí)遇到困難，可以將函數(shù)想象成一個(gè)高維向量的分量。此時(shí)，關(guān)于R^n中x的評(píng)估函數(shù)f(x)，就變成了在一個(gè)向量中查找f_x，其中x是對(duì)分量的索引。