前言：
關(guān)于深度學(xué)習(xí)，它正在快速接近其極限。雖然事實可能的確如此，但我們?nèi)晕茨茉谌粘Ｉ钪懈惺艿饺娌渴鹕疃葘W(xué)習(xí)的影響。
MIT：算力將探底，算法需改革
近日，MIT發(fā)出警告：深度學(xué)習(xí)正在接近現(xiàn)有芯片的算力極限，如果不變革算法，深度學(xué)習(xí)恐難再進(jìn)步。
根據(jù)麻省理工學(xué)院，MIT－IBM Watson AI實驗室，Underwood國際學(xué)院和巴西利亞大學(xué)的研究人員在最近的研究中發(fā)現(xiàn)，持續(xù)不斷的進(jìn)步將需要通過改變現(xiàn)有技術(shù)或通過尚未發(fā)現(xiàn)的新方法來更有效地使用深度學(xué)習(xí)方法。
目前深度學(xué)習(xí)的繁榮過度依賴算力的提升，在后摩爾定律時代可能遭遇發(fā)展瓶頸，在算法改進(jìn)上還需多多努力。
深度學(xué)習(xí)不是偶然的計算代價，而是設(shè)計的代價。共同的靈活性使它能夠出色地建模各種現(xiàn)象，并且性能優(yōu)于專家模型，這也使其在計算上的成本大大提高。
研究人員估計，三年的算法改進(jìn)相當(dāng)于計算能力提高10倍?？傮w而言，在深度學(xué)習(xí)的許多領(lǐng)域中，訓(xùn)練模型的進(jìn)步取決于所使用的計算能力的大幅度提高。 另一種可能性是，要改善算法本身可能需要互補(bǔ)地提高計算能力。
在研究過程中，研究人員還對預(yù)測進(jìn)行了推斷，以了解達(dá)到各種理論基準(zhǔn)所需的計算能力以及相關(guān)的經(jīng)濟(jì)和環(huán)境成本。
即使是最樂觀的計算，要降低ImageNet上的圖像分類錯誤率，也需要進(jìn)行10的五次方以上的計算。
根據(jù)多項式和指數(shù)模型的預(yù)測，通過深度學(xué)習(xí)獲得相應(yīng)性能基準(zhǔn)所需的算力（以Gflops為單位），碳排放量和經(jīng)濟(jì)成本，最樂觀的估計，ImageNet分類誤差要想達(dá)到1％，需要10＾28 Gflops的算力，這對硬件來說是不小的壓力。
123下一頁>（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
