人工智能的能源使用和碳排放
既然提到了人工智能能量消耗和碳排放之間的關(guān)系。那么思考這種關(guān)系的最好方式是什么呢？
EPA數(shù)據(jù)顯示，在美國，一千瓦時的能耗平均會產(chǎn)生0.954磅的二氧化碳排放量。這個平均值，反應(yīng)了美國能源網(wǎng)中不同能量來源（例如可再生能源、核能、天然氣、煤炭）的相對比例和碳足跡的變化。
上述提到的那篇2019年研究分析，采用了全美國的平均值，以便根據(jù)各種人工智能模型的能量需求來計算碳排放量。這是一個比較合理的假設(shè)。例如，亞馬遜網(wǎng)絡(luò)服務(wù)公司（Amazon Web Services）的電力來源組合，大致反應(yīng)了美國整體的電力來源，而且絕大多數(shù)的人工智能模型都是在云端進行訓(xùn)練的。
當(dāng)然，如果使用主要由可再生能源產(chǎn)生的電力訓(xùn)練人工智能模型，那么碳足跡也會相應(yīng)地降低。例如，與AWS相比，谷歌云
平臺（Google Cloud Platform）使用的電力結(jié)構(gòu)在可再生能源方面的比重更大。（上述那篇2019年研究論文顯示，兩家公司的這一比例分別為56%和17%。）
或者，舉另一個例子，如果在太平洋西北部的硬件上訓(xùn)練一個模型，所產(chǎn)生的碳排放量會低于其他國家，這是因為這一地區(qū)擁有豐富的清潔水源。而在這方面，每一家云服務(wù)提供商都在鼓吹自己在
碳補償方面的投資。
總體而言，使用美國總體能源平均值，應(yīng)該可以大致準確地估算出人工智能模型的碳足跡。
效益遞減
通過不斷變大的模型，追求人工智能進步的做法，凸顯了模型規(guī)模和模型性能之間的關(guān)系。下列數(shù)據(jù)顯示得很清楚：模型規(guī)模的增加，最終會導(dǎo)致性能回報的急劇下降。
比如，ResNet是2015年發(fā)布的一個著名計算機視覺模型。該模型的改進版本稱為ResNeXt，于2017年問世。與ResNet相比，ResNeXt所需的計算資源要多35％（以總浮點運算來衡量），準確度卻只提高了0.5％。
艾倫人工智能研究所（Allen AI Institute）2019年的一篇論文提供了詳細的數(shù)據(jù)，記錄了不同任務(wù)、模型和人工智能子領(lǐng)域中的效益遞減問題。與GPT-2相比，最新發(fā)布的大型模型GPT-3出現(xiàn)了明顯的效益遞減跡象。
如果人工智能社區(qū)仍然繼續(xù)沿著當(dāng)前的研究方向前進，就會不斷的構(gòu)建越來越大的模型，耗費越來越多的能源，以實現(xiàn)越來越小的性能提升。任何成本/收益分析都會變得越來越比例失調(diào)。
既然存在效益遞減的問題，又是什么在推動著模型不斷地朝著越來越大的方向發(fā)展呢？一個主要的原因是，當(dāng)前人工智能社區(qū)對獲取“最好的”性能基準測試結(jié)果非常關(guān)注。構(gòu)建一個新模型，能夠在性能基準測試中創(chuàng)下新的準確性記錄，即便成績提升僅僅是微不足道的一點，也可以贏得研究人員的認可和好評。
正如加州大學(xué)洛杉磯分校（UCLA）的教授Guy Van den Broeck所說：“我認為對這種情況的一個最好的比喻，就是某個富油的國家能夠建造一座很高的摩天大樓。當(dāng)然，建造這樣的東西需要花很多錢，還有很多的工程工作。你也確實可以在建造這座高樓的時候，獲得‘最先進的技術(shù)’。但是……這件事在本質(zhì)上并沒有什么科學(xué)上的進步。”
在當(dāng)前的人工智能研究領(lǐng)域，占據(jù)主導(dǎo)地位的“越大越好”思路，可能會在未來幾年對環(huán)境造成重大的破壞。需要在這個領(lǐng)域內(nèi)進行思慮周詳?shù)执竽懙淖兏?，讓人工智能技術(shù)的發(fā)展變得更加可持續(xù)，并更具生產(chǎn)力。
展望未來
首先，每一位人工智能從業(yè)人員都應(yīng)該考慮，如何在短期內(nèi)“快速制勝”，以減輕其研究對碳足跡的影響。
重要的第一步是，提高這個問題的透明度和度量程度。當(dāng)人工智能研究人員們發(fā)布新模型的結(jié)果時，除了性能和準確性指標(biāo)之外，他們還應(yīng)該公布在模型開發(fā)中消耗了多少能量的數(shù)據(jù)。
經(jīng)過深入徹底的分析，艾倫人工智能研究所的團隊建議，將「浮點運算」作為研究人員追蹤的最通用、也是最有效的能效度量標(biāo)準。另一組研究人員創(chuàng)建了一個機器學(xué)習(xí)排放計算器，從業(yè)人員可以使用這個計算器來評估他們構(gòu)建的模型的碳足跡（根據(jù)硬件、云服務(wù)提供商和地理區(qū)域等因素）。
遵循這些思路，綜合考慮能源成本和性能收益的做法，將成為研究人員們在訓(xùn)練模型時的最佳實踐。明確地量化這種關(guān)系，將促使研究人員在面對效益遞減問題時，對資源分配做出更明智、更平衡的決定。
隨著可持續(xù)人工智能實踐的擴散，希望人工智能社區(qū)能夠在評估人工智能研究的時候，開始考慮這些效率指標(biāo)，就像今天我們對傳統(tǒng)性能指標(biāo)（例如準確性）采取的做法一樣：在
會議論文提交、演講、學(xué)術(shù)角色中考慮它們。
還有一些已經(jīng)相對比較成熟的方法，能夠幫助人工智能技術(shù)在近期減少碳足跡：使用更有效的超參數(shù)搜索方法、減少訓(xùn)練過程中不必要的實驗次數(shù)、使用更高能效的硬件等。
但是，單靠這些補救措施并不足以解決這個問題。人工智能領(lǐng)域需要更根本的長期轉(zhuǎn)變。
我們需要退后一步，并且承認，僅僅依靠建立越來越大的神經(jīng)網(wǎng)絡(luò)并非通往通用智能的正確途徑。我們需要推動自己去發(fā)現(xiàn)更優(yōu)雅、更有效的方法，來對機器中的智能進行建模。我們正在持續(xù)不斷地同氣候變化進行斗爭，這是一場關(guān)乎地球未來的戰(zhàn)爭。
在此引用人工智能傳奇人物、深度學(xué)習(xí)教父Geoff Hinton的話：“未來取決于那些‘對我所說的一切’都深表懷疑的研究生……我的觀點是將其全部拋棄并重新開始。”
人工智能社區(qū)必須開始致力于開創(chuàng)人工智能的新范例，這些范例應(yīng)該既不需要指數(shù)級增長的數(shù)據(jù)集，也不需要龐大的能源消耗。小樣本學(xué)習(xí)（few-shot learning）等新興研究領(lǐng)域，都是有前途的途徑。
人類的大腦——智力的原始來源提供了重要的啟發(fā)。和當(dāng)今的深度學(xué)習(xí)方法相比，我們大腦的效率高得不可思議。它們只有幾磅重，大概只需要20瓦左右的能量消耗，這個能耗只能夠給昏暗的燈泡供電。然而，它們代表了已知宇宙中最強大的智力形式。
人工智能研究人員Siva Reddy指出：“人類的大腦用很少的能量消耗，就能夠完成令人驚嘆的事情。問題是我們?nèi)绾谓ㄔ斐鲞@樣的機器來。”
【版權(quán)聲明】本網(wǎng)為公益類網(wǎng)站，本網(wǎng)站刊載的所有內(nèi)容，均已署名來源和作者，僅供訪問者個人學(xué)習(xí)、研究或欣賞之用，如有侵權(quán)請權(quán)利人予以告知，本站將立即做刪除處理（QQ：51999076）。
國家工信部備案/許可證編號京ICP備16041442號-7 
??5群
