在AI行業(yè)從業(yè)至今，寫了大量的代碼項目，在創(chuàng)作過程中遇到過很多問題，而做自媒體也有快兩年了，同樣踩了很多坑。
今天就從硬件這方面總結(jié)一下目前對設備的一些使用經(jīng)驗，主要也是談談之前自己在日常開發(fā)和創(chuàng)作中所面臨的問題，以及這些問題是如何被【工作站】這一方案一招解決的。——先從大家最關心的日常開發(fā)使用這塊講起。
技術開發(fā)
在技術開發(fā)上，平時用的最多的開發(fā)環(huán)境是基于IntelliJ IDEA、Visual studio這兩個平臺，主要是進行代碼的調(diào)試、編寫等需求——當然底層都同樣用的一套Anaconda。
最開始做開發(fā)的時候我還在讀研，那個時候用自己幾年前的老游戲本，無論是跑Matlab(研一的最優(yōu)化課程作業(yè))還是寫C++小項目，速度都非常慢，包括但不限于repo編譯、矩陣計算、Matlab渲染——尤其是渲染，本來軟件就做的不太好，很多坑，但這還并不是主要問題——工作場景中的存儲穩(wěn)定性才是核心。之前的游戲本用來跑簡單的深度學習demo不但非常慢，代碼項目如果多開超過2個就會非常卡，甚至會出現(xiàn)閃退、崩潰問題(說到底還是窮~)。
那個時候太年輕，不知道實時灌日志的重要性，CMD崩潰導致幾個小時的計算結(jié)果丟失真的十分令人痛苦，而從那以后即使到今天我也養(yǎng)成了每2分鐘保存的習慣。
這幾方面的問題是在畢業(yè)后將游戲本升級成工作站之后才徹底解決的(讀書時就一直用的戴爾，畢業(yè)時才升級到了Precision工作站)，并且這套方案一直延續(xù)至今。以今年剛升級的Precision 3660為例，相比自己辦公用游戲本和打游戲的臺式機，工作站的優(yōu)勢非常明顯，在技術開發(fā)上有更好的體驗，讓AI的編程設計也更高效。
其實最主要還是計算設備上升了很多檔，Precision 3660的兩大算力核心都比較強，CPU和GPU都可選配。最高支持英特爾第12代酷睿i9-12900K處理器——之前我在一期視頻里說過，12代酷睿基本屬于牙膏擠爆了，12900K又是旗艦天花板。另外Intel針對這一代工作站不再用衍生Xeon W-1xxx系列的做法來支持ECC內(nèi)存了，酷睿CPU+W680芯片組主板可支持ECC或非ECC內(nèi)存，直接簡單省事。而這次像PCIe 5.0和x4 PCIe 4.0 Lane都是直接連接CPU的。
此外，這次英特爾還將RST RAID對NVMe SSD的支持擴展到了CPU直連的通道，使其不再受限于PCH芯片組與CPU之間DMI 4.0連接的帶寬——簡答來說就是包括L3緩存在內(nèi)的幾個模塊讀的更快了。
在日常使用中，還有兩點不得不提：
? CPU頻率的優(yōu)化設計讓數(shù)據(jù)預處理、生成的操作更快(比如對很多半監(jiān)督模型和DQN這樣的強化學習很友好)并且可以和其他預處理過程并行
? 指令集執(zhí)行的更快——有的開源庫里會使用循環(huán)，特別是有順序依賴的循環(huán)(點名numpy)所以有時候CPU拉跨會拖慢整體模型迭代速度
哦對了，這代Tower的CPU散熱器還加入了液冷選項，雖然困于預算我沒上，但據(jù)說效率趕上一些小型數(shù)據(jù)中心了，運行高能耗的算力程序時控溫能力很強，超頻跟喝水一樣。
整體看下來這是日常使用的服務器里相對較高的規(guī)格了——和Xeon Gold系列相比，性價比算是很不錯，畢竟租一臺服務器只能以小時計費。當然，像很多矢量運算、矩陣運算，除了框架自身的設計，也依賴GPU的性能聯(lián)動。考慮到這一點，工作站的GPU也基本開始一步到位，官方頂配直接就上了英偉達專業(yè)顯卡RTX A6000 48G(8nm制程，沒記錯的話)，學校里的新服務器不少也用的這套，提供PCIe 4/5擴展槽，加上Precision DO軟件智能調(diào)優(yōu)，跑CV據(jù)說非常絲滑，比V100有明顯進步。一臺3660就相當于一臺專屬的深度學習服務器，雖然聽著略顯夸張，但Precision真就做出來了——不過為了避免顯卡爆炸，戴爾很謹慎的把電源功率最高升到了1000W(估計是友商的前車之鑒)
最后還有個重要區(qū)別——跟傳統(tǒng)設備相比，3660這類中高端工作站的可擴展?jié)摿Ω蟆Ｒ訟I行業(yè)為例，硬件更新?lián)Q代很頻繁，所以對顯卡、內(nèi)存的擴展非常必要。之前我那臺游戲本可擴展性基本等于0，而Precision工作站則擁有很多擴展接口，比如：
? 3個工作站板載的M.2 NVMe SSD安裝位，內(nèi)存上升級方便、上限也高——NVMe SSD的單盤理論支持帶寬是遠大于PCIe Gen4的
? 大容量HDD存儲——看起來是為了給大規(guī)模預訓練模型或者AlphaFold這種需要海量數(shù)據(jù)集讀取的模型準備的，擴展也比較方便
除此之外還有個前置插拔驅(qū)動器，這東西之前確實沒見過，如下圖：
說白了就是個硬盤/SSD擴展位，并且可以加鎖。我看說明書上寫的，這個位置可選3.5英寸、2.5英寸或者M.2 NVMe SSD，如果配NVMe時估計支持熱插拔(前提不要是系統(tǒng)盤或RAID組成員)
舉個例子你就懂了——當你抱著這臺工作站到實驗室，準備放在那跑實驗，給師弟師妹炫耀一下不用搶計算資源的壕氣，但是又怕隱私數(shù)據(jù)被看到，這時候就可以把實驗結(jié)果保存在這個擴展位的卡上，當你離開主機時，可以采取“盤隨人走”的方式來避免數(shù)據(jù)/隱私泄露。
當然，除了上面場景的專業(yè)性要求，日常使用中還有些別的方面Precision也比較符合我的口味，比如：工作室空間有限，3660的放置占用空間比臺式機小很多，外觀低調(diào)，設計感足，噪音也很少，而益于液冷和機箱設計，這臺Precision在超頻時也不會很吵。
最后，其實作為互聯(lián)網(wǎng)技術和媒體從業(yè)者，我在很多方面都對電腦的軟硬件性能有更高要求，一方面是為了讓創(chuàng)作更加高效，另一方面對生產(chǎn)設備的性能追求也影響了我的科技觀感，讓很多思路也更加清晰。
未來隨著Precision系列的不斷迭代，會有更加高效、有趣的工作設備出現(xiàn)(比如基于VR、AR的高性能計算設備)，讓我們在未來的創(chuàng)作中更加具備效率和體驗，也兼具娛樂，讓成本越來越低、生產(chǎn)力越來越高。
讓們拭目以待!
