核心提示： ODCC委員、ODCC服務器工作組組長、百度高級技術經理張家軍對整機柜服務器發展報告進行了深度解讀。

4月14日，2016 ODCC技術分享和成果宣貫會在深圳召開。開放數據中心委員會的技術專家分享了各自研究領域的最新進展及部分已公開成果。ODCC委員、ODCC服務器工作組組長、百度高級技術經理張家軍對整機柜服務器發展報告進行了深度解讀。

ODCC委員、ODCC服務器工作組組長、百度高級技術經理 張家軍

以下是發言全文：

           張家軍：大家上午好！我是張家軍，來自百度。像主席剛才說的，今天天氣不是特別好，但是南方的同胞的熱情非常洋溢，讓我們感到格外溫暖。也是很榮幸ODCC第一次到深圳來開宣貫會，其實中國整個IT產業最發達的地方還是在珠三角這塊，相比今天有很多同仁來到現場，期待在會議過程中和會議之后有更多的交流。

           今天我主要圍繞服務器工作組在天蝎整機柜方面的工作和大家作分享和匯報，也希望跟大家有更多的互動。

         雖然今天有很多老朋友，相比也有很多新朋友，第一次來到會場，第一次知道ODCC，第一次知道天蝎。天蝎是成立于2011年的項目組，而ODCC是2014年整編了我們在服務器、數據中心、網絡、測試相關領域的工作，然后組建了一個新的組織。當初成立天蝎的時候是BAT的幾位同仁，大家有共同的想法，所以我們覺得我們是不是可以做一個開源的項目。這應該也是國內第一個，到目前為止唯一一個在硬件設計方面的開源項目，就是天蝎整機柜服務器的項目。

           我簡單回顧在過去差不多5年的時間，天蝎走過的歷程。首先我們在2011年的時候，大家通過溝通就想做的事情達成共識，在英特爾的幫助下成立天蝎項目組，到2011年12月份迅速的召開第一次研討會，召集了相關的業內同行來聽取了大家的建議和反饋，這樣就是說迅速的把我們的工作開展起來。接下來每一年我們都迅速推進產品的研發和迭代，從事硬件研發的朋友應該會知道，在做硬件研發的時候，它的生命周期通常會比較長，需要經過12-18個月的周期，尤其是做全新的硬件，可能打磨周期會更長。在做這樣產品設計的時候，我們一定程度上在效仿互聯網行業在軟件上快速迭代的經驗，我們想硬件的研發也借鑒軟件研發好的框架結構，這種經驗和模式，也是在摸索當中逐步的讓我們的產品開發和實踐變得更快。回頭看，不到5年時間里，我們從1.0到2.0到2.5和3.0，我們中間也經過5個版本的迭代，整個發展節奏還是非常快的。

          整個交付的機柜的數量也非常多，總共到目前為止，我們已經大規模交付了超過6000個Racks，也就是說差不多有15萬臺服務器是基于整機柜模式交付的，應該說在發展這么長時間以來還是取得了比較好的進展。我們昨天在會議上也說了當初為什么做這個事，現在的客戶在運營超大規模的IT基礎設施的時候，因為規模很大，一年都會以數以十萬臺機的服務器采購，每臺服務器節約100元，一年下來采購成本的節約就可以達到上千萬。在每臺設備上有3W、5W功耗的節約，一年下來的運營成本也是千萬量級。我們努力把每個點做到極致，去追求它的TCO.

          在發展過程中我們形成了自己的模式，在1.0的時候，大家主要設想是做更好的、符合互聯網需求的服務器，規模大，能夠快速交付、部署，能夠提高效率、降低成本。所以我們一開始想借鑒刀片服務器共享架構的設計是比較好的概念，這個概念不是我們首創，在行業里面有很多類似的想法，我們覺得這個比較契合我們的需求，我們把方向定位在這個地方，做共享架構設計，通過集中、模塊化的方式更好的幫助我們運維，去提高效率，也降低成本。做1.0過程中我們就想下一步做什么，很遺憾，我今天沒有帶圖過來。后面有廠商帶機柜過來，大家感興趣可以看看，這是按照2.0或者2.5的標準做的，這是標準化程度非常高的機柜。

          在剛開始的時候，我們還是走了很多彎路，比如剛剛開始1.0的時候，我們找了行業不同的合作伙伴做，對于整個結構設計應該怎么做，供電、散熱、管理，每個模塊怎么樣設計才是最好，到底有沒有風險，會不會導致供電不足，散熱會不會導致局部過熱，因為我們通過風扇墻構建。整機柜在整個行業里面非常流行，很多公司都推行的比天蝎的節奏慢一點，他們2011年開始計劃做這個事，2012年開始推，2012年其實天蝎已經開始部署。這個過程中大家有差異化，比如OCP它就沒有集中做。

         當我們嘗試做基礎創新的時候，其實有很多潛在的挑戰和未知。為了規避潛在的風險，我們和國內外很多合作伙伴，包括華為、浪潮、富士康這樣的OEM、ODM，我們探討怎么更好，當時每家都拿出自己的方案，我們嘗試過80的風扇，最大的是172，所以跨度是非常大的。在做這些摸索的時候，包括供電結構的設計，有各種模式，我們在每個領域通過足夠多的數據測試和驗證，拿到數據之后找到最優的解。我們看到所謂的最優解能覆蓋我們想要解決問題的大部分，在這個過程中快速迭代，我們對2.0有一個清晰思路，我們要標準化，把供電、散熱、管理每個模塊標準化下來，規避1.0時代的差異化，更好適應大規模部署和降低整個行業的成本。

         推進2.0的時候，我們借鑒國外同行行好的點，比如face book推送21英寸的機柜設計，我們開始很反對，19英寸用了這么多，再推一個新的出來，成本很高。結構穩定性方面有很大的不確定性，形變會不會導致未來的運維等出現問題，我們出現很多爭論。face book驗證了這個事情做的不錯，把內部空間增大能夠顯出突出一些空間，更好的計算存儲的彈性。我們在2.0的時候把所有模塊做的更標準化。在標準化做完之后我們想下一步做什么，我們又討論，我們要考慮整個新架構上的創新，我們看到整個大的分布式互聯網應用和云計算的大規模發展情況下，今天既有的，比如一個服務器里面包含各個單位的模式，其實會面臨瓶頸，資源利用的不均衡，局部的資源的浪費，包括當不同的數據在一個系統里面存在的時候，它不好更好的分成。這是新的挑戰，我們思考是不是通過資源池或者解耦合的方式幫我們更好的解決現在的問題。

          3.0最終的落地會幫我們回答這個問題，1.0、2.0落地幫我們解答第一個和第二個問題。摸索的過程中，其實每一步的進展都是頗為不容易的，而2015年，我覺得對整個ODCC服務器工作，對天蝎是有實質意義的一年。我們做了幾件非常有影響力的事情，首先在部署規模上，去做開源、帶動行業做事情，我們最終要看結果，我們不買這個東西，光忽悠做標準，像朱華組長說的，我們光定標準、要求，不說怎么做，這個事情我覺得是不行的。我們要推動整個行業的應用和發展，在2015年，我們的整個部署規模是前面三年的規模，這是很重要的突破。我們預期今年更好。

         整體上，我們差不多20萬臺服務器的部署，在從機修的角度來講，從用電的角度來講，從社會的經濟效益來講都取得很好的突破，交付效益上，當我們把這個東西設計認證比較成熟，我們也在信息通信研究院的幫助下把它往整個行業標準上推動，我們在整個整機柜的整體設計開放出來，逐步形成一些標準。

        這就是天蝎，我覺得它不只是服務器的設計，而是對整個產業的重新塑造和重新升級的過程。從另一方面來講，價值方面的收益，剛才有提到，在機修方面的收益，其實通過過去4年多的運營，我們積累了大量線上的數據。共享架構、模塊化的設計，不只是幫我們節約成本，同時在數據中心交付效率方面極大幫到我們。隨著業務的迅速發展，比如騰訊或者淘寶的例子，當應對某個“雙十一”的促銷或者微信節日的促銷的時候，它的訪問量會迅速增長，可能在極短時間內部署上完臺機器，傳統模式下這個模式不現實。一臺一臺服務器做，數據庫自身的吞吐會成為瓶頸，要交付三五千臺機器需要花一兩個禮拜的時間，因為平時只有幾百臺。但是有整機柜一體化交付的時候，一天就可以交付三五千臺機器，而且不會有很大的壓力，這樣基本可以做到早晨到的機器晚上可以上線，極大提升資源交付的效率。

         為了配合整機柜的設計，整個數據中心還做了大量的改造和優化。到機柜來了之后，部署完了之后到晚上就可以上線用。另外運維上，設備的故障率提升會對運維帶來很大的挑戰，整機柜設計通過部件的共享，極大的減少了故障率，整機柜設計里面總的模塊絕對數量大量減少，帶動整個故障率的降低。整機柜設計里面，我們會裁減很多通用的服務器設計里面為了滿足各種不同場景需要的不同功能，把這些不要的功能再拿掉，可以持續降低故障率，帶來運維效率的提升。

        在經歷了這些發展之后，我們從一開始專注于一個產品，甚至一款主流配置設計，到現在能夠做更多元化的設計，能夠面向不只是BAT，我們作為決策委員會的運營商成員，甚至向其他行業的同行，比如我們現在和電力行業探討，也和金融行業接觸，希望為更多的人提供更優化的開放設計，其中幾個典型的產品，比如多節點服務器，可能是4U的設計，比如有四個節點或者八個節點，可以支持計算或者存儲，或者兩者結合，滿足彈性雇主的需求。另外整機柜自身的設計也得演進，在2.5到3.0，2.5我們做什么？我們會做更多更標準化的事情，我們統一一部分的主板設計，讓大家買到的東西一模一樣。這樣讓我們規避很多不必要的坑，這個東西你買了，出問題了，所有人都知道這樣做會出問題，大家就不會犯這樣的措。

        我特別要給大家推薦的是天蝎整機柜的冷存儲的機柜設計。隨著數據量的增長，大家花在存儲的成本很高，運營的功耗和采購成本可能占30%-40%，這塊成本比重很高，這個設計幫我們很好的解決了大量數據的存儲問題。再一個進展是生態方面，我覺得在發展的過程當中，尤其是在ODCC這個組織整個推動下面，我們做好自己的產品設計的同時，也推動整個生態的進一步完善。一開始我們只跟服務器廠商在合作，做服務器，后來我們看到其實這是更大的生態，也包含上下游，現在ARM等都加入ODCC的組織，成為我們的成員，共同推進多樣化架構的設計，滿足不同行業的需求。除了系統廠商之外，還有更多的關鍵的部件廠商也加入進來，這是一方面。

        第二方面的生態是講用戶生態，以前說這是BAT負責的事情，是不是只有超級互聯網才能用？不是，超級運營商也可以用。我們看到除了規模特別大的這種場景之外，中等規模的互聯網和一些企業的場景也能用到這個東西。

       第三個生態，數據中心生態。其實我想分享一個故事。上周我陪領導去西部的某個省考察我們是不是適合在那邊建數據中心，在和當地三大運營商分別溝通的時候，讓我非常震驚的是三個運營商在交流做數據中心整體設計規劃的時候，講的第一條是整個數據中心的設計是無縫間歇天蝎整機柜。還有一個已經蓋好的數據中心，整個框架結構已經做好了，基建做好帶我們參觀。我看到整個大院子的設計可以支持集裝箱的進入，還有大的卸貨平臺，有升降平臺、電梯、地板的承重，每個環節都按整機柜提出的要求做。這讓我感覺非常的欣慰，我們之前邀請中國電信、中國移動包括聯通加入我們組織里面，其中一個目的是希望推動運營商更好的支持設計的發展，今天我們發現西部的某個省大家也都關注這個事情，甚至朝著這個方向努力，整個數據中心的生態在日趨完善。

        回顧了天蝎一路走過來的歷程，我們做出了一些成績，也經歷了一些事。我們希望再往前走一步，能做的更好一些。這是我們整個工作組的討論下擬定的2016年的一個主要的工作。我們承諾在2015年3000個機柜的基礎上，今年保守做到四千個機柜，甚至更多，使整個規模有保障。幫助大家進入這個領域的時候，有足夠的餅可以劃分。推出這個事情，成本驅動就是我們的核心訴求之一，我們依然會持續優化和降低它在整個TCO.落實到具體的項目上，我們會推動天蝎2.5大規模落地和使用，推動天蝎多節點的設計，還有多節點里面的資源池化。剛才唐華斌說，去年年底到現在整個多節點有超過1萬個節點的交付，也有國內兩三個主要的系統廠商參與進來，所以多節點已經取得非常好的開局，我覺得這比當時的整機柜好很多。三是冷存儲系統，它目前還沒有形成規范，我們今年會標準化下來，把規范開放出來，使更多的人了解我們設計的優勢。四是天蝎3.0，我們今年的目標和承諾是做起來，因為這個事情提了三年多，準確說2012年我們就在提這個事，現在有些好的應用場景和技術解決方案可以幫忙落地。

       當然還有新的挑戰，除了做整個服務器系統層面的設計之外，整個計算和存儲發生了前所未有的變化，曾經我們一度擔心這個技術搞到今天沒得搞了，存儲像硬盤，每個單位的碟片的存儲密度和碟片的數量都無限趨近物理極限，下一步怎么做？數據的需求等等不斷增長，在以人工智能和深度學習的需求、推動，我們發現數據中心發生了新的變化，像GPU被引入進來，甚至在大數據領域。另外FPGA也進入數據中心等等。在存儲領域也是一樣，不同的廠商推出新的存儲建設，比如有人考慮用藍光解決存儲的問題。我們看到計算和存儲架構里面有新東西值得我們探索和做，我們下一步要做什么？我覺得還是有很多好的東西。

        最后，再迅速和大家分享一下我們關于探索和實踐方面的東西。一、我們做整機柜。我們覺得機柜就是一個數據中心。2012做整機柜會覺得是一個趨勢，數據中心端會從集中化方式向分布式走等，經過一段時間的演變，發現越來越明顯。這個耦合的結果是今天的整機柜支持自然風冷卻，把這個機柜拉到哪里插上電就是數據中心。事實上某些數據中心已經做到了。二、解耦合、資源池化推動下，未來數據中心可以像一臺服務器一樣工作，整個技術上的資源可以根據功耗、根據性能、通用性、易構性進行劃分，能夠更好的推動它在不同領域的加速和應用。在計算和存儲之間又可以根據數據存儲的需求、冷熱度的需求進行另外一個層次的劃分，進行很好的有機整合。

       在我們的實踐中，機柜本身或者機柜之間往模塊化整合過程中，可以迅速組建一個快速部署的模塊化數據中心。另外我們也去探索，剛才講了整合之后要去控制，看能不能實現IT設備和數據中心聯動，以前做IT是做IT，數據中心是數據中心，沒有關聯。數據中心要足夠的電和能，當我們把PUE做到極限的時候，我們看到只有聯動起來才能更節能。大家知道變頻空調，為什么叫變頻空調？空調的溫度隨著室溫的變化甚至體感溫度變化來調整。我們在數據中心也可以用這樣的概念進行控制，用IT和數據中心聯動，這些都是已經落地的東西。我們會在IT設備端進行更多的嘗試，嘗試用高溫、耐腐蝕的環境，國內的氣候環境很差。我們IT設備端支持高溫和耐腐蝕的運行場景，就可以使我們大江南北更多的地方建數據中心。剛才朱華講要做選址，我們放開更多IT設備的可能性的時候，對選址的負擔變得更小，提供更多的可能性。希望在今年或者明年把這部分內容加入整個天蝎和ODCC的分享里面來，更多開放資源給大家。

全網數據（www.fuypicc.com)注冊資金1000萬，隸屬于深圳市全網數據科技有限公司旗下品牌，是國內最專業的IDC服務應用提供商之一，是工信部認定的綜合電信業務服務商，依托中國電信,中國聯通,中國移動三大運營商形成三網合一，主營運營的數據中心包含：深圳,廣州,北京,上海,東莞,中山,佛山,香港,美國 等地專業級數據中心。

服務范圍：云主機／服務器托管／服務器租用／機柜租用／帶寬批發／CDN加速／專線上網／VPN等服務。

全網互聯擁有專業的技術團隊為您提供完美解決方案和數據中心服務,用心服務,放心托付。

提供全年無休365*7*24小時售后在線技術服務,用戶至上，用心服務每一位用戶，您可以把您的應用放心的交給我們。

聯系電話：0755-88820932