杭州2016年12月30日電 /美通社/ -- Kubernetes上游計劃在其1.6 發行版本中加入GPU功能，提升應用程序運行效率。因為很多應用使用GPU可以提升效率，比如大數據平臺應用TensorFlow通過使用GPU效率可以提升幾十甚至幾百倍。
那么，GPU是如何應用在Docker/K8S/TensorFlow這些平臺上起到提升效率的作用的呢？近日，才云新晉大神趙慧智用本篇文章給出了答案。在文中，趙慧智主要描寫了GPU在Docker、Kubernetes、TensorFlow以及Kubernetes＋TensorFlow領域中的應用，并介紹了在開發領域的實踐經驗，希望給大家帶來借鑒和指導意義，原文如下：
趙慧智
2016 年下旬加入才云，他是前HPE的Container team的Tech Lead，Kubernetes Member，在軟件研發領域有10多年的經驗。曾在HP和HPE工作五年多，先前負責過Linux Kernel及driver開發，后負責Container在HPE Server上的性能及團隊管理工作，之后負責Kubernetes/Mesos在HPE服務器上的硬件enablement及開源工作。
為什么離開惠普，加入才云？
2016年下旬，前惠普Kubernetes技術領域的GPU專家趙慧智加盟才云。趙慧智從國內Kubernetes現狀、未來發展趨勢幾個方面大致說了一下加入才云的原因：“當時自己對Kubernetes有很多想法，覺得在云平臺里面其實有很多有意思的事情。比方說，如何提供穩定的中間層來讓企業的業務更加的穩定和安全；如何降低硬件的成本；如何應對業務的突飛猛進和彈性支持，諸如此類。一開始喜歡Kubernetes，覺得在這兩個技術以后將在技術領域大有作為。在技術領域，了解到才云研發實力很強，并且在Kubernetes里面有影響力，來到公司體驗之后感覺工作氛圍很好，于是就過來了。”
對于Kubernetes1.6中GPU功能的想法
趙慧智說：“關于Kubernetes1.6，我是希望把GPU的功能加進去，因為目前很多應用都能在GPU上跑出比CPU高很多的性能，而在云里面一個很好的地方是通用化，例如一個應用遷移到另外一個VM 或者Server上可以繼續運行，但是通用化也導致了一些硬件特性被屏蔽了，GPU就是其中之一，所以在Kubernetes這樣一種container編排的環境中如果能支持GPU，那么將會對一些應用的性能產生質的影響，例如深度學習、AI 等。”
以下是趙慧智GPU分享具體內容：
GPU
圖形處理器（英語：graphics processing unit，縮寫：GPU），又稱顯示核心、視覺處理器、顯示芯片，是一種專門在個人電腦、工作站、游戲機和一些移動設備（如平板電腦、智能手機等）上運行繪圖運算工作的微處理器。
GPU較大的好處就在于可以通過遠遠多于CPU的core數量來達到并行計算。
CUDA（Compute Unified Device Architecture，統一計算架構）是由NVIDIA所推出的一種集成技術，是該公司對于GPGPU的正式名稱。通過這個技術，用戶可利用NVIDIA的GeForce 8以后的GPU和較新的QuadroGPU進行計算。亦是首次可以利用GPU作為C-編譯器的開發環境。NVIDIA營銷的時候，往往將編譯器與架構混合推廣，造成混亂。實際上，CUDA可以兼容OpenCL或者NVIDIA的C- 編譯器。
CUDA提供了對于一般性通用需求的大規模并發編程模型，使用戶可以對NVIDIA GPU方便的對于 GPU進行并發性編程。
CUDA編程模型與傳統編程模型比較：
樣例：將數組a與數組b相加，并將結果賦值給c
傳統方式:
數組會按照從a[0] + b[0] 一直順序執行到a[n] + b[n]。
多核計算方式：
如果進行編譯優化會在特定操作系統里面把這個數組的相加分配到不同的core里面執行，這樣所有的計算就會按照core的數量進行并發，那么我們可以看到在數組操作中，效率的高低取決于core的多少。而通常個人的計算機一般會有2-8個core不等，而大部分服務器也很少會超過100個core。然而，一個GPU很容易就可以達到上千個core，這樣在進行并行計算的時候可以實現十幾甚至上百上千倍的效率提升。而GPU的價格遠遠低于相同個數core的CPU（多個）的價格。既然CUDA可以提供一般性的并發編程模型，那么我們來看看在CUDA平臺上上面的代碼該怎么寫。
代碼示例：
申請一塊GPU的內存，然后就可以把所有的并發操作都交給GPU。
GPU in Docker
關鍵詞：--device
Docker是具有把device通過cgroup里面的deivce來mapping到container上的能力的，我們可以通過“--device”來達到這個目的。
docker run -it --device/dev/nvidia0:/dev/nvidia0 \ // 第一個 Nvidia 卡
--device /dev/nvidia1:/dev/nvidia1 \ // 第二個 Nvidia 卡
--device /dev/nvidiactl:/dev/nvidiactl \ // 這個是作為Nvidia操作的必須mount的設備
--device /dev/nvidia-uvm:/dev/nvidia-uvm \ // 這個是作為Nvidia操作的必須mount的設備
tf-cuda:v1.1beta/bin/bash
然后我們可以通過“docker inspect:” 來檢查container所指定的設備。
然后我們在container的內部就可以看到相應的設備并且可以使用了。
在設備已經可以綁定了之后，我們就可以提供driver和CUDA的支持了，而Nvidia給了一個關于如何在 container層面支持GPU的原型，是基于Docker的，叫做Nvidia Docker。
Nvidia Docker所提供的功能：
Volume: Nvidia driver/NVML tools.
Assign GPUs to container automatically.
Basic cuda container build.
Multi-platform environment.
目前我們已經支持了如何在container的層面支持GPU，但是這還遠遠不夠在container編排環境里面支持GPU，譬如我們在Kubernetes里面支持GPU。
GPU in K8S:
在Kubernetes里面我們做一些關于GPU的工作才能讓GPU能夠被調度起來，功能如下：
GPU discovery.(kubelet)：加入這個功能是為了能夠讓Kubelet在啟動的同時就可以查找本機上的 GPU，而這個GPU消息可以發送給apiserver，但apiserver里面有GPU的信息后，就可以通過kube-scheduler進行調度了。
GPUassignment/release. (kubelet)：當一個container存在GPU需求的時候，我們可以通過docker的--device 層面來支持對于GPU的assign和release Resource API.(kube-apiserver/kube-scheduler)：在 kube-scheduler和kubelet之間需要一個關于GPU資源的協議支持，譬如目前有CPU，memory等，為了讓GPU能夠被調度，我們需要引入GPU作為一個資源可以被調度。
GPU in TensorFlow:
在分布式TensorFlow環境里面，各個worker不互相通信，只會跟parameter server通信。所以即使將各個worker部署到不同的機器上也不會造成性能損耗。目前TensorFlow支持GPU進行training的運算，但需要進行編譯時設置。
GPU in K8S + TensorFlow
由于在部署分布式TensorFlow時極其繁瑣，并且在每次擴容都需要進行很多設置和操作。所以提供基于容器化的TensorFlow并運行在Kubernetes上就使其變得相當容易，而我們需要做的，就是在上面提到的如何讓Kubernetes支持GPU的情況下，將TensorFlow容器化。
