神經網絡正在成為Facebook，谷歌和微軟等公司開發(fā)的最前沿技術的常用產品。這些機器神經網絡具有一些令人印象深刻的功能，例如翻譯語言，識別支票上的書寫數(shù)字和字母，以及識別照片中的面部。但是，他們需要有能力的底層技術來幫助他們執(zhí)行這些操作。傳統(tǒng)上，神經網絡可以在CPU上運行。
然而，CPU是設計用于執(zhí)行所有類型的不同功能的處理器，并且在它們上運行神經網絡是功率和時間的低效使用。設計用于支持AI和神經網絡的處理器芯片可以為神經網絡帶來更快，更節(jié)能的生產。谷歌最近開發(fā)了Tensor Processing Unit(TPU)以實現(xiàn)這一目的。
從2015年開始，該公司已在其大多數(shù)大型數(shù)據(jù)中心部署了TPU，以幫助為其在線服務提供動力。他們剛剛發(fā)布了此實施的數(shù)據(jù)，結果令人印象深刻。谷歌稱，通過部署TPU，他們可以取消建設額外15個數(shù)據(jù)中心的計劃。谷歌聲稱他們的TPU比競爭對手的圖形處理器(GPU)和CPU快15到30倍，并且能源效率提高了30到80倍。TPU有助于執(zhí)行各種基本的Google任務，例如從搜索引擎中選擇結果來解釋Android設備上的語音命令。像TPU這樣專門針對人工智能和機器學習而設計的芯片的開發(fā)代表了人工智能開發(fā)和運營方式的重大變化。
GPU與TPU
GPU：Graphics Processing Unit圖形處理器。GPU原本需求大部分都來源于PC端大型游戲對圖形處理的需求，現(xiàn)由于科技發(fā)展?jié)u漸在移動端也慢慢崛起。
大多數(shù)競爭對手都集中在Tensor Processing Unit(TPU)上 - 一種加速張量操作的新型芯片，這是深度學習算法的核心工作量。 Alphabet，Intel和Wave Computing等公司聲稱，TPU比深度學習的GPU快十倍。 對這種差異的一種解釋是GPU首先設計用于圖形，防止在芯片的大部分上進行深度學習操作。
例如，在NVIDIA最新的Volta GPU核心中，如下所示，深度學習操作在右側的兩個Tensor核心上執(zhí)行。 左側的各種執(zhí)行單元要么是輕度利用，要么不是深度學習的最佳選擇.2新一代深度學習初創(chuàng)公司似乎正在構建完全由張量核心和片上存儲器構成的芯片。
理論上，這樣的TPU應該比GPU具有更高的利用率并提供更好的性能。
到目前為止，現(xiàn)實還沒有趕上理論。在十幾家構建深度學習芯片的公司中，只有谷歌和Wave Computing公司有工作芯片，正在進行客戶試用。雖然谷歌聲稱其TPU比GPU更強大，更節(jié)能，但獨立驗證尚未浮出水面。谷歌的第二代“云TPU”可能消耗超過200瓦的功率，使其與NVIDIA的GPU相同。 Wave Computing表示，其3U深度學習服務器可以在40分鐘內訓練AlexNet，比NVIDIA的P100 DGX-1服務器快三倍。雖然令人印象深刻，但其性能與Wave Computing聲稱其TPU快1000倍相比相形見絀。
谷歌在2016年5月的I/O大會，首次公布了自主設計的TPU，2017年谷歌I/O大會，谷歌宣布正式推出第二代TPU處理器。
TPU沒有超越GPU的一個重要原因是NVIDIA GPU架構的快速發(fā)展。NVIDIA已經超過四代GPU，其深度學習芯片的架構效率提高了大約10倍。下圖顯示了每秒需要多少個晶體管才能提供100萬次深度學習操作。晶體管數(shù)量越少，架構效率越高。如果所有芯片供應商都受到相同晶體管預算的限制，那么具有最佳架構效率的設計應該能夠提供最高性能。除了英偉達，還有AMD，ARM家的Mali，Imagination的PowerVR，Qualcomm的Adreno等。
不過在今年的Google I/0 2018大會上，谷歌發(fā)布了新一代TPU處理器——TPU 3.0。TPU 3.0的性能相比目前的TPU 2.0有8倍提升，比標準CPU和GPU快15-30倍，能效高出30-80倍。此外，谷歌還發(fā)布了Edge TPU，特定用途 ASIC 芯片，專為在設備上運行 TensorFlow Lite ML 模型而設計。針對Edge TPU的新設備是：AIY Edge TPU Dev 開發(fā)板和 AIY Edge TPU 加速器，二者皆采用 Google 的 Edge TPU 芯片。
連接設備的深度學習芯片
許多初創(chuàng)公司不是在服務器市場上與NVIDIA競爭，而是為連接設備構建深度學習芯片。 這是一個新興市場，沒有根深蒂固的領導者和每年數(shù)百億臺設備的可尋址市場。 終端設備的芯片功率要求低至1瓦。 NVIDIA的SoC(片上系統(tǒng))設計需要幾十瓦，這使得它們不適合這些設備中的許多設備。 在某種程度上，NVIDIA已經承認了這個市場。 2017年5月，它宣布將在其Xavier芯片上開源其深度學習加速器(DLA)的設計，這是一種類似TPU的單元。 通過這樣做，它表明設備市場太大而且多樣化，無法滿足單芯片設計需求，客戶最終會想要定制設計，類似于當今的智能手機市場。
谷歌的競爭對手注意到了TPU，并正在努力開發(fā)自己的AI目標芯片。 一些谷歌工程師正在尋求開發(fā)自己的芯片的初創(chuàng)公司，而英特爾，高通和IBM等經典芯片制造商正在努力做同樣的事情。 這些公司認識到，AI芯片可以幫助將所有新的效率帶入許多公司用于支持其業(yè)務的數(shù)據(jù)中心。
許多不同的創(chuàng)業(yè)公司正在這個領域涌現(xiàn)，相信他們可以開發(fā)和培訓他們的神經網絡更快或更好地執(zhí)行不同的任務。 在RUMJog，我們繼續(xù)研究和監(jiān)控機器學習和AI支持技術的發(fā)展。
