今年，瘦身成功的亞馬遜云科技高級副總裁Peter DeSantis，用生成式AI親手創(chuàng)作了幾張re:Invent《周一晚間直播》的配圖，來可視化他的演講。
這也為整場活動定下了基調(diào)，其實亞馬遜云科技在底層創(chuàng)新上一直有著悠久的歷史，從芯片設(shè)計到計算架構(gòu)，再到AI加速，每一步都在推動技術(shù)邊界的發(fā)展。
自研芯片的技術(shù)版圖
亞馬遜云科技已經(jīng)擁有超過十年“自研芯片”的歷程，已推出的四大自研芯片產(chǎn)品組合包括：六代Nitro系統(tǒng)、四代Graviton、兩代Trainium和Inferentia。
亞馬遜云科技在2018年re:Invent大會上發(fā)布了基于ARM架構(gòu)的第一代Amazon Graviton。此后，Graviton芯片不斷針對現(xiàn)實的工作負載進行性能優(yōu)化：第二代專注于橫向擴展性能，第三代聚焦高計算需求的專業(yè)工作負載，而第四代則成為專為云計算打造的性能最強芯片。
Peter DeSantis指出，過去兩年間，新投產(chǎn)的CPU算力中有超過50%運行在Amazon Graviton上。
與此同時，AWS Nitro System重新定義了服務(wù)器架構(gòu)，從根本上革新了云的構(gòu)建和保護云的方式。AWS也將AWS Nitro System的安全性拓展到Amazon Graviton4，通過兩者的結(jié)合，打造出亞馬遜云科技迄今為止最安全的計算產(chǎn)品之一。
AI加速器的硬核進化
Trainium加速器不屬于傳統(tǒng)的CPU或GPU，其采用了脈動陣列架構(gòu)，是專門針對AI工作負載優(yōu)化過的硬件架構(gòu)。
“人工智能工作負載不是橫向擴展型的工作負載，而是擴張類型的工作負載。”Peter DeSantis說道。亞馬遜云科技采用“擴張”的方式，專注于提高單個系統(tǒng)的容量，而不是采用“橫向擴展”的方式，構(gòu)建多個相同的系統(tǒng)，在多臺機器上分配工作負載。
在傳統(tǒng)CPU和GPU中，每個計算步驟通常需要從內(nèi)存讀取數(shù)據(jù)、執(zhí)行計算后，再將結(jié)果寫回內(nèi)存。這種頻繁的內(nèi)存操作會導致性能瓶頸，尤其是在需要大量帶寬的AI任務(wù)中。
脈動陣列設(shè)計目的是高效處理大規(guī)模的矩陣或張量運算，脈動陣列通過將計算結(jié)果直接從一個處理單元傳遞到下一個處理單元，減少了對內(nèi)存的訪問需求，從而降低了內(nèi)存帶寬的壓力。
Trainium2 Server也得益于此，其是目前亞馬遜云科技最強大的機器學習服務(wù)器，其擴張的速度也超過了曾經(jīng)所有的服務(wù)器。現(xiàn)場還第一次展示了AWS Trainium2 UltraServer，其設(shè)置2個機架、4個服務(wù)器和64個Trainium加速器，以超高速的NeuronLink連接在一起。AWS Trainium2 UltraServer提供相比當前EC2 AI服務(wù)器多達5倍的計算容量和10倍的內(nèi)存，算力峰值擴展到83.2PFLOPS。
同時推出全新Trainium3，其采用3nm制程的芯片，與上代Trainium2相比，計算能力增加2倍，能源效率提升40%。Trainium3專為滿足下一代生成式AI工作負載的高性能需求而設(shè)計，有助客戶更快地建立更大的模型，由Trainium3驅(qū)動的UltraServers預(yù)計將比 AWS Trainium2 UltraServer的效能高出四倍。
亞馬遜云科技同時也注意到推理性能優(yōu)化的關(guān)鍵性需求，宣布了Latency-optimized inference option for Amazon Bedrock，使各種模型可以獲得最佳的推理性能。借助這一優(yōu)化，Claude 3.5 Haiku在亞馬遜云科技上的運行速度比其他平臺快了60%。
AI生態(tài)的未來棋局
Anthropic 從成立那天起，就靠著前沿的 AI 技術(shù)圈足了眼球。11 月 23 日，亞馬遜再度追加40億美元投資，使總投資推高到80億。這可不只是砸錢，而是在下一盤關(guān)于AI未來的大棋。
Anthropic快速發(fā)展的背后，離不開亞馬遜云科技的強大技術(shù)支撐。其Amazon Trainium和 Amazon Inferentia芯片，不僅顯著提升了Claude模型的訓練和推理性能，還顯著降低了成本。11月4日，Claude 3.5 Haiku也在Amazon Bedrock中正式可用。
Anthropic還在《周一晚間直播》中宣布了Project Rainier項目，計劃在數(shù)百個Amazon Trainium 集群上進行訓練，構(gòu)建出更快的、更可擴展的AI，以支持Anthropic的未來模型開發(fā)。
亞馬遜云科技還有很多底層基礎(chǔ)架構(gòu)的創(chuàng)新，從性能提升到成本降低，每一項突破都在重新定義AI的技術(shù)邊界。