亞馬遜云科技首席執行官Matt Garman在re:Invent年度大會上向拉斯維加斯的60000名與會者和另外400000名在線觀看者發表了長達三小時的主題演講，讓他們從這位新領導人那里聽到了很多消息。Garman是在2006年加入AWS的，今年早些時候開始擔任首席執行官。

這次大會專門面向構建者和開發者，有1900場現場會議，3500名演講者，很多會議環節是由客戶、合作伙伴和AWS專家主持的。Garman在他的主題演講中宣布了一系列旨在讓開發者工作更輕松、更高效的進展。

以下是他分享的九項關鍵創新：

AWS將在AI領域發揮重要作用

Garman在演講開始時宣布，AWS最新的Trainium2芯片和EC2 Trn-2實例將全面上市。他將這些實例描述為生成式AI最強大的實例，而這要歸功于AWS內部開發的定制處理器。

他說，Trainium2的性價比比目前由GPU驅動的實例高出30%到40%。Garman 說：“這些是專為尖端的AI訓練和推理等苛刻工作負載設計的。”Trainium2為客戶提供了“更多選擇，讓他們可以考慮那些最適合他們正在處理的工作負載的實例?！?

Garman表示，Beta測試顯示出“令人印象深刻的早期結果”。他說，進行測試的組織(包括Adobe、Databricks和高通)都預計這些新芯片和實例將提供更好的結果和更低的總擁有成本。他說，一些客戶預計這比替代方案要節省30%到40%的成本?！案咄▽⑹褂眠@些新的芯片提供可以在云端訓練然后在邊緣部署的AI系統，”他說。

宣布這一消息的時候，很多媒體將Trainium2視為Amazon想要與Nvidia開戰。當在分析師問答環節被問及這個問題的時候，Garman強調說事實并非如此。AWS開發自有芯片的目標是讓整個AI芯片市場變得更大，讓每個人都能從中獲益。這就是Amazon涉足處理器行業的一種方式，沒有理由認為它會改變合作伙伴方式，越來越多的Nvidia工作負載運行在AWS云中，這一點不會改變。

新服務器可容納龐大的模型

如今的模型已經變得非常龐大而且非常快，具有數千億到數萬億個參數，因此無法放在單個服務器上。為了解決這個問題，AWS宣布推出了EC2 Trainium2 UltraServers。它們連接了4個Trainium2實例(64個Trainium2芯片)，所有實例都通過高速的、低延遲的Neuronlink相互連接。

這為客戶提供了一個超級節點，這個超級節點的計算能力超過83 petaflops。Garman表示，這將“對延遲和性能產生巨大的影響”，使非常大的模型能夠加載到單個節點中，從而提供更好的延遲和性能，而無需將其分散到多個節點上。Garman表示，Trainium3芯片將于2025年上市，它將滿足新一代AI不斷變化的需求，給客戶提供推理所需的環境。

利用Nvidia的Blackwell架構

Garman表示，AWS是客戶使用Nvidia Blackwell架構最簡單、也是最具成本效益的一種方式。AWS公布了基于Blackwell的全新P6系列實例，這些新實例將于2025年初推出，采用Nvidia最新的GPU，計算速度將比當前一代GPU快2.5倍。

AWS與Nvidia在運行生成式AI工作負載方面的合作取得了重大進展。Bedrock為客戶提供了模型選擇：它不是一個統治了所有模型的模型，而是各種模型的單一來源，包括AWS新發布的Nova模型。應用和生成式AI應用之間不會有區別，生成式AI將成為每個應用的一部分，利用推理來增強、構建或更改應用。

Garman說，Bedrock之所以能引起客戶的共鳴，是因為它提供了把生成式AI集成到生產應用中所需的一切，而不僅僅是概念驗證。他說，客戶開始看到它帶來的真正影響。領先的生物技術和制藥公司Genentech希望通過使用科學數據和AI快速識別和定位用于試驗的新藥物和生物標志物，以加速藥物發現和開發。尋找所有這些數據，就需要科學家搜索很多的外部來源和內部來源。

Genentech使用Bedrock設計了一個生成式AI系統，讓科學家可以詢問有關數據的詳細問題，系統會從龐大的庫中識別適當的數據庫和論文，綜合洞察和各種數據源。

它總結了獲取信息的來源并引用來源，這對于科學家開展工作非常重要。Genentech的科學家過去需要數周時間才能完成一次查找，而現在只需幾分鐘即可完成。

據Garman稱，Genentech預計將把原來需要5年時間的手動工作實現自動化，加快提供新藥。他說：“領先的ISV如Salesforce、SAP和Workday，他們正在把Bedrock深入集成到他們的客戶體驗中，以提供生成式AI應用。”

Bedrock模型提煉簡化了復雜的過程

Garman表示，AWS讓企業更容易采用大型的、功能強大的前沿模型，發送他們提出問題的提示?！叭缓螅闶占袛祿陀纱说贸龅拇鸢福⒗眠@些輸出和問題來訓練一個較小的模型，使其成為某一特定領域的專家。這樣，你就會得到一個更小型的、更快的模型，這個模式知道怎樣回答一組特定的問題，這對于提供專家模型是非常有效的，但需要機器學習的參與。你必須管理所有的數據工作流和訓練數據，必須調整模型參數，考慮模型權重，這非常有挑戰性，這時候Bedrock中的模型提煉就會發揮作用了?！?

提煉后的模型可以比提煉它們的模型快500%，成本低75%，這是一個巨大的差異，“Bedrock可以做到這一點，”他說。這種成本差異可以將生成式AI的投資回報率從過于昂貴而無法投入生產，轉變為非常有價值。你通過應用發送Bedrock示例提示，它就會完成所有的工作。

但獲得正確的模型只是第一步?！吧墒紸I應用真正的價值在于將企業數據與智能模型結合在一起，這樣，你就會獲得真正與眾不同且有趣的結果，這些結果對你的客戶至關重要。你的數據和IP確實發揮了重要的作用，”Garman說道。

AWS擴展了Bedrock對各種格式的支持，添加了新的矢量數據庫例如OpenSearch和Pinecone。Bedrock使用戶能夠獲得正確的模型，容納企業數據，并為應用可以做什么以及響應是什么設定一個界限。

讓客戶能夠部署帶有護欄的、負責任的AI

Bedrock Guardrails護欄可以輕松定義應用的安全性并實施負責任的AI檢查。Garman說：“這些是你的模型指南，你只希望你的生成式AI應用談論相關主題。例如，假設你有一個保險應用，客戶來詢問你擁有的各種保險產品，你很高興讓它回答有關政策的問題，但你不希望它回答有關政治的問題或提供醫療建議，對嗎?你想要這些護欄說，‘我只希望你回答這個領域的問題?！?

Garman說，這對于開發生產應用來說是一項重要的能力。他解釋說：“這就是Bedrock為何如此受歡迎的原因。去年，很多公司都在為生成式AI應用構建POC，而像Guardrails這樣的功能并不那么重要。讓模型‘做很酷的事情’是可以的。但是，當你將生成式AI深度集成到你的企業應用時，在轉向生產應用時你就必須擁有很多這樣的功能。”

讓開發者更容易開發

Garman說，AWS希望幫助開發者進行創新，讓他們擺脫無差別的繁重工作，這樣他們就可以專注于創造性的事情，“讓你正在構建的東西變得獨一無二”，而生成式AI就是這種能力的一個巨大加速器。它讓開發者可以專注于這些部分工作，推遲一些無差別的繁重工作。AWS在2023年首次推出Q Developer，它對開發者來說就是一位“AWS專家”，是“軟件開發最強大的生成式AI助手”。

Q Developer幫助Datapel Systems“實現了高達70%的效率提升，縮短了部署新功能所需的時間，更快速地完成了任務，最大限度地減少了重復操作”，Garman說。

但這不僅僅是關于效率。Financial Industry Regulatory Authority (FINRA)通過使用Q Developer幫助創建性能更好的、更安全的軟件，代碼質量和完整性提高了20%。Garman說，Amazon Q“在市場上所有多行編碼助手中，擁有最高的認可率”。

然而，編碼助手只是大多數開發者所需功能中的一小部分。AWS的研究表明，開發者每天只花一個小時進行編碼，其余時間花在其他端到端的開發任務上。

Amazon Q的三個新自主代理

據Garman介紹，用于生成用戶測試、文檔和代碼審查的自主代理現在已經全面上市。第一個自主代理讓Amazon Q能夠自動生成端到端的用戶測試，利用高級代理和整個項目的知識為開發者提供全面的測試覆蓋。

第二個自主代理可以自動創建準確的文檔。Garman說：“它不只是為新代碼這樣做，Q代理也可以應用于遺留代碼。因此，如果代碼庫沒有完美記錄，Q也可以理解代碼在做什么。”

第三個新的Q代理可以執行自動代碼審查。它將“掃描漏洞，標記可疑的編碼模式，甚至識別潛在的開源軟件包風險”，確定它認為部署風險的位置，并提出緩解措施以使部署更安全。

“我們認為這些代理可以大大減少花在真正重要、但可能毫無差別的任務上的時間，讓開發者把更多時間花在那些增值活動上，”他說。

Garman還宣布了“Q Developer和GitLab之間的深度集成”。Q Developer功能現在已經深度嵌入GitLab平臺，“這將有助于支持很多Duo Assistant的主流方面”，團隊可以訪問Q Developer功能，這些功能在GitLab工作流程中以原生方式提供。Garman表示，隨著時間的推移，未來還會添加更多的功能。

大型機現代化

Q Developer的另一項新功能是執行大型機現代化，Garman稱這是“迄今為止最難遷移到云中的功能”。Q Transformation for Mainframe提供了多個代理，可以幫助組織簡化這種復雜且往往令人不知所措的工作流程?！八梢赃M行代碼分析、規劃和重構應用。大多數大型機代碼都沒有很好的文檔記錄。人們有數百萬行的COBOL代碼，但不知道這些代碼是干什么用的。Q可以獲取遺留代碼并構建實時文檔，讓你了解它的作用，它可以幫助你了解要現代化哪些應用。”

Garman表示，目前還不可能將大型機遷移變成“一鍵式的過程”，但使用Q可以將其變成“持續幾個季度的過程”，而不是需要好幾年的時間。

集成分析

Garman介紹了下一代Amazon SageMaker，稱其是“滿足你所有數據、分析和AI需求的中心”。他說，AWS將通過添加“最全面的數據、分析和AI工具集”來擴展SageMaker。SageMaker擴展了分析功能，現在提供“快速分析、數據處理、搜索數據準備、AI模型開發和生成式AI所需的一切”，以實現企業數據的單一視圖。

他還介紹了SageMaker Unified Studio，“一個單一的數據和AI開發環境，允許你訪問組織中所有數據并使用最適合這種工作的工具對其進行操作”。Garman表示，目前處于預覽階段的SageMaker Unified Studio“整合了分析師和數據科學家目前在AWS中各種獨立工作室使用的功能”，它提供了獨立的查詢編輯器和各種可視化工具，例如EMR、Glue、Redshift、Bedrock和所有現有的SageMaker Studio功能。

即使有了所有這些新產品和升級產品、解決方案和功能，Garman仍承諾會推出更多產品。