ChatGPT的驚艷表現(xiàn)牽動了全球科技愛好者的心弦,僅僅2個月就實現(xiàn)了用戶數(shù)從0到1億的蛻變。ChatGPT能準確地理解語義并能進行流暢和較為正確的問答。多模態(tài)的大模型具備繪畫、生成視頻以及編寫代碼的能力。擴散模型的運用讓人感到智能“涌現(xiàn)”的魅力,大模型的綜合能力和效率甚至達到了專家級水平。
就在眾多企業(yè)高管面對如此重大技術變革而感到不知所措和迷茫、焦慮時,那些對技術有著敏銳洞察力并勇于擁抱變革的企業(yè)已開始摩拳擦掌、躍躍欲試了。
沒有萬張加速卡,企業(yè)無緣大模型?
訓練大模型需要巨大的算力,然而這些企業(yè)發(fā)現(xiàn),在垂直行業(yè),可借助各類開源模型,以及自己企業(yè)所積累的大量數(shù)據(jù)和經(jīng)驗,通過微調(diào)技術的再訓練,就可以構(gòu)建一個垂直領域的GPT(Generative Pre-Trained Transformer 生成式預訓練Transfomer模型)模型。
企業(yè)真正要落地GPT卻不是件容易的事,擺在眼前的就有三大挑戰(zhàn)。在證券機構(gòu)執(zhí)掌技術團隊多年、出任公司CTO的顏云峰表示:“我們首先遇到的就是算力難題。雖然微調(diào)技術并不像大模型那樣需要成千上萬張的AI加速卡,但所需的算力也是有極高的要求。這就需要企業(yè)能構(gòu)造一個可擴展、能持續(xù)演進的算力發(fā)展架構(gòu)。”
“第二是數(shù)據(jù)安全難題。無論是數(shù)據(jù)還是模型都是企業(yè)多年積累的高價值數(shù)據(jù)資產(chǎn)。因此無論在計算、存儲中都要保障數(shù)據(jù)資產(chǎn)的安全。”
“第三是部署與運維難題。AI帶來的新算力、存儲需求要與原有IT系統(tǒng)融合、互通,加快數(shù)據(jù)流通的同時也增加了IT部署與運維的難度。”
持續(xù)創(chuàng)新應立即行動,但要做好五方面準備:
“希望通過持續(xù)創(chuàng)新提高競爭力的公司一定會選擇立即行動。雖然這項技術還不成熟,但這也取決于公司自身的條件。任何AI的部署都是個非常復雜的工程。如果企業(yè)要實現(xiàn)規(guī)模化和可持續(xù)的生產(chǎn),就需要在流程、技術和開發(fā)上做大量的準備工作。”HPE與AI云服務業(yè)務發(fā)展總監(jiān)Edmondo Orlotti這樣表示。
對此,對那些堅定地期望利用GPT創(chuàng)新的企業(yè)給出了五點建議,他表示:
“第一,要評估企業(yè)數(shù)據(jù)的成熟度水平。即戰(zhàn)略、組織和技術能力,使其能夠利用人工智能從數(shù)據(jù)中創(chuàng)造價值時,生成式人工智能才能生存和發(fā)展。但據(jù)HPE最新的全球調(diào)查顯示,絕大多數(shù)組織在此能力上還存在巨大的差距。”
“第二,在數(shù)據(jù)架構(gòu)和治理方面,企業(yè)需要搭建一個統(tǒng)一的公司級的數(shù)據(jù)架構(gòu)和治理平臺。完善數(shù)據(jù)架構(gòu)和數(shù)據(jù)治理平臺才能以優(yōu)質(zhì)的數(shù)據(jù)不斷進行訓練,以此推動企業(yè)的生產(chǎn)和服務不斷地向好發(fā)展。”
“第三,做好采用混合平臺的準備。 模型訓練和推理可以在大型語言模型供應商(如OpenAI、Aleph Alpha、Google)運營的集中式AI超級計算機上運行,但從長遠來看,會有各種原因會導致公司必須建立一個混合或邊緣到云的平臺。具有實時推理的用例要求模型在本地AI基礎設施上運行,以盡量減少延遲。但隨著訓練數(shù)據(jù)越來越多地分布在各地,企業(yè)就要匯總數(shù)據(jù),而不是將其集中起來,因為集中地數(shù)據(jù)成本極高且速度慢、不安全。”
“第四,知識產(chǎn)權(quán)和版權(quán)問題。生成式人工智可能是未來十年決定性技術之一,將對企業(yè)未來的發(fā)展起到戰(zhàn)略性作用。可以預見,大型語言模型市場將被全球少數(shù)幾個供應商所主導,這使得知識產(chǎn)權(quán)和版權(quán)將成為生成性人工智能的一個關鍵影響因素。企業(yè)應盡量減少對外的版權(quán)依賴和注重保護自身的知識產(chǎn)權(quán)。企業(yè)應采用混合方法規(guī)避相關風險,在本地運行具有版權(quán)的的大型語言模型。”
“第五,流程整合。企業(yè)在規(guī)劃人工智能應用時,往往忽略了將其整合到現(xiàn)有的運營和技術流程中,這是造成人工智能項目失敗的主要原因。企業(yè)應建立起包括應用和數(shù)據(jù)生命周期的管理、安全、運營規(guī)劃和控制流程、運營安全和風險管理的各完善體系。”
HPE “四大能力”應對“三大挑戰(zhàn)”,GPT解決方案讓大模型飛入尋常“企業(yè)”家
不論是大模型還是以LoRA這樣的微調(diào)方式,都需要讓模型適配不同算法和數(shù)據(jù)集,就需要底層硬件具備“由低向高”平滑過渡的整體解決方案。進而滿足不同企業(yè)部署不同規(guī)模模型實現(xiàn)合理投入產(chǎn)出的方案。而這正是HPE GPT整體解決方案的優(yōu)勢所在,其核心就是算力和數(shù)據(jù)讀寫能力。
HPE通過GPT方案的四大能力來應對顏云峰所提出的三大挑戰(zhàn)。
第一,靈活的動態(tài)調(diào)整能根據(jù)業(yè)務進行適配。
降低入門門檻,實現(xiàn)無縫銜接擴展,完美配合企業(yè)從入門到發(fā)展壯大的各階段以及根據(jù)產(chǎn)品研發(fā)的進展動態(tài)調(diào)整是這一方案的特色之一。
計算資源上,企業(yè)可以從HPE ProLiant 系列服務器開始入門。HPE ProLiant服務器經(jīng)過優(yōu)化設計,可以為組織的數(shù)據(jù)密集型工作負載提供超高性能。與此同時,HPE ProLiant Gen11支持多種架構(gòu),包括第四代AMD EPYC?處理器,第四代Intel®Xeon® Scalable處理器,以及Ampere®Altra®和Ampere®Altra®Max云原生處理器。
進階級的企業(yè)可以選擇HPE Apollo 6500 服務器。它采用了業(yè)內(nèi)領先的硬件配置與性能參數(shù),HPE Apollo 6500 系統(tǒng)成為人工智能領域最高端的引擎。不僅是GPU與計算架構(gòu)進行了升級,在計算、網(wǎng)絡和存儲各個方面都不會有性能瓶頸。
HPE Apollo 6500
最高8顆GPU計算架構(gòu),并支持NVLink2.0協(xié)議。NVLink能在GPU與GPU以及GPU與CPU間實現(xiàn)高帶寬直連的快速通訊機制。單個NVIDIA Tesla V100 GPU 即可支持多達 6 條NVLink鏈路,總帶寬為300Gb/秒,是PCIe 3.0帶寬的10倍。NVLink2.0高效混合立方網(wǎng)格是目前最為高性能的解決方案。用戶也可以使用基于PCIe的4:1或8:1的GPU:CPU連接。不同拓撲在高性能與易用性上各有優(yōu)勢,適用各種場景,用戶可以根據(jù)業(yè)務模型靈活的選擇。
HPE Apollo 6500 不僅能滿足各類深度學習應用場景需求。其高度易用性和靈活性,充分降低了構(gòu)建高性能人工智能系統(tǒng)的門檻,企業(yè)可以在HPE Apollo 6500 構(gòu)建的堅實基礎架構(gòu)上以最短的時間完成對各類算法的訓練。
第二,“6個9”的高可用性確保企業(yè)數(shù)據(jù)資產(chǎn)高效安全。
高達“6個9”的高可用性是HPE無論在計算還是存儲上的標配。同時HPE存儲支持遠程復制對等持久性、保護模板、快照、克隆等多種數(shù)據(jù)保護措施。在All-NVMe的加持下能實現(xiàn)高性能、超低延遲的AI運算。
存儲方面也為不同的企業(yè)提供了適合不同場景靈活、可持續(xù)發(fā)展的路線。GPT為代表的AI訓練與預測需要更快、更大的存儲。NVMe擁有更短的IO路徑,更大的隊列深度與寬度,以及更簡單的協(xié)議堆棧等優(yōu)勢,同時,NVMe增加了多隊列特性,對并行任務的友好設計也使得系統(tǒng)負載更加均衡,使閃存介質(zhì)的性能得以充分發(fā)揮,NVMe SSD正全面替換SAS SSD和SATA SSD。
HPE Alletra是一款支持端到端NVMe的閃存系統(tǒng),除了介質(zhì)層NVMe SSD之外,還支持前端的NVMe-oF、以及數(shù)據(jù)處理層NVMe SCM,從而在整個數(shù)據(jù)鏈路上擺脫了傳統(tǒng)存儲陣列的瓶頸,性能勢不可擋。同時,其獨有的多活互聯(lián)架構(gòu)與NVMe+SCM的結(jié)合,配合軟硬件上全面優(yōu)化,可以跨越式地降低讀寫IO的時延,同樣能更好地應對實時交易類,要求極致的IOPS需求。
HPE Apollo 4000
針對非結(jié)構(gòu)化數(shù)據(jù)場景的訓練與預測AI需求,對所有數(shù)據(jù)進行訪問只是開始,能大規(guī)模管理數(shù)據(jù)、支持數(shù)據(jù)密集型應用并確保數(shù)據(jù)安全的系統(tǒng)則是關鍵。HPE Apollo 4000系統(tǒng)能夠以極大規(guī)模存儲數(shù)十億個文件和對象。這一系統(tǒng)還可運行各種現(xiàn)代化、數(shù)據(jù)驅(qū)動型的應用。
第三,方案簡單易用便于部署,加速企業(yè)的大模型上線。
為了讓企業(yè)更加專注助于核心業(yè)務,降低企業(yè)在IT運維、部署的難度是HPE的職責所在。HPE ProLiant服務器采用基于云原生技術的管理中樞。無論計算環(huán)境位于何處,用戶都能安全地自動訪問、監(jiān)控和管理服務器,進而實現(xiàn)高效運維。云原生管理中樞帶來了便捷、統(tǒng)一和自動化的運維體驗,通過實現(xiàn)全局可見性和洞察讓您更好的管理計算環(huán)境。
HPE Alletra 系列存儲同樣采用云化的管理模式,以訂閱方式1分鐘就能實現(xiàn)數(shù)據(jù)上線。大幅降低了企業(yè)在IT方面的運維和部署難題。
第四,提供本地化服務,讓企業(yè)無后顧之憂。
以Open AI為首的行業(yè)龍頭在采用HPE的解決方案,同時,HPE利用本地化的合作伙伴網(wǎng)絡,提供企業(yè)所需的策略幫助、運維支持和培訓服務。能讓企業(yè)獲得從邊緣到云的運維能力,從而加快企業(yè)的數(shù)智化轉(zhuǎn)型。
ChatGPT是通用智能,“千人一面”。傳統(tǒng)企業(yè)在體量上擁有靈活的優(yōu)勢,在數(shù)據(jù)上擁有深耕行業(yè)的專精數(shù)據(jù)與經(jīng)驗積累,利用好大模型技術則能讓企業(yè)的服務實現(xiàn)“千人千面”更好地服務客戶構(gòu)建自身競爭力,也必將使其在細分行業(yè)大放異彩。