生成式AI的飛速發展使得企業難以有效地實施和衡量這項技術，同時防范偏見和風險。

企業要么已經部署了生成式AI、要么正在積極探索生成式AI的速度，正在加快達到一個幾乎沒有什么企業會拒絕的轉折點上。

2022年11月，還幾乎沒有什么企業使用生成式AI，唯一可用的工具就是AI圖像或者早期的文本生成器。但是根據IDC的調查顯示，到2023年5月，有65%的企業正在使用生成式AI，而到了9月這個數字上升至71%，另有22%的企業計劃在未來12個月內實施生成式AI。

根據IBM在今年1月發布的一份報告顯示，即使在起步階段，生成式AI也已經成為一種公認的行動和應用方案，最常見的用例包括IT流程自動化、安全和威脅檢測、供應鏈智能、客戶服務和網絡流程自動化。另外，當你添加了ChatGPT等基于云的生成式AI工具時，以某種形式使用生成式AI的用例幾乎隨處可見。

這還不包括現在嵌入了Office 365、Google Docs和Salesforce等平臺的生成式AI。

然而，再深入到難度更大一些的實施環境中，就可能會出現各種問題，例如微調模型、向AI系統提供上下文和最新信息的矢量數據庫，以及將AI集成到工作流程中的API。構建企業級生成式AI平臺就像要射中一個移動的目標，AI的進步速度遠遠快于他們能夠適應的速度。

卡內基梅隆大學人工智能教授Anand Rao表示：“這使得組織實施生成式AI變得充滿挑戰。不同的工具、模型和向量數據庫不斷發展，新的論文不斷涌現，這對企業來說非常具有挑戰性。他們需要穩定。告訴我接下來三個月要做什么；不要每兩周一切就都變了。”

根據英特爾cnvrg.io在去年12月發布的調查結果顯示，由于這一挑戰的復雜性，加上所涉及的成本和所需的專業知識，去年只有10%的組織實際上能夠將生成式AI模型投入生產。

但這并不意味著企業應該坐等事情平息下來。為了幫助重新獲得主動權，現在可以應用一些最佳實踐來開始構建生成式AI平臺——這些實踐將使其能夠隨著技術的變化而快速適應，包括構建強大的現代數據和API基礎設施、在企業應用和他們使用的AI模型之間構建一個AI抽象層、設置安全和成本策略、使用護欄和道德框架來指導他們部署生成式AI的方式。

數據和API基礎設施

“數據仍然很重要，”倫敦獨立分析師和咨詢公司Omdia的AI平臺、分析和數據管理首席分析師Bradley Shimmin這樣表示。然而，根據IBM的調查，數據復雜性是繼缺乏專業知識之后采用的第二大障礙，對于那些希望將大型語言模型投入生產環境的企業來說，基礎設施是最大的挑戰。

另一個挑戰是企業由于數據管理能力不足而無法滿足業務的需求。麥肯錫公司合伙人Nayur Khan表示，最重要的一個問題就是大多數組織都沒有計劃。“他們嘗試做一些事情，看看什么能堅持下去。”但隨著生成式AI模型以服務的形式（例如OpenAI API）提供，在某些用例中，企業可以跳過去直接把AI部署為服務。

Khan說：“現在生成式AI成為我可以調用的服務，我不必擔心訓練的問題，這很好，但是語言模型對于語言來說非常有用，模型不擅長知識，”知識是存在于組織內部的。

例如，一家零售企業可能擁有360度的客戶視圖，這些視圖全部輸入到分析引擎、機器學習和其他傳統AI中，以計算下一個最佳行動策略，然后生成式AI可以用其向客戶發送個性化的消息。因此，通用語言模型通過使用企業數據成為一種有用的業務工具，每個人都在嘗試構建這種類型的應用。

Khan說：“我在所有行業都看到了這種情況的發生，從高科技和銀行業一直到農業和保險業。”他說，這迫使企業加快了數字化的步伐，解決所有他們說過要做但從未抽出時間去做的事情。

企業不僅必須具備基本的構建能力用于分析和MLOps，而且還需要專門為生成式AI構建新的數據結構和管道。

當一家企業想要在特定領域微調模型或創建新模型的時候，就需要做出關于采用什么數據架構、采用哪種模型或者模型類型等等。全球數字咨詢公司Publicis Sapient的高級副總裁Sheldon Monteiro表示：“這讓復雜性陡然增加。”

即使是一個較為簡單的項目，比如向現有的AI模型添加外部數據源，也需要矢量數據庫、恰當的模型選擇和工業級管道。

但這一切都始于數據，而這是許多企業落后的方面。如果沒有單一的整體戰略，每個部門都會制定他們自己的解決方案。

Monteiro表示：“如果你這樣做了，最終就會犯更多的錯誤，一遍又一遍地重新學習同樣的事情，作為CIO，你必須采取架構上的方法并且投資一個通用的平臺。”

然后是收集和準備數據這項艱苦的工作。他說，質量檢查和驗證，對于建立堅實基礎來說是至關重要的，這樣就不會引入偏見，從而損害客戶和業務。

因此，如果特定數據集排除了最高價值的交易處理，因為這些交易都是手動處理的，那么生成的模型可能會偏向規模較小的、利潤較低的業務線。垃圾進、垃圾出，這適用于生成式AI的新時代，就像以前各種技術發展時代一樣。

Monteiro表示，對于已經投資了數據基礎設施的企業來說，這些投資將在未來繼續獲得回報。他表示：“投資了數據基礎的企業在生成式AI方面擁有巨大的領先優勢。”

盡管如此，這些最初為高級分析和機器學習用例設計的傳統數據基礎也只能走到這一步了。

Omdia公司的Shimmin說：“如果你想超越基礎知識這個層面，你就需要了解生成式AI的一些更深層次的微妙之處。不同的嵌入模型之間有什么區別，什么是分塊，什么是重疊？你可以使用哪些不同的方法以最有效的方式對數據進行標記？你想要高維的還是低維的方法來節省矢量數據庫的空間？我們的MLOps工具并不是為了做到這一點而構建的。這一切都非常復雜，如果你不知道自己在做什么，就可能會浪費掉大量的時間和金錢。”

但他表示，MLOps平臺廠商正在加緊努力。“Dataku、DataRobot和Databricks等公司都提供了對LLMOps或者GenAIOps的支持，所有的小細節都開始就位了。”

分析抽象層

去年11月，OpenAI出人意料地解雇了首席執行官Sam Altman，引發了一場馬戲團般的尋找新CEO的爭奪戰，員工威脅要罷工，而微軟則提出要接納所有人。在那段動蕩的日子里，許多使用OpenAI模型的企業突然意識到，他們把所有的雞蛋都放在了一個不穩定的籃子里。

Constellation Research副總裁兼首席分析師Dion Hinchcliffe表示：“我們看到了很多和OpenAI的集成，但是OpenAI發生的整個管理問題讓人們質疑他們是否做出了過度承諾。”

即使一家企業沒有倒閉，也可能很快就會被淘汰。去年夏初，ChatGPT幾乎是市場中的唯一，然后Facebook發布了Llama 2，對大多數企業客戶免費，隨后是Anthropic推出的Claude 2，提供了200000個token的上下文窗口——這足以讓用戶將相當于一本600頁的書剪切并粘貼到提示中，也把GPT-4的32000個token甩在了身后。然而，谷歌也不甘示弱，2月宣布新的Gemini 1.5可以處理多達1000萬個token，有了這個，再加上提高了對視頻、音頻和書面副本處理的速度、效率和準確性，幾乎就沒有限制了。

免費開源模型的數量以及特定行業模型的數量持續激增，這些模型經過金融、醫學或材料科學等方面的預先訓練。

“似乎每周都會有新公告發布，”Publicis Sapient的Monteiro說道。

他說，這就是“模型花園”的用武之地。如果企業嚴格選擇和管理模型，并構建系統以便可以輕松地換入和換出模型，那么就能夠應對這一領域的波動。

但這個抽象層需要做的不僅僅是允許企業升級模型或為每個特定用例選擇最好的模型。

技術和咨詢公司Wipro Technologies的首席技術官Subha Tatavarti表示，這個抽象層還可以用于可觀察性、計量和基于角色的訪問控制。

她說，Wipro公司有245000名員工，別無選擇，只能采用生成式AI，因為客戶對此是抱有期望的。

“我們本質上是一家科技公司，我們必須這么做。”

拓寬視野

可觀察性使企業能夠了解數據的去向、使用的模型、提示以及響應需要多長時間才能返回，還可以包括編輯或混淆敏感數據的機制。

一旦企業知道模型發生了什么，就可以實施計量控制——例如限制特定模型的使用量——以避免成本出現意外的飆升。

Tatavarti說：“目前，計量的工作方式是token消費模式，這種方式可能會變得成本非常高。”

此外，針對常見問題解答這個場景，企業可以緩存響應以節省時間和金錢。對于某些用例，可能不需要昂貴的高端商用大型語言模型，因為本地托管的開源模型可能就足夠了。

“所有這些都讓我們著迷，我的團隊正在努力解決這個問題，這對我們來說是當務之急。”

當涉及訪問控制時，基本原則應該是永遠不要向組織公開原生API，而是有一個中間層來檢查權限并處理其他安全和管理任務。

IT企業Xebia的首席數字官Rajat Gupta表示，例如，如果人力資源平臺使用生成式AI來回答基于政策和其他信息向量數據庫的問題，那么員工應該能夠詢問有關自己工資的問題,但不能詢問關于其他員工的問題——除非他們自己是經理或在人力資源部門工作。

考慮到生成式AI在企業中跨不同業務部門和職能部門迅速普及，要從頭開始針對每個場景構建這些控件，將是一場噩夢。

他說：“工作量將是巨大的，而且會引發混亂。”

Gupta也認同需要構建此類功能的企業應該構建一次然后再復用。他說：“把他們所需一切的共同點提取處理啊，例如安全、監控、訪問控制，將其構建為企業級平臺的一個組成部分。”

他將這稱為AI網關，開源MLflow AI Gateway就是一個例子。MLflow AI Gateway是在去年5月發布的，現已經被棄用，取而代之的是MLflow Deployments Server。他的公司使用的另一個工具是Arthur AI的Arthur Shield，一個針對大型語言模型的防火墻，會過濾提示注入攻擊、臟話和其他惡意或危險提示。

然后是Ragas，它可以幫助根據矢量數據庫中的實際信息檢查生成式AI的反應，以提高準確性并減少幻覺。

“開源和商業領域有很多這樣的項目，”他說。

第三方AI平臺、初創公司和顧問也紛紛涌入，以填補各項空白。

Gupta說：“AI生態系統的發展方式令人驚訝，我們原以為步伐會放慢，但事實并非如此，速度迅速加快。”

因此，為了更快地進入市場，Xebia正在將這些不同的項目編織在一起，他說，但這并不能幫助AI公司不斷推出新的東西，例如由AI驅動的自主代理。

“如果你正在使用自主代理，如何實際衡量整個代理項目的效率？實際監控和控制是一個挑戰。”

如今，Xebia限制了代理的自主權，只允許他們執行非常有限和精確的任務。“這是目前唯一的方法，限制他們可以使用的技能，并設置一個中央控制器，這樣他們就不會互相交談。我們對其進行控制，直到我們有更進化的理解和反饋循環。這是一個非常新的領域，所以要看看未來會如何發展。”

構建護欄

根據cnvrg.io的調查，對于那些實施生成式AI的企業來說，合規性和隱私是他們最關心的問題，其次是可靠性、成本和技術技能匱乏。

同樣地，根據IBM的調查，對于那些尚未實施生成式AI的企業來說，其中有57%的受訪者將數據隱私視為一大障礙，43%的受訪者將透明度視為障礙。此外，有85%的受訪者表示，消費者更有可能選擇那些具有透明性且道德AI實踐的公司，但只有不到一半的受訪者致力于減少偏見、跟蹤數據來源、致力于使AI可解釋或制定道德的AI政策。

技術人員很容易專注于技術解決方案。道德AI超越了技術的范疇，還涉及法律和合規性，以及企業價值觀和身份問題。因此，這是首席信息官或者首席人工智能官可以挺身而出、為大型組織提供指導的一個方面。

甚至比這更進一步。建立生成式AI友好型數據基礎設施、安全和管理控制以及道德準則可能是全面實施大型語言模型的第一步。

安永美洲新興技術負責人Matt Barrington表示，生成式AI將要求CIO們重新思考技術。他說，在AI出現之前，軟件是具有確定性的。

他說：“你需要設計、構建、測試和迭代，直到軟件按預期運行。如果沒有按預期運行，那就是一個錯誤，你會回去修復它。如果按預期運行，你就可以將它部署到生產中。”無論軟件模式如何，所有大型計算堆棧都是具有確定性的。他說，現在，除了量子計算之外，生成式AI是第一個廣為人知的、具有非確定性的軟件模式。“錯誤實際上就是功能。它可以自行生成東西，這是它的主要賣點。”

但這并不意味著舊的東西應該全部扔掉。他說，MLOps和Pytorch仍然很重要，以及你要知道什么時候要做RAG嵌入模型、DAG或者采用多模態以及為生成式AI準備數據一樣。

“所有這些事情都將保留下來并且很重要，但是，將會出現一個新的非確定性平臺堆棧，與傳統堆棧并存，具有全新的基礎設施工程和運營領域，以支持這些功能。”

他表示，這將改變企業在核心層面的運營方式，朝著這個方向成為真正的AI驅動型企業，將成為一個快節奏的轉變。他說：“看到這些變化的發生，將會是一件非常酷的事情。”