深圳市物聯網產業協會的精品欄目《灣區物道》系列訪談，對話專家學者、政府官員、灣區商會協會及企業家，解讀和宣傳扶持政策;分析市場產業技術發展情況;助力物聯網生態體系建設。

AI視覺技術是將人工智能和視覺技術相結合，通過計算機視覺和深度學習等技術，對圖像和視頻數據進行處理、分析和識別。工業圖像處理(機器視覺技術)幫助生產企業實現其過程鏈的網絡化、自動化和數字化。這項技術通過圖像采集設備(如攝像頭和傳感器)監控生產過程，并借助集成的機器視覺技術軟件處理圖像數據。

工業4.0時代，我國各行各業對采用圖像和機器視覺技術的工業自動化、智能化需求開始廣泛出現，國內機器視覺行業將迎來規模化快速發展黃金期。

英特靈達擁有業內領先的視覺AI技術和多硬件平臺適配能力,是華為機器視覺和昇騰認證合作伙伴，專注社區、園區、工地、加油站等全場景AI算法。公司堅持走自主創新之路,團隊算法能力雄厚,研發了多款邊、端系列智能硬件和行業解決方案并提供視覺相關多層次個性化的算法定制服務,為客戶提升業務運營效率,實現創新應用場景。

在數字化浪潮下，AI視覺技術具有怎樣的發展前景?在工業自動化領域發揮怎樣的價值?

這是『灣區物道』的第39期，本期訪談我們對話了深圳市物聯網產業協會理事單位英特靈達信息技術(深圳)有限公司CEO朱才志先生，他早在2000年開始從事計算機視覺相關的研究，是3次NIST視覺算法年度世界冠軍獲得者。本次采訪，他分享了對AI視覺技術所面臨的挑戰和發展趨勢的思考，希望給企業帶來更多啟發和價值。

? 英特靈達CEO，2015歸國的深圳市海外高層次人才，回國前任職日本名古屋大學副教授。

? 中科大博士畢業后，朱博士先有在微軟亞洲研究院，日本理光等知名企業的工業界經歷，之后又有海外博士后、助理教授到副教授的完整科研經歷，中科院深圳先進院客座教授。

? 早在2000年開始從事計算機視覺相關的研究，是3次NIST視覺算法年度世界冠軍獲得者。

? 上海市浦江人才,深圳市孔雀人才B類,寶安區政協委員, 深圳市人工智能專家委員會9位創始委員之一

? 中國視覺AI的首批創業者，曾于2014年聯合創立AI公司圖麟科技并任職CTO，英特靈達是他的第二次創業。

1、計算機視覺，得益于深度學習技術的快速發展，可以承接海量下游需求，目前都有哪些應用場景?計算機視覺(CV)是個很有年頭的學科，國際上有個IEEE舉辦的國際計算機視覺學術會議(ICCV)，首屆于1987年在倫敦舉辦，每兩年舉辦一次，是CV領域的頂級會議，我10多年前參加過這個會議，當時學術界可謂百花齊放、百家爭鳴，各種流派都有，但實際上成熟的、能商業化落地的技術其實不多。今天，得益于深度學習技術的快速發展，特別是最近SAM、stable diffusion等大模型的加持，視覺AI的能力得到了極大的延展，很多經典問題都有突破，反而學術界有點無所適從了。在商業應用層面，我國其實走在了世界的前列，在這一波AI浪潮中，對比NLP(自然語言處理)、語音等方向，CV方向更受國內資本與創業者追捧，早期的格靈深瞳、CV四小龍、云天勵飛，包括我個人回國的首次創業，大家都在積極探索視覺AI的商業落地新思路。安防是大家不約而同選擇的應用場景，早期確實是少數體量大的落地方向，但很快大家意識到，相比之下，傳統安防廠商如海康、大華等巨頭更有優勢。之后，工業缺陷檢測(AOI)、醫療輔助診斷、機器人、輔助駕駛等行業也吸引了一波視覺AI公司的加入。同時，傳統安防也在物聯網化，出現了非常多的泛安防細分場景，包括智慧商業、智慧農業、智慧餐飲、智慧園區、智慧小區、智慧校園、智慧油田、智慧礦山、智慧電力等。在消費類產品上，視覺AI廣泛與智能硬件、智能家居類產品相結合，產品包括智能門鈴、智能門鎖、嬰兒看護、打獵相機、看鳥器等，在海外很有市場。國內運營商在大力推動視覺AI的落地，明廚亮灶、防溺水、高空拋物、煙火識別，以點帶面。盈利模式方面也有創新，例如參考螢石，以4G、云存儲、AI算法訂閱收費，取代早期的一次性銷售硬件的模式，成為包括運營商在內的平臺公司的新玩法。

2、從市場規模、場景泛用、帶動作用來看，AI視覺領域已成為人工智能產業規模的主戰場，您認為AI 視覺算法有哪些獨特的技術優勢?確實，視覺在這波AI浪潮中，具有其它感知所無法比擬的作用，原因在于，視覺作為80%以上的信息入口，基本能覆蓋各行業的典型應用場景，是聽覺、觸覺等其它感官所不能比擬的。我們今天各行各業有各種不同門類的工種，大部分的工作，是無需動嘴動耳，僅靠眼睛觀察并做出判斷后采取不同動作，就完全可以勝任了，很多工作場所甚至要求保持安靜。視覺AI本質上是來取代人眼+人腦的部分功能的，例如今天非常成熟的人臉識別門禁系統，就是取代保安的人員身份核查的程序化工作，諸如此類的場景很多，例如工業生產流水線上，產品或配件的缺陷檢測，之前是人工眼睛來檢查的，容易出錯且長期勞作很傷眼睛，今天，很多這樣的工作，都完全可以用AI來取代了，且效果更好、效率更高。類似的還有銀行、保險公司票據的自動識別錄入，輔助駕駛中也用到了很多視覺處理技術，例如駕駛員疲勞檢測、車道線偏離檢測等等。最近，隨著技術的發展，一些特定場景的異常檢測，例如煙火的識別、高空拋物不良行為的檢測，都已經逐漸開始商業化應用了，保障人民的生命財產安全。

正因為視覺如此重要，早在上世紀80年代，視覺問題的研究就獨立出來成為一門學科。而這一波AI浪潮，可以說也是起源于卷積神經網絡(CNN)在2012年的ImageNet視覺競賽中大放異彩，在圖像分類問題上，取得了比經典的特征工程+支持向量機(SVM)方法壓倒性的性能優勢。今天，我們耳熟能詳的CNN、GAN，最近很火的stable diffusion等，都是在視覺AI領域發展起來的技術。展望未來，我有兩點預測，一是在技術突破方面，融合多模態的大模型應該會有一波蓬勃發展，當下，自然語言處理(NLP)領域在AI領域出現了新的突破，ChatGPT展示了非常強的文本知識萃取、智能涌現能力，似乎距離AGI(通用人工智能)更近了，這很大程度上，因為語言是人類知識的結構化表述形式，對比視覺這種非結構化數據，有天然的優勢。“一圖勝千言”，視覺的信息量遠比文字豐富，且很多是難以用語言來概括抽象的，這意味著要訓練出視覺的ChatGPT，需要更大規模的網絡、數據和計算資源。這很可能以當下的技術現狀是無法做到的，需要從理論上所有突破。我認為，把視覺信息投影到語言空間，忽略其它難以(或無需)用語言描述的信息，以這種方式融合視覺、語言的多模態大模型，應該有機會訓練出視覺的GPT：能以我們人類擅長的語言組織形式，來正確理解視覺數據。另一點是，在工業界，將會涌現出基于視覺大模型的各種行業應用，在包括自動駕駛、工業質檢、內容制作、機器人等各個行業都講帶來歷史性突破。對我們珠三角企業來說，硬件供應鏈是我們的強項，基于視覺大模型，結合某個垂直行業，做遷移學習、知識蒸餾，得到可在端側部署的模型，將有機會進一步做出killer級別的智能硬件來。

3、隨著我國配套基礎建設的完善，以及技術與資金的不斷積累，各行各業對采用圖像和機器視覺技術的工業自動化、智能化需求開始廣泛出現，您認為AI視覺如何在其中發揮重要價值?改革開放以來，我國積極融入世界貿易體系，逐漸形成了覆蓋全行業的完備產業鏈條，因而被譽為“世界工廠”。同時，我們也面臨擺脫低端產業內卷、提升核心高端技術貢獻率的緊迫壓力。發展機器視覺技術是促進工業自動化、數字化和智能化的關鍵途徑。目前大家熟知的AI視覺技術主要針對一般場景的RGB圖像，核心難點在于如何提升算法在不同環境條件下的魯棒性和泛化能力。然而，工業場景與一般場景相比，具有更高的穩定性和可控性。在工業場景中，通過聯合運用主動照明、機械協作等技術手段，AI視覺技術的可靠性和敏捷度可以得到極大提升。此外，工業生產環境的傳感手段并不局限于RGB傳感。例如，紅外、偏光、激光雷達等傳感器在工業領域具有廣泛的應用。這意味著，基于RGB圖像開發的AI視覺技術有望在超越RGB的泛圖像理解方面大顯身手。

在上述領域做到持續創新并不容易，需要對相機系統、多傳感器融合有深入了解，同時，能快速基于當下視覺大模型的發展，做到在垂直行業的應用創新，包括在大模型的應用層創新、硬件(乃至FPGA、芯片級)的創新等。

4、AI視覺技術的發展前景如何?面臨哪些難點與挑戰?在大模型加持的通用智能時代，AI視覺技術必將迎來爆發。鑒于大模型的特性，在短期內，AI視覺技術會呈現出集中化趨勢，甚至有寡頭化的危險。我們注意到，ChatGPT這樣的語言大模型的規模已經極其龐大，囊括圖像和視頻在內的跨模態大模型必將更加復雜，只有少數頭部公司擁有超大模型訓練和維護更新的能力。在中短期研究層面，大模型的壓縮加速技術，視頻大模型，三維視覺大模型等會得到極大發展。而在中長期研究層面，包括量子計算、脈沖計算在內的新型計算硬件上實現通用AI值得關注。

在應用層面，將來的跨模態大模型及其生態體系可以滿足絕大部分to C需求。但是，上面提及的工業自動化等領域，生產環境的數據較難獲取，且具有較強的封閉屬性，基于互聯網數據的大模型難以直接運用。因此，面向具體應用領域的垂直模型是在to B方面取得成功的關鍵。目前，大模型的勢力格局本身完全沒有固定，而全鏈路垂直模型的開發是未被涉足的藍海，包括創業企業在內的大中小玩家都有機會。不管技術浪潮如何演進，合理運用技術打造對客戶有價值的產品這一商業成功的本質卻不會變化。

5、英特靈達以AI視覺算法為核心提供軟硬件一體行業解決方案，公司的核心優勢體現在哪些方面?未來有哪些規劃?英特靈達將視覺傳感和智能處理融會貫通，形成了面向任務的光學設計、數據生成、AI算法開發和ASIC化的全鏈路自動化工具，具有極高的技術壁壘和極快的市場響應能力。目前，公司發揮在光學原理、相機系統和數據生成方面的獨特優勢，致力于開發面向圖像增強和理解的垂直大模型及其知識蒸餾工具鏈，快速部署與傳感硬件高度適配的AI視覺模型，從而提升產品價值，滿足客服需求。英特靈達本質上是一家有視覺人工智能核心應用技術的公司，在當下的產業鏈分工中，其實是非常偏上游的，我們的發展離不開生態。未來，我們期望能找到在產品、銷售渠道上能高度互補的合作伙伴，英特靈達可以提供核心技術(算法、芯片、硬件設計方案等)，硬件產品與銷售渠道都依賴伙伴來提供，我們的目標是一起做出差異化的智能產品，定位中高端增量市場，包括B端和C端，例如，B端我們主要是與華為行業感知部門合作，我們在華為好望商城上，提供優質的算法，適配華為的硬件，借助華為的銷售渠道觸達用戶;C端我個人也非常看好，特別是海外市場，目前主要與珠三角方案公司合作，最大化發揮制造業優勢，為生態合作伙伴提高毛利率與市場占有率，破除珠三角無序的內卷。