2019年,為了打通數(shù)據(jù)安全交換路徑,一家頭部互聯(lián)網(wǎng)銀行打造的聯(lián)邦學習系統(tǒng)正在緊鑼密鼓地上線測試。然而,它們遇到了一個十分棘手的問題:使用加密數(shù)據(jù)進行計算,計算量將增加百倍,使得系統(tǒng)運行非常困難。
實驗數(shù)據(jù)表明,如果AI在未加密模型中訓練,需要10個小時,但在加密環(huán)境中訓練,至少需要100小時,甚至1000小時。
AI訓練的算力問題由來已久,而彼時陳凱教授領銜的香港科技大學智能網(wǎng)絡系統(tǒng)實驗室(iSing Lab)在高性能數(shù)據(jù)中心網(wǎng)絡領域的學術成果近五年居亞洲第一(CSRankings排名)。于是,該機構找到陳凱教授,嘗試通過高性能算力加速來解決聯(lián)邦學習因使用同態(tài)加密而產(chǎn)生的計算壓力與延時問題。
結果不負所望,陳凱教授與其創(chuàng)辦的星云Clustar研發(fā)的高性能算力加速方案,在該聯(lián)邦學習系統(tǒng)上實現(xiàn)了50-70倍的算力提升,保障了該系統(tǒng)的高效運轉。
這是星云Clustar算力加速方案落地的一個典型案例。近兩年,基于隱私計算及其算力加速能力,星云Clustar已經(jīng)形成一套全棧技術服務,專注數(shù)據(jù)安全及數(shù)據(jù)價值共享難題。
而星云Clustar所處的隱私計算行業(yè),今年正處于市場關注的焦點。數(shù)據(jù)顯示,2020年市場上從事隱私計算業(yè)務的企業(yè)超過了數(shù)百家。2021年間,僅僅四個月時間內,這個賽道已經(jīng)從VC基金手里融到了超10億元人民幣。
在隱私計算平臺還未大規(guī)模落地,絕大多數(shù)企業(yè)都在為技術研發(fā)、產(chǎn)品商業(yè)化而苦苦摸索時,星云Clustar不僅構建了以平臺為核心的全棧隱私計算技術,同時也在探索如何“承包”隱私計算平臺落地之后的算力加速市場。
原因在于,隱私計算作為非常新興的行業(yè),在商業(yè)化模式方面充滿了“戰(zhàn)爭迷霧”,但目前業(yè)內公認也是技術壁壘最高的需求,就是加密帶來的對更高性能算力的訴求。能解決性能問題的隱私計算計算廠商,就是給所有數(shù)據(jù)淘金者賣鏟子的人。無論最后誰勝出,有能力供應基礎設施的人一定不會缺席。
而在當前,靠著“賣鏟人”的角色,星云Clustar成為了行業(yè)內唯一一家落地了國有大行商業(yè)項目的隱私計算公司,并受到紅杉中國、基石資本、招銀國際、華泰創(chuàng)新等頭部投資機構青睞。
近期,甲子光年訪談了星云Clustar創(chuàng)始人陳凱教授,試圖了解:如何在隱私計算市場的不確定中找到確定性需求和趨勢?一家隱私計算廠商為何要“死磕”算力?
1
隱私計算,變革數(shù)據(jù)流通的硬科技
甲子光年:您是何時注意到隱私計算領域的,這和您之前做的數(shù)據(jù)中心網(wǎng)絡研究有何聯(lián)系?
陳凱:過去近15年時間,我一直專注于數(shù)據(jù)中心網(wǎng)絡相關研究,即通過高性能網(wǎng)絡技術,來提高集群計算的算力。
研究隱私計算的契機,也是由于近兩年全球對數(shù)據(jù)隱私關注度的提升。例如政策層面,歐、美、中各國都出臺了數(shù)據(jù)安全保護相關法案。這些都證明,數(shù)據(jù)安全、數(shù)據(jù)隱私正成為下一代人工智能落地的重要環(huán)節(jié)。
而隱私計算對算力的要求非常高,相關技術涉及大量密碼學、統(tǒng)計學運算,對于系統(tǒng)計算和通信性能提出了很大挑戰(zhàn)。不解決這個問題,隱私計算大規(guī)模落地將受到極大制約。這一需求,正好與我之前的研究方向相契合,數(shù)據(jù)中心網(wǎng)絡技術能夠解決更大規(guī)模數(shù)據(jù)運算性能問題,從而滿足隱私計算的需求。
所以,近兩年我們一直在隱私計算方面加大投入,其中包括行業(yè)獨有的硬件加速產(chǎn)品。
甲子光年:隱私計算產(chǎn)學研結合的十分緊密,高校孵化或具備高校背景的企業(yè)發(fā)展較為快速。您如何看待這種現(xiàn)象?創(chuàng)辦星云是否有“產(chǎn)學研”的考量?
陳凱:從實驗室做研究到發(fā)表論文,再到把論文研究成果轉化為實際生產(chǎn)力,這是一個非常自然的過程,也是極重要的閉環(huán)。
在港科大,我們在數(shù)據(jù)中心網(wǎng)絡、機器學習方面做了很多研究,論文在全球頂級期刊上多次發(fā)表。在成果轉化上,我們之前是與谷歌、華為、騰訊等企業(yè)密切合作,開發(fā)了圖靈平臺等人工智能計算平臺來落地。
創(chuàng)辦星云Clustar后,產(chǎn)學研落地的閉環(huán)會更直接。我們將客戶痛點抽象成研究問題,進而形成研究理論、成果,最終通過星云Clustar直接將研究成果落地到實際,形成解決客戶問題的方案。
甲子光年:星云Clustar在您研究的領域提供了怎樣的助力?可否舉例說明?
陳凱:例如,我們有客戶提出了一個典型需求:如何驗證隱私計算平臺本身的安全性,即確保平臺的每一步操作嚴格遵照要求,以保證數(shù)據(jù)不泄露、信息不出域?
帶著這個問題,團隊重點研究如何設計一個安全認證系統(tǒng),讓用戶能夠全流程監(jiān)控隱私計算平臺的運行。同時,為了確保認證系統(tǒng)的客觀性、公正,這個認證系統(tǒng)不僅能驗證星云Clustar隱私計算平臺的安全性,也能作為第三方系統(tǒng)去檢驗其他隱私計算平臺。目前,團隊已經(jīng)將相關研究發(fā)表成論文,相關成果也正在落地探索中。
甲子光年:我們關注到您在第四屆世界頂尖科學家論壇上分享了高性能聯(lián)邦學習的研究,目前星云在這一方面有何成果?
陳凱:過去一年,我們在聯(lián)邦學習底層算力方面有了更深厚的積累。據(jù)最新對比數(shù)據(jù),星云Clustar的方案在現(xiàn)有的開源隱私計算平臺上實現(xiàn)了50-70倍算力提升,性能功耗價格比提升了7倍。
在隱私計算平臺的研發(fā)和落地上,我們和市場上許多優(yōu)質的同行公司齊頭并進,持續(xù)做創(chuàng)新突破。星云Clustar成為了全球最大的聯(lián)邦學習開源社區(qū)FATE的 TSC Board中唯一一家第三方創(chuàng)企,其余4家分別為微眾銀行、工商銀行、銀聯(lián)、VMware。
甲子光年:TSC Board是什么?星云Clustar在其中扮演什么樣的角色?
陳凱:FATE TSC Board可以簡單理解成技術決策委員會,深度影響著FATE社區(qū)以及聯(lián)邦學習技術的發(fā)展。星云Clustar在其中主要為社區(qū)提供底層算力等基礎設施,同時攜手其他單位參與制定重要策略,特別是一些重要的行業(yè)標準,引導聯(lián)邦學習技術走向落地。
2
算力,隱私計算的競爭高地
甲子光年:近兩年,您觀察隱私計算有哪些新趨勢、新變化?
陳凱:一個直觀感受是,隱私計算從今年開始逐步落地到了生產(chǎn)系統(tǒng)。
前兩年,我們和大廠或金融機構聊隱私計算,客戶端多是聊技術、聊前景,是創(chuàng)新技術了解的階段。到了今年,客戶端開始聊場景,聊需求,隱私計算開始進入客戶生產(chǎn)系統(tǒng),相關項目也開始起量。
甲子光年:您親身感受到的客戶端變化有哪些?
陳凱:比如一些在隱私計算方面應用比較靠前的金融客戶,在搭建聯(lián)邦學習平臺的基礎上,提出了明確的算力需求。這一方面,星云Clustar已有項目完整交付。
另一方面,一些尚未布局隱私計算技術的企業(yè),正在從零到一地構建隱私計算平臺。
總的來說,隱私計算相關應用正在從無到有、從慢到快。
甲子光年:也就是說,隱私計算技術正處于爆發(fā)前夜?
陳凱:隱私計算目前還在商業(yè)化初期,但大家對此期待很高。要加速人工智能發(fā)展,同時不泄露數(shù)據(jù)隱私,隱私計算技術是目前市場可見的有效實現(xiàn)方式之一。
甲子光年:爆發(fā)前夜,隱私計算產(chǎn)業(yè)競爭也十分激烈,您如何看待這種現(xiàn)象?
陳凱:隱私計算當前競爭已經(jīng)十分激烈,行業(yè)魚龍混雜,許多不是做隱私計算的企業(yè),也在這股熱潮中,搖身一變貼上“隱私計算”標簽。不過,這也側面說明,隱私計算具備非常廣闊的前景。
目前,隱私計算被開拓的市場規(guī)模還不到1%,星云Clustar非常希望聯(lián)合市場上有真正技術積累的隱私計算公司,一起把行業(yè)生態(tài)做大。
甲子光年:您認為隱私計算要實現(xiàn)大規(guī)模落地,還需要具備哪些條件?
陳凱:概括來說,這個行業(yè)還有幾個關鍵問題仍待解決:
一是缺乏標準化服務或商業(yè)模式。在需求端,企業(yè)數(shù)字化進程各不相同,對隱私計算的認知程度也不一樣,許多人還停留在感性認知層面,這增加了隱私計算產(chǎn)品落地難度。在供給端,技術深入產(chǎn)業(yè)、場景的know-how還在沉淀過程中。如何抽取客戶的共性需求,轉化為標準化產(chǎn)品,隱私計算企業(yè)還在摸索。
二是技術效率。隱私計算在人工智能技術的基礎上,增加了大量密碼學、通信技術要求,對通信和算力要求非常高。
只有當這些條件都得到滿足,供需方面都有了進一步發(fā)展,隱私計算行業(yè)才會迎來大規(guī)模爆發(fā)。
甲子光年:算力將會成為制約隱私計算發(fā)展的主要原因嗎?隱私計算算力目前發(fā)展如何?
陳凱:隱私計算的不斷發(fā)展,算力將起到愈來愈關鍵的作用,它決定了我們能否將很多分散的、有隱私保護需求的數(shù)據(jù)真正使用起來。
正如在人工智能領域,如果沒有英偉達的GPU算力芯片,深度學習就無法快速迭代、快速發(fā)展。同樣,如果沒有專精型算力平臺支持,隱私計算也將面臨行業(yè)發(fā)展瓶頸。
3
做數(shù)據(jù)淘金行業(yè)的“賣鏟人”
甲子光年:為什么星云Clustar做隱私計算平臺的同時還要“死磕”算力?這背后有什么獨特的打法?
陳凱:就像英偉達既有自己的深度學習平臺,又有高性能算力芯片,星云Clustar也同時打造隱私計算平臺與算力加速產(chǎn)品,這是星云Clustar最獨樹一幟的地方。
隱私計算與算力業(yè)務之間存在著協(xié)同作用。隱私計算技術目前離落地更近,星云Clustar中短期的目標是實現(xiàn)該技術在多場景的專業(yè)化應用。與此同時,隱私計算平臺所構建的客戶生態(tài),也將成為今后算力平臺重要的市場基礎??蛻舢斍笆褂肅PU、GPU承載算力,未來將逐步遷移到專業(yè)算力加速平臺上。這是星云Clustar市場拓展的過程。
依托于隱私計算平臺去研發(fā)算力技術,兩者耦合將更緊密,優(yōu)化會更徹底,這是很大的競爭優(yōu)勢。
甲子光年:星云Clustar落地了行業(yè)唯一的國有大型銀行隱私計算平臺項目,您認為背后的成因是什么?對后續(xù)市場的推動意義又是什么?
陳凱:第一是產(chǎn)品及服務完備性。針對產(chǎn)業(yè)上數(shù)據(jù)“不敢用、不會用、不能用”難題,星云Clustar提供數(shù)據(jù)生態(tài)、隱私計算平臺、底層算力加速的全棧能力,實現(xiàn)從數(shù)據(jù)接入、隱私保護、加速計算需求的全覆蓋。
第二,技術層面的“人無我有,人有我優(yōu)”,真正的場景化服務經(jīng)驗、規(guī)模優(yōu)勢是很重要的護城河:
一方面,星云Clustar的技術,尤其是底層算力加速能力處于行業(yè)領先水平。
另一方面,產(chǎn)品和場景上做得足夠深入。聚焦金融領域,我們與金融科技企業(yè)深度合作,打通金融科技產(chǎn)業(yè)鏈,也會與頭部的國有銀行、股份制銀行、互聯(lián)網(wǎng)銀行等客戶直接合作。這對星云Clustar積累各類場景know-how,優(yōu)化產(chǎn)品和工程化能力來說,是很好的機遇與平臺,同時也為業(yè)務拓展提供了很強的背書。
第三是生態(tài)優(yōu)勢。技術生態(tài)上,星云Clustar是全球最大聯(lián)邦學習開源社區(qū)FATE 的TSC Board單位,這個社區(qū)目前有700多家企業(yè),星云Clustar會與工行、微眾、銀聯(lián)、VMWare等“前行者”共同引領社區(qū)發(fā)展方向,探索技術應用;行業(yè)生態(tài)上,星云Clustar作為秘書長單位牽頭制定了IEEE首個國際聯(lián)邦學習技術標準,并擔任央行北京金融科技產(chǎn)業(yè)聯(lián)盟、工信部中國信通院TC601、信安標委等標準化組織成員,不斷共建隱私計算跨平臺互聯(lián)互通總體、通信、協(xié)議及金融應用等系列技術標準。
總的來說,企業(yè)在生態(tài)、技術、場景、應用、服務方面篤定前行,最終都會形成直接競爭力。
甲子光年:在產(chǎn)品和場景做的更深,星云Clustar具體是如何做的?
陳凱:更貼近產(chǎn)業(yè),與客戶一起去洞察與解決場景最根本的需求和痛點。目前,星云Clustar已經(jīng)聯(lián)合多家國有大行和股份制銀行,共同探討技術落地方式,我們的產(chǎn)品也與多個部門深度合作,深入到業(yè)務環(huán)節(jié)。
在算力技術研發(fā)上,我們的實驗室已經(jīng)開始投入低碳算力相關技術,預計很快就會進行產(chǎn)業(yè)POC。在碳中和背景下,低碳算力既可以賦能隱私計算發(fā)展,又能降低功耗、保護環(huán)境。
甲子光年:什么是算力“低碳”效果,星云如何實現(xiàn)低碳算力?
陳凱:相較于明文計算,隱私計算的計算效率會低兩個數(shù)量級。假設一個AI模型在明文中訓練需要10小時,在隱私計算環(huán)境中訓練則需要100小時,甚至1000小時。星云Clustar通過底層算力加速,將密碼學算子引入的開銷減少80%。未來,隨著隱私計算成為各行各業(yè)的基礎設施,按照2020年統(tǒng)計的數(shù)據(jù)中心2000億度耗電量來計算,星云Clustar底層算力加速方案每年預估可以節(jié)省上千億度電力。
甲子光年:星云Clustar接下來的發(fā)展計劃是什么?
陳凱:星云Clustar的定位是一家隱私計算全棧技術與基礎設施提供商。沿著這個定位,星云Clustar會有“一橫一縱”的發(fā)展規(guī)劃:
縱向生態(tài)上,繼續(xù)以全棧隱私計算技術在場景中做深、做厚。不僅要在場景、應用層為客戶提供高效易用的隱私計算服務,也要深入產(chǎn)業(yè)生態(tài),積極推進技術、應用等行業(yè)標準建設,并借助廣泛合作伙伴的服務場景,實現(xiàn)產(chǎn)業(yè)的深度賦能。
橫向生態(tài)上,在算力加速方面加大投入,讓隱私計算變得更“快”,攜手市場頭部企業(yè)以及云廠商等合作伙伴和用戶,共同加速隱私計算落地進程,做隱私計算領域的“算力擔當”。據(jù)中心網(wǎng)絡研究有何聯(lián)系?