博客專欄

        EEPW首頁(yè) > 博客 > 科學(xué)匠人 | 梁傑然:長(zhǎng)期主義研究者的心法秘訣

        科學(xué)匠人 | 梁傑然:長(zhǎng)期主義研究者的心法秘訣

        發(fā)布人:MSRAsia 時(shí)間:2023-01-15 來(lái)源:工程師 發(fā)布文章
        編者按:近期,微軟亞洲研究院高級(jí)研究員梁傑然(Mike Liang)關(guān)于 AI 模塊化研究的論文“On Modular Learning of Distributed Systems for Predicting End-to-End Latency”剛剛被國(guó)際頂級(jí)網(wǎng)絡(luò)領(lǐng)域?qū)W術(shù)會(huì)議 NSDI 2023 接收。一個(gè)多月前,梁傑然此前的研究工作“Design and Evaluation of a Versatile and Efficient Receiver-Initiated Link Layer for Low-Power Wireless”還榮獲了國(guó)際移動(dòng)計(jì)算和感知領(lǐng)域頂級(jí)會(huì)議 ACM SenSys 2022 時(shí)間檢驗(yàn)獎(jiǎng)(Test of Time Award)。
        一項(xiàng)研究成果,經(jīng)受住時(shí)間的檢驗(yàn),十二年之后再獲認(rèn)可,這對(duì)研究員來(lái)說(shuō)是一種怎樣的體驗(yàn)?梁傑然是如何做到持續(xù)創(chuàng)新與堅(jiān)持長(zhǎng)期主義研究的?現(xiàn)在的他又有著怎樣的研究愿景?


        圖片

        微軟亞洲研究院高級(jí)研究員梁傑然(Mike Liang)


        2010年,還在博士求學(xué)階段的梁傑然(Mike Liang)成為了微軟雷德蒙研究院劉劼博士和趙峰博士的一名實(shí)習(xí)生。實(shí)習(xí)期間,梁傑然了解到研究院有一個(gè)研究課題是借助傳感器實(shí)現(xiàn)數(shù)據(jù)中心環(huán)境的數(shù)字化,而這恰好也是他的專業(yè)方向和興趣所在。“物理世界中有太多的現(xiàn)象,比如聲、光、熱、力、電,雖然我們能夠看到和感受到,但卻無(wú)法更進(jìn)一步地理解。我博士期間的專業(yè)就是傳感器網(wǎng)絡(luò)。當(dāng)時(shí)這個(gè)領(lǐng)域的同學(xué)們都有一個(gè)夢(mèng)想,希望可以在物理世界部署大規(guī)模傳感器網(wǎng)絡(luò)來(lái)達(dá)到實(shí)時(shí)數(shù)字化,并透過(guò)無(wú)線方式將感知的數(shù)據(jù)傳輸存儲(chǔ)起來(lái),從而更深度地理解物理世界。”談及開(kāi)展相關(guān)研究工作的初心時(shí),梁傑然說(shuō)。


        那時(shí)對(duì)于數(shù)據(jù)中心來(lái)說(shuō),溫度的精確感知和散熱是一個(gè)丞待解決的大問(wèn)題。為了防止數(shù)據(jù)中心過(guò)熱,業(yè)界通常的做法是將冷卻系統(tǒng)的溫度調(diào)至最低,但這會(huì)產(chǎn)生高昂的電力成本,幾乎一半的電費(fèi)都花在了冷卻系統(tǒng)上,造成了巨大的資源浪費(fèi)。因此,微軟雷德蒙研究院的研究員希望通過(guò)設(shè)計(jì)和部署上千個(gè)無(wú)線傳感器,來(lái)理解數(shù)據(jù)中心熱分布和預(yù)測(cè)變化,精準(zhǔn)控制冷卻系統(tǒng)的溫度。


        然而,利用傳感器收集數(shù)據(jù),再通過(guò)無(wú)線網(wǎng)絡(luò)傳輸數(shù)據(jù),這一過(guò)程本身也是一個(gè)巨大的挑戰(zhàn),如何實(shí)現(xiàn)超大規(guī)模的低功耗無(wú)線通訊又成了新問(wèn)題。對(duì)此,不同的研究機(jī)構(gòu)提出了五花八門(mén)的解決方法,底層架構(gòu)研究的混亂也讓上層的應(yīng)用變得困難。“我們通過(guò)系統(tǒng)化的研究和梳理,將我們的發(fā)現(xiàn)和洞察提煉總結(jié),最終給無(wú)線研究人員提供了一個(gè)統(tǒng)一且優(yōu)化過(guò)的無(wú)線通信網(wǎng)絡(luò)架構(gòu)。其他研究人員可以直接在這個(gè)底層架構(gòu)的基礎(chǔ)上進(jìn)一步進(jìn)行創(chuàng)新研究。”梁傑然介紹道。


        最終,這項(xiàng)開(kāi)創(chuàng)性和基礎(chǔ)性兼具的研究工作“Design and Evaluation of a Versatile and Efficient Receiver-Initiated Link Layer for Low-Power Wireless”經(jīng)受住了時(shí)間的檢驗(yàn),在國(guó)際移動(dòng)計(jì)算和感知領(lǐng)域頂級(jí)學(xué)術(shù)會(huì)議 ACM SenSys 2022 上獲得了時(shí)間檢驗(yàn)獎(jiǎng)(Test of Time Award),得到了研究界的肯定。正如 ACM SenSys 大會(huì)對(duì)這項(xiàng)工作所做的評(píng)價(jià):“2010年,該研究工作率先實(shí)現(xiàn)了在低功率無(wú)線通訊中利用同步傳輸在 MAC 層的優(yōu)勢(shì),來(lái)突破低功率無(wú)線電的極限。在過(guò)去12年的時(shí)間里,這項(xiàng)成果為許多物聯(lián)網(wǎng)和嵌入式系統(tǒng)奠定了無(wú)線通訊協(xié)議的基礎(chǔ)。”


        圖片

        梁傑然2010年的研究工作榮獲國(guó)際移動(dòng)計(jì)算和感知領(lǐng)域頂級(jí)會(huì)議 ACM SenSys 2022 時(shí)間檢驗(yàn)獎(jiǎng)(Test of Time Award)


        加入微軟亞洲研究院,

        與有趣的人做有趣的事




        “畢業(yè)后,雖然有多個(gè)選擇,但我只想加入微軟亞洲研究院。我想與更多有趣的人做有趣的事,這里也滿足了我對(duì)人生的期許。”微軟亞洲研究院對(duì)梁傑然的吸引力,一方面來(lái)自于身邊那些背景各異、專業(yè)不同的同事們。他們有的喜歡硬件,有的專攻操作系統(tǒng),還有的深入算法研究,等等。在梁傑然看來(lái),這會(huì)是一個(gè)“有趣”的組合。另一方面,微軟亞洲研究院自由的科研氛圍給每一位研究員都提供了足夠的空間和資源去做自己“感興趣”的研究,讓梁傑然可以一展身手,盡情施展自己的理想和抱負(fù)。


        “一方水土養(yǎng)育一方人”。梁傑然在寶島出生,加拿大成長(zhǎng),美國(guó)完成博士學(xué)業(yè)。經(jīng)歷豐富的他一直非常同意這句話的含義——每一個(gè)人都有著自己獨(dú)特的性格、喜好,和擅長(zhǎng)的技能。而現(xiàn)在,在微軟亞洲研究院多元包容的研究氛圍中,他對(duì)這句話有了更多的理解。他意識(shí)到不同背景的人,思維觀念不同,對(duì)于同一個(gè)問(wèn)題的解讀方式也會(huì)有所不同。


        底層思維的轉(zhuǎn)變讓梁傑然對(duì)研究工作有了新的認(rèn)識(shí),他愿意花更多的時(shí)間去傾聽(tīng)別人的想法,而不是一味輸出自己的觀點(diǎn),并激發(fā)大家把自己的優(yōu)點(diǎn)發(fā)揮到極致。比如,團(tuán)隊(duì)中有實(shí)習(xí)生對(duì)代碼有很極致的追求,這無(wú)形之中促使了團(tuán)隊(duì)在系統(tǒng)工程上有了更深的認(rèn)知,發(fā)現(xiàn)很多新問(wèn)題。再比如,來(lái)自統(tǒng)計(jì)學(xué)專業(yè)的實(shí)習(xí)生給團(tuán)隊(duì)正在做的 AI for Systems 研究帶來(lái)了數(shù)學(xué)思維。梁傑然非常享受這種可以和這些“有趣”的人一起做更多“有趣”的事的狀態(tài)。


        圖片

        梁傑然(右一)與實(shí)習(xí)生合照


        圖片

        梁傑然(左一)與系統(tǒng)和網(wǎng)絡(luò)研究組同事合照


        多角度研究一以貫之,

        讓人人皆可編程的云成為現(xiàn)實(shí)




        從2011年到現(xiàn)在,梁傑然在微軟亞洲研究院度過(guò)了十余個(gè)春秋,取得了多項(xiàng)研究成果。作為低功耗無(wú)線通信研究的延續(xù),梁傑然在正式加入研究院之后又實(shí)現(xiàn)了從硬件到軟件的多項(xiàng)創(chuàng)新,并和微軟雷德蒙研究院劉劼博士的團(tuán)隊(duì)一起將其應(yīng)用在微軟的多個(gè)數(shù)據(jù)中心,推動(dòng)了微軟 Azure 對(duì)數(shù)據(jù)中心在環(huán)境監(jiān)控與低碳排放的研究。


        伴隨著智能手機(jī)的流行,梁傑然找到了新的研究興趣。“智能手機(jī)最酷的一點(diǎn)是其上可以承載各種各樣的應(yīng)用程序,而這讓‘人人皆可編程’成為了一種趨勢(shì)。”但由于每個(gè)人的編程質(zhì)量參差不齊,大量的應(yīng)用程序難免會(huì)產(chǎn)生很多 bug。為了保證最終用戶的應(yīng)用體驗(yàn),就需要人工對(duì)應(yīng)用商店中成千上萬(wàn)的應(yīng)用進(jìn)行審核,但這不僅效率低且質(zhì)量無(wú)法保證。對(duì)此,團(tuán)隊(duì)和微軟雷德蒙研究院的 Ranveer Chandra 博士萌生了自動(dòng)化審核的想法,并開(kāi)始借助機(jī)器學(xué)習(xí)技術(shù)開(kāi)發(fā)審核工具。利用自動(dòng)化審核工具,機(jī)器會(huì)進(jìn)行一輪初篩,淘汰那些問(wèn)題明顯的應(yīng)用程序,然后再將剩余應(yīng)用交由人工審核,大大減輕了審核人員的壓力。梁傑然和團(tuán)隊(duì)還曾發(fā)表題為“How to Smash the Next Billion Mobile App Bugs?(如何解決下10億個(gè) App 的漏洞?)”的論文,以期籍由機(jī)器學(xué)習(xí)驅(qū)動(dòng)的技術(shù),讓人人都能開(kāi)發(fā)出高質(zhì)量的應(yīng)用程序。相關(guān)的一系列研究也推動(dòng)了業(yè)界對(duì)應(yīng)用程序?qū)徍藱C(jī)制的創(chuàng)新。


        近年來(lái),梁傑然又看到了人工智能技術(shù)在“人人皆可編程”下的更大潛力,轉(zhuǎn)入系統(tǒng)和網(wǎng)絡(luò)研究組,主攻 AI for Systems 方向的研究。在梁傑然看來(lái),云計(jì)算的發(fā)展讓每個(gè)人都能方便、快速地獲取計(jì)算資源。未來(lái),云計(jì)算勢(shì)必是世界上最強(qiáng)大的計(jì)算系統(tǒng)之一。雖然云看起來(lái)使用簡(jiǎn)單,只要根據(jù)需求購(gòu)買(mǎi)相應(yīng)數(shù)量的虛擬服務(wù)器即可,但事實(shí)并非如此,它還會(huì)涉及一系列的分布式編碼、配置、運(yùn)維的專業(yè)問(wèn)題。例如,使用哪種類型的虛擬服務(wù)器更能滿足業(yè)務(wù)需求?每臺(tái)虛擬服務(wù)器適合運(yùn)行哪些業(yè)務(wù)應(yīng)用?虛擬服務(wù)器之間如何分布式運(yùn)行?業(yè)務(wù)高峰低谷時(shí)如何平衡資源?不僅如此,還需要優(yōu)化配置應(yīng)用參數(shù)以更好地利用云資源,更要防止一臺(tái)虛擬服務(wù)器發(fā)生意外對(duì)其它虛擬服務(wù)器造成影響。解決這一系列問(wèn)題都需要專業(yè)知識(shí)。隨著機(jī)器學(xué)習(xí)算法愈漸成熟,梁傑然在 AI for Systems 的研究可以利用機(jī)器學(xué)習(xí)和 AI 等技術(shù),使云上的資源能自主地適配用戶應(yīng)用的負(fù)載需求。最終,云的這個(gè)自主性將幫助所有人都能更方便地編程世界上最強(qiáng)大的計(jì)算系統(tǒng)。


        與此同時(shí),從和產(chǎn)品組合作中,梁傑然和團(tuán)隊(duì)深刻地體會(huì)到機(jī)器學(xué)習(xí)理論和實(shí)際系統(tǒng)問(wèn)題的差距。云原生系統(tǒng)普遍有著高度的復(fù)雜度、規(guī)模和行為動(dòng)態(tài)變化。當(dāng)學(xué)習(xí)對(duì)象發(fā)生變化時(shí),需要花費(fèi)數(shù)小時(shí)甚至數(shù)天重新收集系統(tǒng)數(shù)據(jù)再訓(xùn)練 AI 模型,而且在這個(gè)過(guò)程中還會(huì)產(chǎn)生巨大的成本。在 AI for Systems 的模型學(xué)習(xí)中,他們發(fā)現(xiàn)云系統(tǒng)的復(fù)雜變化其實(shí)有規(guī)律可循。比如系統(tǒng)上有十項(xiàng)云服務(wù),某一周更新其中的一項(xiàng),雖然這會(huì)影響整個(gè)系統(tǒng),但理論上更新只是更改了其中僅一個(gè)服務(wù)的編碼配置。同樣的道理也適用于云服務(wù)的擴(kuò)容。因此,AI 模型也只需要相應(yīng)地修改變化部分即可,這就是模塊化。“模塊化的思維方法讓我們重新思考以往 AI for Systems 的落地,從而促使我們?cè)诜妒缴线M(jìn)行革新。”梁傑然說(shuō)。


        基于這些發(fā)現(xiàn),梁傑然和團(tuán)隊(duì)提出了 Fluxion,一個(gè)通過(guò)模塊化學(xué)習(xí)建模端到端系統(tǒng)延遲的框架。Fluxion 引入了新的抽象學(xué)習(xí)分配,允許對(duì)單個(gè)子組件進(jìn)行建模,而不用對(duì)整個(gè)系統(tǒng)進(jìn)行端到端延遲建模。并且通過(guò)統(tǒng)一的界面,該方法可以將多個(gè)異構(gòu)學(xué)習(xí)任務(wù)組合成一個(gè)推理圖,動(dòng)態(tài)地對(duì)復(fù)雜的分布式系統(tǒng)進(jìn)行建模,顯著降低了成本和延遲。相關(guān)論文“On Modular Learning of Distributed Systems for Predicting End-to-End Latency”已被國(guó)際頂級(jí)網(wǎng)絡(luò)領(lǐng)域?qū)W術(shù)會(huì)議 NSDI 2023 接收。


        圖片

        Fluxion 的架構(gòu)圖


        此外,梁傑然和團(tuán)隊(duì)還在著手進(jìn)行其他的研究,來(lái)實(shí)現(xiàn)云上資源的自主適配性。除了大規(guī)模的自動(dòng)擴(kuò)容技術(shù),還包括 AI for Processors 技術(shù)。例如,云上運(yùn)行的數(shù)據(jù)庫(kù)和網(wǎng)頁(yè)服務(wù)器對(duì)芯片有著不同的要求,而它們卻被同一塊通用芯片以同樣的方式運(yùn)行。如果芯片不能及時(shí)做出優(yōu)化,那么理論上這些軟件的性能就會(huì)被極大影響。梁傑然和團(tuán)隊(duì)希望使用 AI 技術(shù)讓通用芯片更深刻地理解正在被執(zhí)行的指令(或低階機(jī)器語(yǔ)言),來(lái)自主地針對(duì)不同的場(chǎng)景做出不同的調(diào)整。


        為實(shí)現(xiàn)“人人皆可編程”的愿景,梁傑然和團(tuán)隊(duì)從多個(gè)角度不同方向探討云資源的自主適配性。其中部分研究成果如今已經(jīng)融入到微軟的產(chǎn)品和服務(wù)中,如微軟必應(yīng)(Bing)搜索產(chǎn)品中,通過(guò)自主優(yōu)化數(shù)據(jù)緩存,最終提升了終端用戶的體驗(yàn),讓梁傑然的愿景逐漸成為現(xiàn)實(shí)。


        以三年為界,不斷地試錯(cuò)與調(diào)整


        無(wú)論是獲得 ACM SenSys 2022 時(shí)間檢驗(yàn)獎(jiǎng)的無(wú)線感知研究,還是“人人皆可編程”的愿景,每次研究賽道的轉(zhuǎn)換,梁傑然都選擇將長(zhǎng)期主義的理念灌注于研究工作之中。為什么梁傑然一次又一次地選擇這種短期內(nèi)無(wú)法實(shí)現(xiàn)突破性成果的研究?


        “這還是要回歸到我的理念:與有趣的人做有趣的事。計(jì)算機(jī)行業(yè)瞬息萬(wàn)變,熱門(mén)的問(wèn)題也在時(shí)刻變化。但我覺(jué)得更有趣的是三年之后有可能發(fā)生的行業(yè)趨勢(shì)。這一定程度上是一個(gè)****注:贏了,我們就比其他人早走了幾步,甚至有可能帶來(lái)范式上的轉(zhuǎn)變;即使失敗了,三年的時(shí)間也有一定的容錯(cuò)空間,可以讓我們?cè)俅握{(diào)整,重新選擇賽道。”梁傑然特別喜歡微軟杰出科學(xué)家 Phil Bernstein 對(duì)于科研的反思——我們應(yīng)該關(guān)注研究成果究竟能對(duì)學(xué)術(shù)界或產(chǎn)業(yè)界的未來(lái)3-5年帶來(lái)什么樣的推動(dòng)和改變,而不是每年發(fā)了多少篇論文。


        “更重要的是,微軟亞洲研究院一直鼓勵(lì)長(zhǎng)期投資,做有影響力的研究,并創(chuàng)造了一個(gè)多元包容的科研氛圍。這讓我可以和背景不同的同事們形成‘有趣’的組合,一起做‘有趣’的研究。”


        圖片

        工作之余,梁傑然還是一位網(wǎng)球高手,這項(xiàng)“有趣”的運(yùn)動(dòng)他也堅(jiān)持了十多年,既獲得過(guò)階段性的榮譽(yù),也在努力向著長(zhǎng)遠(yuǎn)的聯(lián)盟球隊(duì)第一的寶座進(jìn)軍。梁傑然(右一)和微軟中國(guó)網(wǎng)球俱樂(lè)部的同事一起在海淀區(qū)重點(diǎn)企業(yè)網(wǎng)球俱樂(lè)部比賽中獲得佳績(jī)。



        相關(guān)論文鏈接:


        1. Design and Evaluation of a Versatile and Efficient Receiver-Initiated Link Layer for Low-Power Wireless

        https://www.microsoft.com/en-us/research/publication/design-and-evaluation-of-a-versatile-and-efficient-receiver-initiated-link-layer-for-low-power-wireless/ 

        2. How to Smash the Next Billion Mobile App Bugs?

        https://www.microsoft.com/en-us/research/publication/how-to-smash-the-next-billion-mobile-app-bugs/

        3. AutoSys: The Design and Operation of Learning-Augmented Systems

        https://www.microsoft.com/en-us/research/publication/autosys-the-design-and-operation-of-learning-augmented-systems/

        4. On Modular Learning of Distributed Systems for Predicting End-to-End Latency

        https://www.microsoft.com/en-us/research/publication/on-modular-learning-of-distributed-systems-for-predicting-end-to-end-latency/


        *博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布,僅代表博主個(gè)人觀點(diǎn),如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。

        物聯(lián)網(wǎng)相關(guān)文章:物聯(lián)網(wǎng)是什么




        關(guān)鍵詞: AI

        相關(guān)推薦

        技術(shù)專區(qū)

        關(guān)閉
        主站蜘蛛池模板: 平果县| 黔南| 兴安盟| 三明市| 定州市| 老河口市| 永年县| 海安县| 固始县| 大埔县| 毕节市| 海口市| 攀枝花市| 东光县| 福海县| 云浮市| 左云县| 濮阳市| 盐山县| 巴东县| 吴忠市| 新野县| 南部县| 北京市| 张北县| 长葛市| 长沙市| 宾川县| 日土县| 深州市| 读书| 左权县| 新晃| 金秀| 南郑县| 越西县| 金寨县| 黎川县| 永清县| 轮台县| 东安县|