將業(yè)務(wù)目標(biāo)應(yīng)用于機(jī)器學(xué)習(xí)指標(biāo)

隨著機(jī)器學(xué)習(xí) (ML) 的熱潮和企業(yè)紛紛搶先采用機(jī)器學(xué)習(xí)進(jìn)行轉(zhuǎn)型，不難發(fā)現(xiàn)并非所有機(jī)器學(xué)習(xí)項(xiàng)目都能取得成功。往往是因?yàn)榇嬖凇跋扔薪鉀Q方案再有問(wèn)題”的思維定式，導(dǎo)致機(jī)器學(xué)習(xí)應(yīng)用的需求和目標(biāo)定義不清。若未能明確機(jī)器學(xué)習(xí)為何被采用以及其對(duì)業(yè)務(wù)指標(biāo)的影響，可能導(dǎo)致概念驗(yàn)證 (POC) 工作耗費(fèi)大量時(shí)間卻無(wú)法產(chǎn)生實(shí)際成果。

本文探討了企業(yè)在將機(jī)器學(xué)習(xí)融入產(chǎn)品與流程時(shí)，如何通過(guò)明確總體目標(biāo)并將其與相關(guān)業(yè)務(wù)指標(biāo)聯(lián)系起來(lái)，進(jìn)而規(guī)避常見(jiàn)陷阱。隨著POC工作的進(jìn)展，應(yīng)用這些指標(biāo)為評(píng)估機(jī)器學(xué)習(xí)性能奠定了基礎(chǔ)。根據(jù)POC的任務(wù)或用例，將這些指標(biāo)與適當(dāng)?shù)臋C(jī)器學(xué)習(xí)指標(biāo)關(guān)聯(lián)起來(lái)，并為研發(fā)方向制定一個(gè)短期路線圖，將顯著提升項(xiàng)目成功的可能性。

將目標(biāo)轉(zhuǎn)化為業(yè)務(wù)指標(biāo)

企業(yè)通常出于幾個(gè)主要原因決定是否在其流程中引入機(jī)器學(xué)習(xí)。這些原因通常包括通過(guò)提升團(tuán)隊(duì)工作效率來(lái)增加收入、提高業(yè)務(wù)某一特定環(huán)節(jié)的成功率、通過(guò)縮短響應(yīng)接收信息的時(shí)間來(lái)改善客戶體驗(yàn)，或減少與錯(cuò)誤相關(guān)的成本或其他浪費(fèi)。這些原因與更細(xì)化的業(yè)務(wù)指標(biāo)息息相關(guān)，指標(biāo)應(yīng)在啟動(dòng)機(jī)器學(xué)習(xí)項(xiàng)目時(shí)明確制定。例如，如果希望通過(guò)提高團(tuán)隊(duì)或公司的能力來(lái)增加收入，那么相關(guān)的生產(chǎn)力指標(biāo)可能與銷售和營(yíng)銷指標(biāo)有關(guān)，如配額完成率、每條銷售線索的成本或凈銷售收入。若目標(biāo)是提升客戶成功率，相關(guān)指標(biāo)可能包括流失客戶（也稱為客戶流失率）、客戶滿意度評(píng)分或交易損失率。 

最重要的是，在開(kāi)發(fā)項(xiàng)目時(shí)，通過(guò)正確的衡量標(biāo)準(zhǔn)確定這些業(yè)務(wù)需求至關(guān)重要，而不是在不了解其必要性具體原因的情況下確定解決方案。除非能有效衡量實(shí)施機(jī)器學(xué)習(xí)流程對(duì)工單分類處理或匯總?cè)唛L(zhǎng)文檔的影響，否則這樣做就毫無(wú)意義。

將業(yè)務(wù)指標(biāo)與機(jī)器學(xué)習(xí)指標(biāo)相匹配

在根據(jù)項(xiàng)目整體目標(biāo)選擇合適的業(yè)務(wù)指標(biāo)后，應(yīng)將其與機(jī)器學(xué)習(xí)任務(wù)對(duì)應(yīng)的機(jī)器學(xué)習(xí)指標(biāo)進(jìn)行匹配。在業(yè)務(wù)方面取得改進(jìn)通常需要一組機(jī)器學(xué)習(xí)指標(biāo)。例如，假設(shè)目標(biāo)是通過(guò)加速某個(gè)團(tuán)隊(duì)在特定流程中的工作來(lái)提高生產(chǎn)力，可能是軟件部署前的質(zhì)量保證。在這種情況下，業(yè)務(wù)指標(biāo)可能是從開(kāi)始到結(jié)束的測(cè)試時(shí)間、測(cè)試的元素?cái)?shù)量以及每次會(huì)話中運(yùn)行的次數(shù)。然而，同樣重要的指標(biāo)可能包括部署前發(fā)現(xiàn)的錯(cuò)誤數(shù)量以及之前通過(guò)但現(xiàn)在失敗的測(cè)試次數(shù)。

在建立機(jī)器學(xué)習(xí)流程來(lái)處理質(zhì)量保證團(tuán)隊(duì)的部分工作時(shí)，指標(biāo)不僅是延遲或模型評(píng)估預(yù)期與實(shí)際輸出差異的速度，還包括模型準(zhǔn)確性——特別是假陽(yáng)性和假陰性的數(shù)量。由于模型的錯(cuò)誤可能需要由人工評(píng)估，所以標(biāo)記的問(wèn)題太多會(huì)增加團(tuán)隊(duì)的工作量，而過(guò)多的漏報(bào)則會(huì)導(dǎo)致開(kāi)發(fā)團(tuán)隊(duì)的工作量增加。除了基于業(yè)務(wù)指標(biāo)建立團(tuán)隊(duì)當(dāng)前績(jī)效的基準(zhǔn)外，基線準(zhǔn)確性對(duì)于評(píng)估機(jī)器學(xué)習(xí)是否至少達(dá)到有效水平也具有參考價(jià)值。

根據(jù)具體用例、任務(wù)類型及所需輸出形式，機(jī)器學(xué)習(xí)指標(biāo)可能并非像準(zhǔn)確率或錯(cuò)誤率那樣直觀。然而，只要能夠在不依賴機(jī)器學(xué)習(xí)的情況下衡量某一過(guò)程的有效性，通常就存在某種方法來(lái)評(píng)估機(jī)器學(xué)習(xí)過(guò)程的性能。自然語(yǔ)言處理 (NLP) 就是一個(gè)缺乏直接指標(biāo)的領(lǐng)域。例如，文本摘要或內(nèi)容生成等任務(wù)看似難以評(píng)估。然而，如果開(kāi)發(fā)人員花時(shí)間構(gòu)建包含輸入文本和預(yù)期輸出示例的數(shù)據(jù)集，則可以使用諸如召回率導(dǎo)向的摘要評(píng)估指標(biāo) (ROUGE) 等。ROUGE和其他指標(biāo)通過(guò)衡量預(yù)期輸出與實(shí)際輸出之間的詞匯重疊度，來(lái)應(yīng)對(duì)不存在單一“正確”答案的問(wèn)題；相反，答案會(huì)根據(jù)正確程度的不同而有所差異。

構(gòu)建POC路線圖

最后，在確定了機(jī)器學(xué)習(xí)指標(biāo)之后，就可以開(kāi)始構(gòu)建一個(gè)簡(jiǎn)潔但詳細(xì)的POC實(shí)施和實(shí)驗(yàn)方法路線圖。這應(yīng)包括將整個(gè)任務(wù)分解為更小、更簡(jiǎn)單的部分，這些部分可以快速通過(guò)機(jī)器學(xué)習(xí)模型驗(yàn)證其成功性，例如將支持工單分類為緊急與非緊急，而非采用更復(fù)雜的分類體系。此外，應(yīng)進(jìn)行初步文獻(xiàn)綜述或現(xiàn)有技術(shù)調(diào)研，以識(shí)別一系列復(fù)雜程度逐步提升的方案，以防簡(jiǎn)單方案無(wú)法滿足任務(wù)需求。實(shí)施該策略首先采用現(xiàn)成模型或通過(guò)第三方應(yīng)用程序接口 (API) 獲取的模型（如業(yè)務(wù)場(chǎng)景允許），隨后轉(zhuǎn)向可通過(guò)微調(diào)或重新訓(xùn)練適配任務(wù)的架構(gòu)，最后是需要從零開(kāi)始實(shí)現(xiàn)且可能涉及更復(fù)雜訓(xùn)練流程的方案。可對(duì)每種方法的成本進(jìn)行估算，以基于預(yù)期價(jià)值對(duì)機(jī)器學(xué)習(xí)項(xiàng)目的投資回報(bào)率 (ROI) 進(jìn)行公平評(píng)估。此舉可明確某些概念驗(yàn)證方向是否因成本過(guò)高而不可行，并幫助設(shè)定若最佳性能達(dá)不到預(yù)期時(shí)放棄項(xiàng)目的截止點(diǎn)。

結(jié)論

將機(jī)器學(xué)習(xí)引入公司的流程或產(chǎn)品有助于實(shí)現(xiàn)提升生產(chǎn)力、降低成本和減少錯(cuò)誤等整體業(yè)務(wù)目標(biāo)。然而，為了確保成功，這些機(jī)器學(xué)習(xí)項(xiàng)目必須從一開(kāi)始就正確啟動(dòng)。通過(guò)適當(dāng)?shù)臉I(yè)務(wù)指標(biāo)來(lái)衡量影響至關(guān)重要，其次是確定正確的機(jī)器學(xué)習(xí)指標(biāo)，以證明開(kāi)發(fā)的模型能夠提供預(yù)期價(jià)值，因?yàn)樗鼈兡軌虬匆蠊ぷ鳌Ｔ诖_定這些細(xì)節(jié)后，制定一份路線圖以明確POC實(shí)施方向?qū)⑹鬼?xiàng)目保持正軌。該路線圖還將確保投資回報(bào)率與努力的關(guān)系，從而確定一個(gè)平衡兩者的合理放棄點(diǎn)。這些最佳實(shí)踐是將業(yè)務(wù)目標(biāo)轉(zhuǎn)化為機(jī)器學(xué)習(xí)POC再到生產(chǎn)環(huán)境的多個(gè)步驟中的第一步。

要進(jìn)一步了解以敏捷而穩(wěn)健的方式開(kāi)發(fā)ML POC所涉及的其他關(guān)鍵階段，以及如何將最終成果投入生產(chǎn)，請(qǐng)瀏覽貿(mào)澤關(guān)于從概念驗(yàn)證到生產(chǎn)部署的系列博客。在這里，您將了解到如何識(shí)別并建立項(xiàng)目數(shù)據(jù)集、設(shè)置實(shí)驗(yàn)工具、開(kāi)發(fā)構(gòu)建POC所需的資源和方法（包括開(kāi)源模型）、制定擴(kuò)展至生產(chǎn)就緒版本時(shí)的指南和重點(diǎn)，以及部署后需預(yù)期和監(jiān)控的事項(xiàng)。

作者簡(jiǎn)介

Becks是Rogo的全棧AI負(fù)責(zé)人，Rogo是一家總部位于紐約的初創(chuàng)公司，旨在構(gòu)建一個(gè)平臺(tái)，讓任何人都可以在沒(méi)有數(shù)據(jù)科學(xué)背景的情況下分析自己的數(shù)據(jù)并從中獲得經(jīng)驗(yàn)。在業(yè)余時(shí)間，她還與Whale Seeker合作，這是另一家運(yùn)用AI對(duì)鯨魚(yú)進(jìn)行檢測(cè)的初創(chuàng)公司，旨在讓工業(yè)發(fā)展與這些溫和的巨獸和諧共存。她從事深度學(xué)習(xí)和機(jī)器學(xué)習(xí)領(lǐng)域的工作，致力于研究新的深度學(xué)習(xí)方法并直接應(yīng)用這些方法來(lái)解決現(xiàn)實(shí)世界的問(wèn)題、構(gòu)建渠道和平臺(tái)來(lái)訓(xùn)練和部署人工智能模型，以及為初創(chuàng)公司的人工智能和數(shù)據(jù)戰(zhàn)略提供咨詢服務(wù)。