將業(yè)務目標應用于機器學習指標

隨著機器學習 (ML) 的熱潮和企業(yè)紛紛搶先采用機器學習進行轉型，不難發(fā)現(xiàn)并非所有機器學習項目都能取得成功。往往是因為存在“先有解決方案再有問題”的思維定式，導致機器學習應用的需求和目標定義不清。若未能明確機器學習為何被采用以及其對業(yè)務指標的影響，可能導致概念驗證 (POC) 工作耗費大量時間卻無法產(chǎn)生實際成果。

本文探討了企業(yè)在將機器學習融入產(chǎn)品與流程時，如何通過明確總體目標并將其與相關業(yè)務指標聯(lián)系起來，進而規(guī)避常見陷阱。隨著POC工作的進展，應用這些指標為評估機器學習性能奠定了基礎。根據(jù)POC的任務或用例，將這些指標與適當?shù)臋C器學習指標關聯(lián)起來，并為研發(fā)方向制定一個短期路線圖，將顯著提升項目成功的可能性。

將目標轉化為業(yè)務指標

企業(yè)通常出于幾個主要原因決定是否在其流程中引入機器學習。這些原因通常包括通過提升團隊工作效率來增加收入、提高業(yè)務某一特定環(huán)節(jié)的成功率、通過縮短響應接收信息的時間來改善客戶體驗，或減少與錯誤相關的成本或其他浪費。這些原因與更細化的業(yè)務指標息息相關，指標應在啟動機器學習項目時明確制定。例如，如果希望通過提高團隊或公司的能力來增加收入，那么相關的生產(chǎn)力指標可能與銷售和營銷指標有關，如配額完成率、每條銷售線索的成本或凈銷售收入。若目標是提升客戶成功率，相關指標可能包括流失客戶（也稱為客戶流失率）、客戶滿意度評分或交易損失率。 

最重要的是，在開發(fā)項目時，通過正確的衡量標準確定這些業(yè)務需求至關重要，而不是在不了解其必要性具體原因的情況下確定解決方案。除非能有效衡量實施機器學習流程對工單分類處理或匯總冗長文檔的影響，否則這樣做就毫無意義。

將業(yè)務指標與機器學習指標相匹配

在根據(jù)項目整體目標選擇合適的業(yè)務指標后，應將其與機器學習任務對應的機器學習指標進行匹配。在業(yè)務方面取得改進通常需要一組機器學習指標。例如，假設目標是通過加速某個團隊在特定流程中的工作來提高生產(chǎn)力，可能是軟件部署前的質(zhì)量保證。在這種情況下，業(yè)務指標可能是從開始到結束的測試時間、測試的元素數(shù)量以及每次會話中運行的次數(shù)。然而，同樣重要的指標可能包括部署前發(fā)現(xiàn)的錯誤數(shù)量以及之前通過但現(xiàn)在失敗的測試次數(shù)。

在建立機器學習流程來處理質(zhì)量保證團隊的部分工作時，指標不僅是延遲或模型評估預期與實際輸出差異的速度，還包括模型準確性——特別是假陽性和假陰性的數(shù)量。由于模型的錯誤可能需要由人工評估，所以標記的問題太多會增加團隊的工作量，而過多的漏報則會導致開發(fā)團隊的工作量增加。除了基于業(yè)務指標建立團隊當前績效的基準外，基線準確性對于評估機器學習是否至少達到有效水平也具有參考價值。

根據(jù)具體用例、任務類型及所需輸出形式，機器學習指標可能并非像準確率或錯誤率那樣直觀。然而，只要能夠在不依賴機器學習的情況下衡量某一過程的有效性，通常就存在某種方法來評估機器學習過程的性能。自然語言處理 (NLP) 就是一個缺乏直接指標的領域。例如，文本摘要或內(nèi)容生成等任務看似難以評估。然而，如果開發(fā)人員花時間構建包含輸入文本和預期輸出示例的數(shù)據(jù)集，則可以使用諸如召回率導向的摘要評估指標 (ROUGE) 等。ROUGE和其他指標通過衡量預期輸出與實際輸出之間的詞匯重疊度，來應對不存在單一“正確”答案的問題；相反，答案會根據(jù)正確程度的不同而有所差異。

構建POC路線圖

最后，在確定了機器學習指標之后，就可以開始構建一個簡潔但詳細的POC實施和實驗方法路線圖。這應包括將整個任務分解為更小、更簡單的部分，這些部分可以快速通過機器學習模型驗證其成功性，例如將支持工單分類為緊急與非緊急，而非采用更復雜的分類體系。此外，應進行初步文獻綜述或現(xiàn)有技術調(diào)研，以識別一系列復雜程度逐步提升的方案，以防簡單方案無法滿足任務需求。實施該策略首先采用現(xiàn)成模型或通過第三方應用程序接口 (API) 獲取的模型（如業(yè)務場景允許），隨后轉向可通過微調(diào)或重新訓練適配任務的架構，最后是需要從零開始實現(xiàn)且可能涉及更復雜訓練流程的方案?？蓪γ糠N方法的成本進行估算，以基于預期價值對機器學習項目的投資回報率 (ROI) 進行公平評估。此舉可明確某些概念驗證方向是否因成本過高而不可行，并幫助設定若最佳性能達不到預期時放棄項目的截止點。

結論

將機器學習引入公司的流程或產(chǎn)品有助于實現(xiàn)提升生產(chǎn)力、降低成本和減少錯誤等整體業(yè)務目標。然而，為了確保成功，這些機器學習項目必須從一開始就正確啟動。通過適當?shù)臉I(yè)務指標來衡量影響至關重要，其次是確定正確的機器學習指標，以證明開發(fā)的模型能夠提供預期價值，因為它們能夠按要求工作。在確定這些細節(jié)后，制定一份路線圖以明確POC實施方向?qū)⑹鬼椖勘３终?。該路線圖還將確保投資回報率與努力的關系，從而確定一個平衡兩者的合理放棄點。這些最佳實踐是將業(yè)務目標轉化為機器學習POC再到生產(chǎn)環(huán)境的多個步驟中的第一步。

要進一步了解以敏捷而穩(wěn)健的方式開發(fā)ML POC所涉及的其他關鍵階段，以及如何將最終成果投入生產(chǎn)，請瀏覽貿(mào)澤關于從概念驗證到生產(chǎn)部署的系列博客。在這里，您將了解到如何識別并建立項目數(shù)據(jù)集、設置實驗工具、開發(fā)構建POC所需的資源和方法（包括開源模型）、制定擴展至生產(chǎn)就緒版本時的指南和重點，以及部署后需預期和監(jiān)控的事項。

作者簡介

Becks是Rogo的全棧AI負責人，Rogo是一家總部位于紐約的初創(chuàng)公司，旨在構建一個平臺，讓任何人都可以在沒有數(shù)據(jù)科學背景的情況下分析自己的數(shù)據(jù)并從中獲得經(jīng)驗。在業(yè)余時間，她還與Whale Seeker合作，這是另一家運用AI對鯨魚進行檢測的初創(chuàng)公司，旨在讓工業(yè)發(fā)展與這些溫和的巨獸和諧共存。她從事深度學習和機器學習領域的工作，致力于研究新的深度學習方法并直接應用這些方法來解決現(xiàn)實世界的問題、構建渠道和平臺來訓練和部署人工智能模型，以及為初創(chuàng)公司的人工智能和數(shù)據(jù)戰(zhàn)略提供咨詢服務。