博客專欄

        EEPW首頁 > 博客 > 堅持做行業大模型,竹間智能給大模型造了一座「模型工廠」(2)

        堅持做行業大模型,竹間智能給大模型造了一座「模型工廠」(2)

        發布人:機器之心 時間:2023-07-03 來源:工程師 發布文章

        總之,Model factory、Benchmark System 加上 Chat Search,一個大模型驅動的語義搜索引擎,三大要素緊密聯動,使 EmotiBrain 可敏捷應用于復雜及多變的場景中,并給予強大靈活的支持。 


        「EmotiBrain 可以在幾天甚至幾個小時內幫你選出最適合的大模型,通常需要一個模型工程師花好幾個月才能做到,甚至因缺少人才或 know-how 都無法完成可用的模型,白白浪費的資源。」簡仁賢說。 


        另外,EmotiBrain 還有一個非常好用的 GPU 資源調度功能,自動幫你調度云資源或本地 GPU 資源。這樣,一般不懂IT業務的人員也可以用這個微調平臺來訓練自己的模型,「他只要需要知道數據從哪來的。」 


        三、如何可控?四步應對模型幻覺 


        可定制化實現后,還有一個問題。許多創始人對在他們的產品和工作流程中實施大模型持謹慎態度,因為這些模型有時就像小孩子——會編造事情,對幻想與現實沒有牢固的把握。有媒體報道,美國律師使用 ChatGPT 提交法庭簡報,結果引用的6個案例都是 ChatGPT 編造的虛假案例。 


        「產生幻覺,其實是生成式 AI 的一個特點。」簡仁賢認為,創造力是知識生成的一個主要來源,如果百分百避免幻覺,模型也會失去創造力。不過,EmotiBrain 也有辦法幫助企業更好控制模型的輸出。 


        例如,在模型推理階段,用戶可以根據不同業務需求,調整「temperature」的數值,低溫度可以生成更加專注、保守和一致的回答。這種方式在營銷人員需要準確、精確的答案或者遵循特定格式或品牌指南的信息時非常有用。


        中溫度的話,能夠在創造力和一致性之間取得平衡。這種設置非常適用于一般內容生成,因為需要準確性和創新的結合。高溫度可以生成更具創意、多樣化和出人意料的輸出。營銷人員可能會在頭腦風暴創新的活動想法、制作引人入勝的社交媒體內容或尋求對某個主題的新鮮視角時更喜歡使用這種設置。 


        除此之外,模型可控能不能做到100%還取決于微調過程。 


        就企業私域問答部分來說,完全可以做到可控。企業可以花大量精力做好知識準備、知識清洗和審核。訓練后,還可以用人類對齊(alignment )的方式控制輸出質量。 


        比如,你可以給輸出的答案做標注,告訴模型哪個是對的、哪個是錯的,用基于人類反饋的強化學習的方法(RLHF)進行再訓練,模型就知道對與錯,自動減少胡言亂語的回答,但是RLHF要做得好,對使用數據與標準數量和質量就有要求。 


        值得一提的是, EmotiBrain 還提供審核機制——「用大模型去做 reflection ,把 reflection 放到大模型里」,讓大模型擁有自我檢視的能力。 


        「這個咖啡很難喝」,在講出這句話之前,人們會先問自己這句話對嗎?是不是符合商業規范或道德標準?有沒有人身攻擊?有沒有牽扯到政治? 


        「所有這些環節,一個前面的大模型反思模型、加上基于人類反饋的強化學習、私域數據的掌控,還有 temperature 也可以調。我們都會提供工具和評測去幫助他們做好這些控制。」簡仁賢總結道。 


        四、KKBot 的想象力 


        除了 EmotiBrain,安裝了這臺發動機四款「車型」中,最值得關注、也最具想象力的是 KKBot ,你可以將它視為國內版本的 Office Copilot,可以存在任何地方。

         

        它可以是一個瀏覽器插件,根據你瀏覽網頁的內容,答問題、做總結,任何 web application,KKBot 都是 Copilot。「Chrome 能用,我們現在準備適配 IE 瀏覽器。」簡仁賢告訴我們。 


        它還會出現在常用企業軟件里(例如網頁版的辦公軟件、竹間智能的產品),根據你的 query 自動生成想要的總結、圖片、統計表格、數據分析等。在他看來,「傳統的 BI 可能會被大模型顛覆掉。」 


        它甚至可以在企業 DIY 大模型過程中,充當助手。如果企業將自己的私域數據放到 Knowledge Factory ,那么,KK bot 可以在 Knowledge Factory 的文檔與知識庫里,找出大模型生成的一些令人生疑的回答的來源。如果找不到某句回答出處,大概率是模型在亂講。 

        最有意思的是在 KKBot 加持下,公司最暢銷的Bot Factory 脫胎換骨,升級到 Plus。 


        竹間智能早在 2017 年就推出了 Bot Factory,企業客戶可以在這個工廠里做各種機器人——智能客服、對話機器人、問診機器人、故障排除機器人、專家機器人等。有些企業甚至用 Bot Factory 在企業內部做了 1000 多個機器人。 


        現在,這些經過行業驗證和打磨的產品又成為竹間智能部署在客戶側的「尖兵」,也是接入底層大模型能力的關鍵入口。如果可以幫助企業輕松定制自己的模型并嵌入到這些入口,無需帶著新品教育市場,竹間智能就能將新的底層能力出售出去。 


        以前我們用小模型去訓練可能需要花兩天的時間。現在,機器人的問答跟知識全部由大模型生成,只要兩個小時,運營成本降低了90%以上。簡仁賢解釋道。 


        KKBot 可以幫你生成知識,幫你對齊知識。比如,你給它輸入《保險法》,輸入完以后,它自動從《保險法》里抽出來所有的知識跟所有的問答,抽出來之后,自動訓練 Bot Factory+ 的對話機器人,兩個小時可以回答上千個問題,95% 以上準確率。 


        整個過程都是自動的,無需人為干預。跑完以后,再由人工測試。如果對輸出結果滿意,就能發布上線。 


        KKBot 作為 Copilot,還有一個很大的優點。簡仁賢強調說,「它不是一個模型的Copilot,而是多個不同模型的 Copilot,可以跟所有模型去兼容,當企業不同部門或項目組有多個模型在運行時,KKBot 可以選擇不同模型來回答,完全不受單一模型限制。」 


        比如,可以接竹間大模型魔力寫作與 ChatLLM,華為盤古大模型的 API,海外用戶可以去接 GPT-4 或 GPT3.5 Turbo的 API,甚至包括企業自己訓練出來放到 EmotiBrain 里的大模型。 


        「切換不同的大模型,展現出來的能力也不一樣。」 


        五、「租」得起:99萬包年 


        竹間智能的目標是將人工智能平民化,讓所有的企業都有自己的大模型,都能負擔得起的大模型。「工廠(factory)」就是實現這一目標的技術手段。 


        現在,從「工廠(factory)租金來看,根據所需GPU的數量不同,「1+4」PaaS 年訂閱服務的費用也有兩個檔次。 


        如果僅需 1-8 個GPU,一年訂閱價格 99 萬。超過 8 個 GPU,一年的套餐價格 149  萬。具體情況,依據不同行業、不同企業部門要求不同。 


        例如,訓練一個比較復雜的模型,假設 330 億參數,用一塊 GPU 可能需要 1-5 天。很多時候,在預算有限的情況下,99 萬的套餐也就夠用了。當然,如果預算比較富裕,企業也希望數小時就能訓練好,8 個 GPU 可能不夠用,可以升級到 149 萬元的套餐。 


        「相比花 2000 萬買個行業大模型,還冒著走彎路的風險,我們的產品用起來比較安心」,簡仁賢認為,「你只用花 99 萬,就可以定制出適合你的模型,而且沒有限制模型數量,并可以立刻在現實應用中看到它的價值,也不受云計算廠商的限制,不用綁定任何云計算資源。」 


        這些工具都是免費升級,而且做出來的模型都屬于客戶,「我們不 own 這個模型,我們也不賣模型,我們只是把這個 PaaS 租給你用,讓人去定制模型。」他補充說,「也就是說,我租給你的是一個模型工廠。」 


        圖片


        其實,OpenAI 這樣的公司只是給我們指明了一個方向。開源社區會根據這個方向做出更創新的東西,進而成為企業落地大模型的主流。 


        簡仁賢預測,未來 6-12 個月,開源社區也會出現更多新的前沿訓練和微調技術,不斷降低大模型對內存、GPU 依賴,降低微調和訓練成本,不斷提升訓練速度。更新的模型框架也會出現,更多的具備通用能力的指令集也會問世,更多的不同語言的訓練集也會在各國地區的努力下開出來,全球范圍內的大模型應用會更加廣泛,進而加速 Generative AI 與 LLM 技術的快速迭代。 


        這個大模型就是每個企業應用的「腦」。未來,每隔一段時間,與「腦」有關的技術都會取得重要進展,比如更好的模型、訓練方式、更高質量的數據。 


        這個時候,大模型的管理和迭代就顯得更加重要。他說,有了工廠流水線,換「腦」就變得很容易。 


        *博客內容為網友個人發布,僅代表博主個人觀點,如有侵權請聯系工作人員刪除。



        關鍵詞: AI

        相關推薦

        技術專區

        關閉
        主站蜘蛛池模板: 宜都市| 金山区| 珠海市| 武宁县| 融水| 青川县| 桃源县| 平乐县| 平乡县| 漳浦县| 南木林县| 涿州市| 松桃| 阳原县| 平乡县| 凤山县| 县级市| 博客| 双鸭山市| 湖北省| 呼玛县| 永清县| 乐都县| 潼关县| 乌拉特前旗| 永川市| 鹤岗市| 恭城| 西华县| 鄂托克前旗| 平泉县| 内江市| 环江| 陈巴尔虎旗| 吉木萨尔县| 托里县| 定襄县| 广水市| 阿合奇县| 南陵县| 吉首市|