博客專欄

        EEPW首頁 > 博客 > 手把手教你用聆思CSK6開發板接入ChatGPT

        手把手教你用聆思CSK6開發板接入ChatGPT

        發布人:ListenAI 時間:2024-07-19 來源:工程師 發布文章
        前言

        多模態交互離不開硬件載體,近期有不少開發者在研究聆思CSK6大模型開發板除了使用出廠示例自帶的星火大模型,能不能接入ChatGPT、文心一言、通義千問、豆包、智譜glm、kimi等大模型,這個是必須支持的。但由于各家接口和數據格式不一樣,有些朋友直接參考星火大模型接入的方式沒有走通,因此本篇以聆思CSK6大模型開發板接入ChatGPT為例,分享具體的接入步驟,大家按照文檔步驟操作即可。


        由上圖可見,當前SDK方案是把開發套件當做輸入端,文字或圖片內容先上傳到聆思的大模型平臺(LSPlatform),然后平臺再根據匹配的應用策略轉給后端的大模型處理。基于聆思大模型平臺提供的應用編排功能,我們如果要使用其他大模型,只需要從云端更改大模型接入節點,而無需去修改硬件端。

        鏈路說明

         鏈路1: 可通過inject節點調用ChatGPT節點,并將結果輸出到output1。

         鏈路2: 可通過web對話頁調用ChatGPT節點,最終將大模型結果輸出到對話頁面上。

         鏈路3: 可通過開發板調用ChatGPT節點,最終將大模型輸出的結果進行語音合成實現端側播報。

        云端服務接入ChatGpt(1)建應用

        登陸LSPlatform創建新應用

        創建成功后在彈出的界面進入應用編排服務。



        (2)導入示例

         下載工程示例:ChatGpt.json

         導入工程示例:將ChatGpt.json文件進行導入


        若提示“您要導入的某些節點已經存在于工作空間中。”,則選擇“導入副本”即可。

        (3)配置參數


        配置參數說明:

         API-KEY:調用openai的APIKEY

         Host:國內通常無法直接openai的接口,可通過代理服務的HOST訪問openai的接口

         Model:提供GPT3.5/GPT4.0可選擇,可自行添加更多模型選項。

         Stream:是否流式返回

        chatGPT子流程節點默認封裝了訪問openai的/v1/chat/completions接口,若需要調用openai其他接口則需要修改子流程節點代碼。

        (4)部署驗證

        在完成參數配置,進入完整體驗之前,我們可以簡單測試驗證,驗證是否成功調用ChatGpt。

         部署應用成功后關閉當前編排服務


         重啟應用


         測試接口

        重啟應用后,再次點開【編排應用】,點擊注入,會觸發一次ChatGpt子流程調用,標記2的紅框中輸出類似日志即代表成功建立鏈接。


         打開web驗證頁面

        回到【我的應用】,雙擊ChatGpt應用,在彈出的應用詳情頁面點擊右上角分享按鈕打開web驗證配置,該配置頁包含測試地址和訪問密碼。



         訪問web驗證頁面鏈接,在打開的web頁即可與ChatGpt對話

        大模型開發板接入ChatGpt

        云端接入ChatGpt成功后,要想在聆思CSK6大模型開發板上進行語音交互,需要把對接了ChatGpt的云端服務跟指定開發板綁定。

        1、創建產品

        產品管理模塊點擊新建產品按鈕,并按要求填寫你的產品名稱。


        2、云端應用和云端產品信息綁定

        配置你需要調用的大模型應用,完成配置后,用戶即可體驗ChatGpt與開發板交互。在此我們僅需在配置應用勾對文章第一步創建的應用即可。


        3、云端應用設備列表加入硬件設備ID

        讀取設備id

        設備ID是一個產品下的唯一設備標識,我們需要獲取當前設備ID方便后續在云端配置,才能讓設備鑒權通過實現端云交互。

        讀取方式:

        cskburn desktop是一款聆思推出的桌面燒錄工具,下載地址(cskburn桌面燒錄工具 | 聆思文檔中心)打開軟件后

        1.點擊串口下拉框,選擇連接開發套件后識別到的串口編號;

        2.點擊獲取信息

        3.得到設備ID


        加入設備列表

        聆思平臺只會對列表中的設備鑒權提供交互服務,因此需要將前面讀取到的設備ID在設備管理頁面進行導入才能實現設備正常交互。


        4、CSK6開發板設備端寫入云端產品服務配置

        完成云端配置后,僅需將產品ID寫入設備,才能讓設備找到對應的產品完成鑒權服務。

        寫入方式:

        使用數據線連接開發板 DAP_USB 接口后,打開聆思在線串口終端,選擇對應的串口設 備進行連接,波特率默認115200,完成配置后點擊連接按鈕。

        通過 aiui set product_id aiui set secret_id指令可以分別配置開發板接入的大模型應用 product ID 及其密鑰,示例如下:

        aiui set product_id 71cd1721-xxx-xxx-xxx-1000055c8b2f

        aiui set secret_id cb09013f-xxx-xxx-xxx-e212b32f9218

        product_idproduct_secret 可在對應產品的產品信息中獲取,請將指令中的參數替換為產品信息中的 id 與 secret 信息。


         語音交互

        小美小美喚醒,并提問你是誰,語音回復它是人工智能助手并且詢問問題時,它給予回復即可驗證成功。至此,可以確認ChatGpt接入成功。本文使用的聆思CSK6大模型開發板的詳細信息可參考線上文檔。https://docs2.listenai.com/x/nTn9kMMCU


        *博客內容為網友個人發布,僅代表博主個人觀點,如有侵權請聯系工作人員刪除。



        關鍵詞: ChatGPT 聆思CSK6

        相關推薦

        技術專區

        關閉
        主站蜘蛛池模板: 乌拉特后旗| 饶平县| 江北区| 高邮市| 文昌市| 公安县| 彩票| 潍坊市| 龙州县| 洪泽县| 崇左市| 吉安市| 咸丰县| 兴义市| 甘德县| 连平县| 高要市| 宜城市| 溆浦县| 柘荣县| 赣州市| 诸暨市| 麻江县| 葫芦岛市| 古丈县| 石狮市| 凉城县| 西乌珠穆沁旗| 宿州市| 五大连池市| 双江| 西乡县| 资源县| 老河口市| 怀远县| 汕尾市| 西青区| 鄂州市| 海原县| 滦平县| 万荣县|