lora代碼 文章 進入lora代碼技術社區

拿LoRA代碼來微調大模型

• 1 簡介LoRA上一期介紹了如何復用免費的大模型源代碼，來搭配企業的專有數據而訓練出形形色色的自用小模型。免費代碼既省成本、可靠、省算力、又自有IP，可謂取之不盡、用之不竭的資源，豈不美哉！重頭開始訓練自己的小模型，是一條鳥語花香之路。然而，基于別人的預訓練(Pre-trained) 大模型，搭配自有數據而進行微調(Fine-tuning)，常常更是一條康莊大道。隨著LLM 等大模型日益繁榮發展，基于這些大模型的遷移學習(Transfer learning)，將其預訓練好的模型加以微調(Fine tune
• 關鍵字： 202401  LoRA代碼  大模型