在上一篇我們對LLM有了初步的了解，然而，要讓LLM發揮最大效用，訓練與微調(Fine-Tuning)是不可或缺的關鍵步驟。這篇文章將深入探討LLM的訓練流程、所需資源、微調技術及實際應用場景，幫助讀者了解如何最佳化LLM的效能。
那微調 (Fine-Tuning)是什麼呢？此一步驟是在一個已經預先訓練好的大型語言模型 (LLM) 的基礎上，使用一個較小但更具體的數據集進行額外的訓練，以使其更好地適應特定的任務或領域，這個步驟與過程可以被看作是對預訓練模型知識的精煉和調整，讓LLM可以更精準地受到訓練，減少AI幻覺(AI Hallucination)。
訓練LLM的核心步驟
LLM的訓練過程主要分為以下幾個階段：
1. 數據收集與處理(Data Collection)
- 數據來源：涉及從各種來源收集大量的開放文字資料，例如網路資源、書籍、文章和資料庫，資料集的品質和多樣性對於 LLM 學習全面的語言模式和知識至關重要。
- 資料清理：去除低品質數據，避免錯誤或有偏見的內容影響模型。
- 標註與過濾：確保數據的多樣性與品質，根據應用場景進行標註。
2. 資料預處理 (Data Preprocessing)
收集到的資料隨後會被清理、處理和標準化。這包括分詞化 (tokenization)，也就是將原始文本分解成更小的單元，稱為詞符 (tokens)，可以是單字、部分單字或甚至是單個字元。再依照這些詞符會被轉換成模型可以理解的數值表示形式
3. 預訓練(Pre-training)
模型從龐大的未標記資料集中學習語言的基本結構和語義的關鍵階段。這裡使用的一項關鍵技術是自監督學習 (self-supervised learning)，模型無需明確的人工標籤即可從資料本身學習。例如，模型可能被訓練來預測句子中被遮罩的詞語，或序列中的下一個詞語，即因果語言建模 (causal language modeling)。這個過程使 LLM 能夠建立對語法、語言細微差別和一般知識的廣泛理解. 許多現代 LLM 的基礎是 Transformer 架構及其自注意力機制 (self-attention mechanism)，這使得它們能夠並行處理輸入序列並專注於相關的上下文。這個架構包含將輸入文本轉換為數值表示的編碼器 (encoders) 和將此表示轉換為有用文本的解碼器 (decoders).
- 使用大規模神經網路(如Transformer架構)來學習語言模式。
- 透過自監督學習方法，如遮罩語言模型(Masked Language Model, MLM)或自回歸模型(Autoregressive Model)，來訓練模型理解語言結構。
- 訓練時間長、計算資源需求高，通常由企業或研究機構負責。
4. 微調(Fine-Tuning)
- 監督學習(Supervised Fine-Tuning)：在特定領域的小型標註數據集上進行訓練，使模型適應專業應用，如醫療、金融、法律等領域。
- 強化學習(RLHF, Reinforcement Learning from Human Feedback)：使用人類回饋來調整模型的行為，提升回應的合理性與安全性。
- 指令微調(Instruction Tuning)：讓LLM更擅長理解與執行使用者的指令，提升互動體驗。
5. 增強式學習（Reinforcement Learning）
- 準確率評估：使用基準測試(如GLUE、SQuAD)來衡量模型表現。
- 泛化能力測試：確保模型在不同數據集上都能維持高效能。
- 錯誤分析：找出可能的錯誤模式，進行進一步的優化。
LLM訓練所需資源，並且要如何將您的數據與基礎模型結合？
在開始構建生成式 AI 應用之前，我們需要了解 LLM 和其他基礎模型與您的數據交互的方式。而訓練LLM是一個高成本的過程，涉及以下幾個主要資源：
- 計算資源：通常需要GPU(如NVIDIA A100、H100)或TPU來加速訓練。
- 存儲空間：大型數據集與模型檔案通常需要數百TB的存儲空間。
- 時間成本：LLM的預訓練可能需要數週到數月，取決於模型大小與計算能力。
1. 提示工程（Prompt Engineering）
讓模型與數據互動的最簡單方法是將數據包含在指令或系統提示（system prompt）中發送給模型。這種方式不需要更改或調整模型，簡單且有效，但在某些使用情境下可能有所限制。例如，靜態資訊可以輕鬆加入系統提示以引導模型互動，但頻繁變更的資訊（如體育賽事比分或機票價格）則較難處理。
2. 檢索增強生成（Retrieval Augmented Generation, RAG）
RAG 技術確保模型的輸出基於您的數據，而不是僅依賴於模型的訓練知識。採用 RAG 架構的 AI 應用可以在查詢時搜索數據，並將相關資訊納入提示中。這與提示工程類似，但系統可以在每次互動時檢索新的上下文資訊。
RAG 方法適用於持續更新的數據、私有數據、大規模與多模態數據等，並受益於不斷擴展的生態系統，如與數據庫的簡單集成、嵌入 API 和其他組件。
3. 監督式微調（Supervised Fine-Tuning, SFT）
如果您希望模型執行特定的明確任務，可以考慮 SFT（也稱為參數高效微調 PEFT）。這種方法適用於分類任務，或從非結構化文本中生成結構化輸出。
監督式微調需要提供模型輸入-輸出對。例如，如果您希望對會議記錄進行分類（如「行銷」、「法律」、「客戶支持」），則需要提供多個會議記錄及其分類標籤，讓模型學習如何進行正確分類。
4. 人類反饋強化學習（Reinforcement Learning from Human Feedback, RLHF）
如果您的目標無法用明確的類別描述或難以量化，例如希望模型具有特定語氣（如品牌語調或特定格式的正式語氣），則 RLHF 是一種適用的方法。
RLHF 透過人類反饋來調整模型，基本流程如下：提供輸入提示與兩個可能的輸出回應，其中一個比另一個更符合您的偏好。例如，一個回應可能是正確但過於通用，而另一個既正確又符合您希望的語言風格。模型會學習這種偏好，進而產生符合要求的輸出。
5. 蒸餾（Distillation）
蒸餾技術的目標是同時實現兩件事：
- 創建一個更小、更快的模型，以提高處理速度。
- 使該模型更適合您的特定任務。
蒸餾方法讓較大的基礎模型「教導」較小的模型，並專注於您的數據和任務。例如，假設您希望讓 AI 幫助檢查所有電子郵件的語氣，使其更正式，並希望使用較小的模型來完成這一任務。您可以將原始文本和指令（如「使這封電子郵件更正式」）提供給大型模型，獲得修訂後的郵件內容。接下來，您可以使用這些輸入輸出對來訓練較小的專門模型，以學習如何執行這一特定任務。
三步驟讓你選擇合適的方法？
首先，請考慮以下三個問題，並可使用決策樹來選擇方法：
- 您是否需要模型提供基於您數據的引用來源？
- 如果是，請使用 RAG。RAG 允許控制誰可以存取哪些數據來源，幫助減少幻覺（hallucinations）並提高結果的可解釋性。
- 如果沒有這些需求，則需要決定提示工程是否足夠，或者是否需要調整模型。
- 若您的數據量較小，提示工程可能已足夠，尤其是隨著上下文窗口的不斷增長（如 Gemini 1.5 的 100 萬 Token 窗口），即使是大量數據也可透過提示工程處理。
- 如果選擇微調，則需根據目標模型行為的特定性和可量化程度來決定微調方式。
- 如果模型的輸出難以描述且需要人類干預，RLHF 是較好的選擇。
- 其他微調方法的選擇則取決於個性化需求、預算以及服務速度要求。
這時候你會想，為何不結合多種方法？例如，希望微調模型使其符合品牌語調，同時僅使用自有數據生成答案（RAG）。
答案是肯定的，並且這通常是最佳選擇！您可以先對模型進行微調，然後讓其執行其他任務。此外，也可以對 LLM 進行微調後，再進行上下文內的提示工程，以確保模型按預期運作。
總結來說，您可以根據需求靈活組合上述方法，來構建適合您業務的 AI 解決方案。
隨著技術的進步，微調LLM將變得更加高效、低成本，並能夠適應更多產業需求。如果你希望將LLM應用於特定領域，建議先評估數據品質與計算資源，選擇合適的微調方法來最大化效益。
查看上一篇仔細了解LLM是什麼？Large Language Model 深入解析與應用指南(上)
本文內容翻譯並改寫自 Google Cloud 官方部落格，為您提供最前沿的科技趨勢與應用實例。本文探討了微調(Fine-Tuning)對於LLM的重要性，讓企業更善用LLM的應用，也可查看更多宏庭科技的成功案例，在2024年協助連鎖餐飲業者，收集 Google 地圖上的消費者評論，運用自然語言處理(NLP)技術進行情感分析，將評論分為正面、負面及中性，幫助品牌掌握顧客的需求與情感趨勢，進而制定針對性的應對策略。若有任何問題及需求，歡迎聯繫宏庭科技。若您對 Google Cloud 的多元應用有興趣，請密切關注我們的活動訊息，期待在活動中與您相見！
