【生成式AI時代下的機器學習(2025)】第八講：大型語言模型的推理過程不用太長、夠用就好

本集探討了大型語言模型在推理過程中可能產生的過度思考問題，指出推理長度與答案正確率之間並非總是正相關，有時過長的推理反而會降低正確率。針對此現象，講者介紹了幾種避免模型過度推理的方法。首先，可以透過修改提示語（prompt），例如使用「Chain of Draft」方法，限制模型在每個推理步驟中的輸出長度。其次，若推論工作流程由人為設定，則可直接控制模型推理的長度，例如減少抽樣次數或縮小搜尋範圍。更進一步，可以教導模型學習最短的推理路徑，或透過漸進式學習，使模型在沒有明確推理過程的情況下也能產生正確答案。最後，在強化學習（RL）的訓練過程中，可將長度限制納入獎勵函數中，或根據問題的難度設定相對應的推理長度標準，甚至直接教導模型控制推理的長度，以適應不同的運算資源需求，並在不損害推理能力的前提下，實現更高效的 AI 應用。