本集節目主要講解 AI Agent 背後的核心技術 Context Engineering。首先解釋了為何需要 Context Engineering,因為語言模型的輸入長度有限制,AI Agent 作為語言模型的守門人,負責篩選合適長度的輸入。課程中提到壓縮技術,包含使用語言模型做摘要,以及簡單粗暴地將工具的輸出替換成「這裡曾經有個工具的輸出」,並引用論文實驗數據佐證。此外,講者也提到記憶的概念,將 Context 分為會被丟進語言模型的資訊,以及存在硬碟中的資訊,並釐清 Context 與 Prompt 的差別。最後,探討了如何讓 Context Engineering 做得更好,將 Context Engineering 交給語言模型,讓 AI 自主決定。
Sign in to continue reading, translating and more.
Continue