2026-08-10
新!
上下文壓縮：讓 10 萬 Tokens 塞進 1 萬
壓縮是唯一需要花錢應用的上下文技術，因此也是最需要用算術來合理化的技術。通常有兩種更便宜的方法勝過它，而知道何時它們不適用才是真正的技巧。
先談免費的勝利
在任何基於模型的技術之前，先移除那些不帶資訊的 tokens。這看起來不華麗、是無損的，而且在真實提示詞上通常能省下 30–60%：
去除標記。 提示詞中抓取的 HTML 大多是屬性、導航和腳本標籤。請提取純文字。
壓縮結構化資料。 美化過的 JSON 會為每個空格付費。對於表格資料，CSV 或每欄一個緊湊鍵值的形式，遠比在每一列重複鍵值的物件陣列便宜得多。
去除重複。 使用重疊區塊的檢索會傳回幾乎相同的段落。進行雜湊
