Transformer語言模型特徵表示的幾何限制

一篇研究論文探討了Transformer語言模型中模型維度（d_model）在設定特徵表示幾何限制方面的重要作用。論文基於線性表示和疊加假設，這些假設主張模型在潛在空間中將特徵編碼為近正交方向，從而發展了一個框架來估計模型可以支持的近正交方向數量。首先，研究將嵌入矩陣確立為跨潛在空間的近正交性約束的可測量代理：成對餘弦相似度分佈中，有意義的token關係和偶然相似性之間的邊界，提供了模型對完美正交性的可接受偏差ε的具體估計。應用這個指標到數十個開源模型中，揭示了兩類模型：一類是高ε的模型，其嵌入缺乏近正交結構；另一類是低ε的模型，保持了這種結構。然後，論文顯示標準的Johnson-Lindenstrauss引理大大低估了訓練表示的打包效率，並推導出一個調整後的容量公式，其中近正交方向的數量取決於向量與維度的比率（k/d）而不是原始計數——這一單一修改將預測誤差降低了兩個數量級，且沒有額外參數。結合這些結果，研究將表示容量定義為模型潛在空間中可用於特徵和嵌入的可區分方向數量的上界。容量對ε呈指數敏感，較大的模型傾向於更緊的正交性約束而不是最大化原始容量——這一模式與多種解釋相容，如穩定性-容量權衡、可用概念的上限或與模型規模的混淆，留待未來工作探索。