SENSE：用於基於檢索推測解碼的語義嵌入導航與軟門控評估

研究論文提出一個名為 SENSE 的新方法，旨在改進基於檢索的推測解碼（RSD）。現有 RSD 方法雖然具有即插即用的優勢，但受限於剛性詞彙依賴，導致檢索和驗證對表面層次的變化較為脆弱。SENSE 透過將檢索錨定在目標模型的隱藏狀態上，建立穩健的語義對齊，並利用軟門控評估模組來驗證語義等效性，而非表面形式。為確保嚴謹的基準測試，研究團隊將現有方法解構為原子原語，在統一框架內進行細粒度的組件級比較。跨多個領域的廣泛實驗表明，SENSE 在 LLaMA 和 Qwen 模型家族上優於多個基線，達到最高 4.09 的平均接受長度和 3.26 倍的速度提升，同時保持生成品質。論文代碼將在出版後發布。