大型語言模型中的語言生產力：模型強制但未預先佔用

研究論文提出，使用基礎理論認為語言結構的創造性生產力受到兩個頻率信號的影響：固化（源於高頻使用）和預先佔用（源於從未觀察到特定語言結構出現在預期語境中）。大型語言模型也是基於使用，通過暴露於大量文本學習語言結構。本研究測試固化和預先佔用是否也鼓勵和限制LLMs的語言生產力。跨模型架構的實驗顯示，較大的模型能識別並使用新詞進行結構性生產力，這在強制情況下發生，即更廣泛的結構性上下文強制詞彙項的非典型解釋。然而，即使是最大的模型也無法將負面證據擴展到新語言，統計預先佔用未能使模型避免對語義上合理但從未觀察到的模式進行過度概括。這表明LLMs在語言處理上既有能力，也存在局限性。