利用KAN區塊增強BiGRU用於法律文件分類與摘要
研究論文提出了一種新穎的 KAN-based BiGRU 模型架構,專門用於低資源多語言設置下的法律文件分類與摘要任務。為解決領域語言、多語言使用、長距離依賴和類別不平衡等問題,研究採用了來自孟加拉國 Manupatra 數據集的法律文件,涵蓋孟加拉文、英文及音譯孟加拉文。在分類部分,模型結合了雙向門控循環單元 (BiGRU) 與 Kolmogorov-Arnold Network (KAN) 模組;而在摘要部分,則使用注意力機制增強的 GRU 搭配 KAN 模型頭。實驗結果顯示,分類模型達到了 67.96% 的準確率和 0.65 的 F1 分數;摘要任務的 ROUGE-1、ROUGE-2 和 ROUGE-L 分數分別為 0.38、0.23 和 0.31。消融研究進一步證實,引入 KAN 使得分類準確率從 57.34% 提升至 67.96%。研究還將此技術與多種基線方法進行比較,包括傳統機器學習算法和預訓練語言模型。
來源
來源:網頁來源