基于不確定性權重的保守Q學習離線強化學習算法
計算機科學
頁數: 8 2023-12-02
摘要: 離線強化學習(Offline RL)中,智能體不與環(huán)境交互而是從一個固定的數據集中獲得數據進行學習,這是強化學習領域研究的一個熱點。目前多數離線強化學習算法對策略訓練過程進行保守正則化處理,訓練策略傾向于選擇存在于數據集中的動作,從而解決離線強化學習中對數據集分布外(OOD)的狀態(tài)-動作價值估值錯誤的問題。保守Q學習算法(CQL)通過值函數正則賦予分布外狀態(tài)-動作較低的價值來避...