基于多模態(tài)推薦指令的大語(yǔ)言模型指令微調(diào)

摘要： 基于多模態(tài)指令的大語(yǔ)言模型指令微調(diào)能夠有效賦予大模型解決相關(guān)多模態(tài)任務(wù)的能力。為了進(jìn)一步使大模型能夠完成多模態(tài)零樣本或少樣本推薦任務(wù)，提出了多模態(tài)推薦大語(yǔ)言模型，該模型以大語(yǔ)言模型ChatGLM2-6B為基座，選取包含文本、圖片信息的多模態(tài)推薦數(shù)據(jù)集，利用ChatGPT和GPT4構(gòu)建多模態(tài)用戶畫(huà)像和物品屬性生成指令，以及零樣本和少樣本推薦指令，并采用高效參數(shù)微調(diào)P-tuning...