10 【已解決】 用LLM實(shí)現(xiàn)文本二分類，微調(diào)base模型還是微調(diào)chat模型比較好？
我想用開源LLM（例如chatglm，baichuan）實(shí)現(xiàn)文本二分類（比如正負(fù)情感分類），有一組訓(xùn)練數(shù)據(jù)可以用于微調(diào)模型，提升分類性能，這時(shí)候應(yīng)該選擇base模型還是chat模型？
最佳答案 2025-01-14 00:00
少量數(shù)據(jù)的情況下，盡量不要微調(diào)大模型，可能會(huì)導(dǎo)致模型散失通用能力，不如好好寫prompt，把數(shù)據(jù)用few-shot的形式加到指令中，微調(diào)還是很有講究的，不是簡單的構(gòu)造一個(gè)分類數(shù)據(jù)集就行，而且你這還是分類文本，更難微調(diào)了。
掃碼關(guān)注微信公眾號(hào)
