dify可以調(diào)本地部署的大模型,純離線可以的。就看本地的配置,能裝多大參數(shù)的了。
實測只能運行7b的,16g顯存應該沒問題啊,我用的lm studio。
如果離網(wǎng)怕敏感數(shù)據(jù)的話,搞個二手的2080ti試試看。