前期准备
- LM Studio
- 外网梯子或者镜像站(文中会写)
- 有GPU机器
下载LM Studio
从官网上下载LM Studio https://lmstudio.ai/
下载模型
这个模型用起来速度还可以：Meta-Llama-3.1-8B-Instruct-Q4_K_M
国内可使用镜像站：https://hf-mirror.com/
例如： https://hf-mirror.com/lmstudio-community/Meta-Llama-3.1-8B-Instruct-GGUF/tree/main
下载完成后，可以放到模型存储目录，当然你也可以选择自定义路径。
也可以选择LM Studio内置源下载模型包
模型使用
我这里使用的是internlm2_5-20b-chat-gguf
有些模型结果不尽人意，笑完了。
结语
本地化模型比较吃配置
评论 0
还没有评论，来说点什么吧。