微调

教程

• 通俗易懂理解全量微调和 LoRA 微调 从线性代数理解 LoRA 及其 rank
• 如何微调大模型并暴露接口给后端调用
  • 代码仓库/数据集：https://github.com/huangyf2013320506/magic_conch_backend
  • 看点：在 AutoDL 上使用 LLaMA-Factory 进行可视化微调
• 如何把你的 DeePseek-R1 微调为某个领域的专家？
  • 配套资料： 《人人都能学会的 AI 教程》资源合集
  • 看点：使用 硅基流动 微调大模型 jsonl 数据
  • Use Ollama with any GGUF Model on Hugging Face Hub 本地运行 HuggingFace 的模型
• 13 分钟一起微调一个开源大模型：用 LoRA 让模型掌握新知识

平台和工具

平台

• colab
• http://kaggle.com/
• https://huggingface.co/
• https://hf-mirror.com/
• https://autodl.com/
• https://cloud.siliconflow.cn/

工具

• 客户端
  • chatbox
  • anythingLLM
• 微调框架
  • unsloth
  • llamafactory.cn
• 本地运行
  • ollama：gguf
  • vllm：HF 模型目录（safetensors）、OpenAI API
• 其它
  • modelscope
  • evalscope
• huggingface-cli

草稿

• 多少数据集合适
• 社区镜像 agiclass/fine-tuning-lab/finetune-lab-v8:v1
• 连接 ssh
• 连接 sftp
  • scp
  • 专门 SFTP 客户端
• hf-mirror 下载预模型 HuggingFace
  • https://hf-mirror.com/Qwen/Qwen2.5-7B-Instruct
• tmux nohup

---

• colab 微调大模型 unsloth.ai
  • 将微调后的大模型推送到 huggingface
  • 使用微调后的大模型
  • 本地使用 ollama 运行大模型

---

混合推理 对话+思考

主流微调工具：

• 高层：unsloth（单机单卡）、Llama-Factory

• 底层：peft、transformer

• 必须要会使用 vscode 远程服务器

# 你的 gradio 和 transformers 要求 huggingface_hub < 1.0。那我们装：
pip install -U "huggingface_hub<1.0"

huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-
Qwen-1.5B