[TOC]

案例：micrograd

micrograd - GitHub

• 计算一元函数的导数
• 计算多元函数的导数（梯度）：偏函数
• 手动计算参数的梯度：乘法、加法、链式法则等
• 手写反向传播算法 Value 类
• 使用 SGD 单步优化参数，公式：w = w - lr * dL/dw
• draw_dot
• 实现 MLP

案例：Linear

• 任务类型：回归
• 模型：y = aX + b（模型参数：a 和 b）
• 优化器：SGD（随机梯度下降）/Adam
• 损失函数：MAE（torch.nn.L1Loss()）

---

其它案例

• micrograd 手写反向传播算法
• makemore
  • Bigram 版本
  • 神经网络
    • xenc @ W 点积 + softmax
    • 损失函数：NLL/negative log likelihood
  • MLP
• linear 回归
• 手写字母集 分类
• 花瓣图片集 分类
• 根据商品名称预测商品类目 分类
  • Colab
• nanoGPT
• 案例分类：
  • 回归任务：一元函数
  • 分类任务：二元分类
• 推荐系统