PyTorch 入門
AI 工程師必備基礎

import torch

# ── 建立 Tensor ──────────────────────────────────────────
x = torch.tensor([1.0, 2.0, 3.0])          # 從 Python list 建立
z = torch.zeros(3, 4)                       # 全零 3x4
o = torch.ones(2, 3)                        # 全一 2x3
r = torch.rand(4, 4)                        # 均勻隨機 [0, 1)
n = torch.randn(4, 4)                       # 標準常態分佈

# ── 形狀操作 ──────────────────────────────────────────────
t = torch.rand(2, 3, 4)
print(t.shape)                              # torch.Size([2, 3, 4])

t2 = t.reshape(6, 4)                       # reshape（允許不連續記憶體）
t3 = t.view(6, 4)                          # view（要求連續記憶體，更快）
t4 = t.squeeze()                           # 移除所有大小為 1 的維度
t5 = t.unsqueeze(0)                        # 在第 0 軸插入維度

# ── 數學運算 ──────────────────────────────────────────────
a = torch.tensor([[1.0, 2.0], [3.0, 4.0]])
b = torch.tensor([[5.0, 6.0], [7.0, 8.0]])

print(a + b)                               # 元素相加
print(a * b)                               # 元素相乘（Hadamard product）
print(a @ b)                               # 矩陣乘法（等同 torch.matmul）
print(a.sum())                             # 所有元素總和
print(a.mean(dim=0))                       # 沿第 0 軸求平均
print(a.max())                             # 最大值

# ── 裝置移動 ──────────────────────────────────────────────
device = 'cuda' if torch.cuda.is_available() else 'cpu'
a_gpu = a.to(device)                       # 移到 GPU（若可用）
a_cpu = a_gpu.to('cpu')                    # 移回 CPU
a_np  = a_cpu.numpy()                      # 轉換為 NumPy array（需在 CPU）

import torch

# requires_grad=True：開始追蹤這個 Tensor
x = torch.tensor(3.0, requires_grad=True)
w = torch.tensor(2.0, requires_grad=True)
b = torch.tensor(1.0, requires_grad=True)

# 前向計算（PyTorch 自動建立計算圖）
y = w * x + b          # y = 2*3 + 1 = 7
loss = (y - 5.0) ** 2  # loss = (7-5)^2 = 4

# 反向傳播：計算所有梯度
loss.backward()

# ∂loss/∂w = 2*(y-5)*x = 2*2*3 = 12
print(f"w.grad = {w.grad}")  # tensor(12.)
# ∂loss/∂x = 2*(y-5)*w = 2*2*2 = 8
print(f"x.grad = {x.grad}")  # tensor(8.)
# ∂loss/∂b = 2*(y-5)*1 = 4
print(f"b.grad = {b.grad}")  # tensor(4.)

# !! 為什麼每次都要 zero_grad() !!
# PyTorch 的梯度是「累加」的，不是「覆寫」
# 如果不清除，第二次 backward() 的梯度會加到第一次上面
# 這在 RNN 有時有用，但一般訓練迴圈必須每次清除
optimizer = torch.optim.SGD([w, b], lr=0.01)
optimizer.zero_grad()  # 清除所有參數的 .grad

import torch
import torch.nn as nn

# 定義一個簡單的全連接網路
class SimpleNet(nn.Module):
    def __init__(self, input_dim, hidden_dim, output_dim):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(input_dim, hidden_dim),
            nn.ReLU(),
            nn.Dropout(0.3),
            nn.Linear(hidden_dim, output_dim),
        )

    def forward(self, x):
        return self.net(x)

# 假資料
X = torch.randn(64, 10)   # 64 筆資料，每筆 10 維特徵
y = torch.randint(0, 3, (64,))  # 3 類分類

model = SimpleNet(input_dim=10, hidden_dim=32, output_dim=3)
optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)
criterion = nn.CrossEntropyLoss()

# ── 訓練迴圈 ───────────────────────────────────────────────
for epoch in range(100):
    optimizer.zero_grad()          # 1. 清除梯度（每次必做！）
    output = model(X)              # 2. 前向傳播
    loss = criterion(output, y)    # 3. 計算損失
    loss.backward()                # 4. 反向傳播（計算梯度）
    optimizer.step()               # 5. 更新參數

    if (epoch + 1) % 20 == 0:
        preds = output.argmax(dim=1)
        acc = (preds == y).float().mean()
        print(f"Epoch {epoch+1:3d} | Loss: {loss.item():.4f} | Acc: {acc:.2%}")

# ── 推論模式 ───────────────────────────────────────────────
model.eval()                       # 關閉 Dropout / BatchNorm 的訓練行為
with torch.no_grad():              # 不需要計算梯度，節省記憶體
    test_input = torch.randn(1, 10)
    pred = model(test_input).argmax(dim=1)
    print(f"Prediction: class {pred.item()}")

import torch
import torch.nn as nn

# 自動偵測可用裝置
device = 'cuda' if torch.cuda.is_available() else 'cpu'
print(f"Using device: {device}")

# 查看 GPU 資訊（若有）
if device == 'cuda':
    print(f"GPU: {torch.cuda.get_device_name(0)}")
    print(f"VRAM: {torch.cuda.get_device_properties(0).total_memory / 1e9:.1f} GB")

# 模型移到 GPU
model = SimpleNet(10, 32, 3).to(device)

# 資料也必須移到同一個裝置
X = torch.randn(64, 10).to(device)
y = torch.randint(0, 3, (64,)).to(device)

# 訓練迴圈不變，PyTorch 自動使用 GPU 運算
for epoch in range(100):
    optimizer.zero_grad()
    output = model(X)           # GPU 運算
    loss = criterion(output, y)
    loss.backward()
    optimizer.step()

# 儲存模型（移回 CPU 再存，避免裝置相依性問題）
torch.save(model.state_dict(), 'model.pth')

# 載入模型
model.load_state_dict(torch.load('model.pth', map_location='cpu'))
model.to(device)  # 再移回目標裝置