Adam 是一種優(yōu)化算法，用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)。它是由 Jacob Goldberg 在 2014 年提出的。Adam 算法的主要思想是使用梯度下降法來更新權(quán)重和偏差，同時考慮了每個參數(shù)的方差。

Adam 算法的主要優(yōu)點(diǎn)是它可以自動調(diào)整學(xué)習(xí)率，使得訓(xùn)練過程更加穩(wěn)定。此外，Adam 算法還可以處理高維數(shù)據(jù)，因為它可以并行計算。

以下是一個簡單的 Adam 優(yōu)化器的實現(xiàn)：

import torch.optim as optim

# 定義模型
class Net(torch.nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(Net, self).__init__()
        self.fc1 = torch.nn.Linear(input_size, hidden_size)
        self.relu = torch.nn.ReLU()
        self.fc2 = torch.nn.Linear(hidden_size, output_size)

    def forward(self, x):
        x = self.fc1(x)
        x = self.relu(x)
        x = self.fc2(x)
        return x

# 實例化模型
net = Net(input_size=10, hidden_size=50, output_size=1)

# 定義損失函數(shù)和優(yōu)化器
criterion = torch.nn.MSELoss()
optimizer = optim.Adam(net.parameters(), lr=0.001)

在這個例子中，我們首先定義了一個神經(jīng)網(wǎng)絡(luò)模型，然后使用 Adam 優(yōu)化器來更新模型的權(quán)重。