反時衰減
InverseTimeDecay 類別
keras.optimizers.schedules.InverseTimeDecay(
initial_learning_rate,
decay_steps,
decay_rate,
staircase=False,
name="InverseTimeDecay",
)
一個使用反時衰減排程的 LearningRateSchedule。
在訓練模型時，通常降低學習率隨著訓練進度而降低會很有用。此排程將反向衰減函數應用於最佳化器步驟，並給定提供的初始學習率。它需要一個 step 值來計算衰減的學習率。您可以直接傳遞一個後端變數，您可以在每個訓練步驟中遞增它。
此排程是一個 1-arg 可呼叫物件，當傳遞目前最佳化器步驟時，會產生衰減的學習率。這對於在最佳化器函數的不同調用之間更改學習率值非常有用。它的計算方式如下
def decayed_learning_rate(step):
return initial_learning_rate / (1 + decay_rate * step / decay_step)
或者，如果 staircase 為 True，則計算方式如下
def decayed_learning_rate(step):
return initial_learning_rate /
(1 + decay_rate * floor(step / decay_step))
您可以將此排程直接傳遞到 keras.optimizers.Optimizer 作為學習率。範例
當以 0.5 的速率衰減 1/t 時，擬合 Keras 模型
...
initial_learning_rate = 0.1
decay_steps = 1.0
decay_rate = 0.5
learning_rate_fn = keras.optimizers.schedules.InverseTimeDecay(
initial_learning_rate, decay_steps, decay_rate)
model.compile(optimizer=keras.optimizers.SGD(
learning_rate=learning_rate_fn),
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
model.fit(data, labels, epochs=5)
引數
- initial_learning_rate：一個 Python 浮點數。初始學習率。
- decay_steps：應用衰減的頻率。
- decay_rate：一個 Python 數字。衰減率。
- staircase：是否以離散階梯狀（而非連續）方式應用衰減。
- name：字串。操作的選用名稱。預設為
"InverseTimeDecay"。
傳回
一個 1-arg 可呼叫的學習率排程，它接受目前最佳化器步驟並輸出衰減的學習率，一個與 initial_learning_rate 類型相同的純量張量。