► Keras 3 API 文件 / 層 API / 循環層 / LSTM 層

LSTM 層

[原始碼]

LSTM 類別

keras.layers.LSTM(
    units,
    activation="tanh",
    recurrent_activation="sigmoid",
    use_bias=True,
    kernel_initializer="glorot_uniform",
    recurrent_initializer="orthogonal",
    bias_initializer="zeros",
    unit_forget_bias=True,
    kernel_regularizer=None,
    recurrent_regularizer=None,
    bias_regularizer=None,
    activity_regularizer=None,
    kernel_constraint=None,
    recurrent_constraint=None,
    bias_constraint=None,
    dropout=0.0,
    recurrent_dropout=0.0,
    seed=None,
    return_sequences=False,
    return_state=False,
    go_backwards=False,
    stateful=False,
    unroll=False,
    use_cudnn="auto",
    **kwargs
)

長短期記憶層 - Hochreiter 1997 年。

基於可用的運行時硬體和約束，此層將選擇不同的實作方式（基於 cuDNN 或後端原生）以最大化效能。如果 GPU 可用，並且該層的所有參數都符合 cuDNN 核心的要求（詳情請見下文），則在使用 TensorFlow 後端時，該層將使用快速的 cuDNN 實作。使用 cuDNN 實作的要求如下：

  1. activation == tanh
  2. recurrent_activation == sigmoid
  3. recurrent_dropout == 0
  4. unroll 為 False
  5. use_bias 為 True
  6. 輸入（如果使用遮罩），必須嚴格地向右填充。
  7. 在最外層上下文中啟用 Eager Execution。

例如：

>>> inputs = np.random.random((32, 10, 8))
>>> lstm = keras.layers.LSTM(4)
>>> output = lstm(inputs)
>>> output.shape
(32, 4)
>>> lstm = keras.layers.LSTM(
...     4, return_sequences=True, return_state=True)
>>> whole_seq_output, final_memory_state, final_carry_state = lstm(inputs)
>>> whole_seq_output.shape
(32, 10, 4)
>>> final_memory_state.shape
(32, 4)
>>> final_carry_state.shape
(32, 4)

參數

  • units：正整數，輸出空間的維度。
  • activation：要使用的激活函數。預設值：雙曲正切函數 (tanh)。如果您傳遞 None，則不應用激活函數（即「線性」激活函數：a(x) = x）。
  • recurrent_activation：用於循環步驟的激活函數。預設值：sigmoid 函數 (sigmoid)。如果您傳遞 None，則不應用激活函數（即「線性」激活函數：a(x) = x）。
  • use_bias：布林值 (預設值 True)，指示圖層是否應使用偏差向量。
  • kernel_initializer：kernel 權重矩陣的初始化器，用於輸入的線性轉換。預設值："glorot_uniform"。
  • recurrent_initializer：recurrent_kernel 權重矩陣的初始化器，用於循環狀態的線性轉換。預設值："orthogonal"。
  • bias_initializer：偏差向量的初始化器。預設值："zeros"。
  • unit_forget_bias：布林值 (預設值 True)。如果為 True，則在初始化時將 1 加到遺忘閘的偏差。將其設定為 True 也會強制 bias_initializer="zeros"。建議參閱 Jozefowicz et al.
  • kernel_regularizer：應用於 kernel 權重矩陣的正規化函數。預設值：None。
  • recurrent_regularizer：應用於 recurrent_kernel 權重矩陣的正規化函數。預設值：None。
  • bias_regularizer：應用於偏差向量的正規化函數。預設值：None。
  • activity_regularizer：應用於圖層輸出（其「激活值」）的正規化函數。預設值：None。
  • kernel_constraint：應用於 kernel 權重矩陣的約束函數。預設值：None。
  • recurrent_constraint：應用於 recurrent_kernel 權重矩陣的約束函數。預設值：None。
  • bias_constraint：應用於偏差向量的約束函數。預設值：None。
  • dropout：介於 0 和 1 之間的浮點數。輸入線性轉換中要捨棄的單元比例。預設值：0。
  • recurrent_dropout：介於 0 和 1 之間的浮點數。循環狀態線性轉換中要捨棄的單元比例。預設值：0。
  • seed：dropout 的隨機種子。
  • return_sequences：布林值。是否返回輸出序列中的最後一個輸出，還是完整序列。預設值：False。
  • return_state：布林值。是否除了輸出之外，還返回最後一個狀態。預設值：False。
  • go_backwards：布林值 (預設值：False)。如果為 True，則反向處理輸入序列並返回反向序列。
  • stateful：布林值 (預設值：False)。如果為 True，則批次中索引 i 處每個樣本的最後一個狀態將用作後續批次中索引 i 的樣本的初始狀態。
  • unroll：布林值 (預設值 False)。如果為 True，網路將被展開，否則將使用符號迴圈。展開可以加速 RNN，但往往會更耗費記憶體。展開僅適用於短序列。
  • use_cudnn：是否使用 cuDNN 支援的實作。"auto" 將嘗試在可行時使用 cuDNN，如果不可行，則會回退到預設實作。

呼叫參數

  • inputs：一個 3D 張量，形狀為 (batch, timesteps, feature)。
  • mask：形狀為 (samples, timesteps) 的二元張量，指示是否應遮罩給定的時間步（可選）。True 條目表示應使用相應的時間步，而 False 條目表示應忽略相應的時間步。預設值為 None。
  • training：Python 布林值，指示圖層在訓練模式還是推論模式下運行。此參數在呼叫 cell 時傳遞給 cell。僅當使用 dropout 或 recurrent_dropout 時才相關（可選）。預設值為 None。
  • initial_state：要傳遞到 cell 第一次呼叫的初始狀態張量列表（可選，None 會導致建立填零的初始狀態張量）。預設值為 None。
LSTM 層
LSTM 類別