► Keras 3 API 文件 / 層 API / 循環層 / LSTM 層

LSTM 層

[原始碼]

LSTM 類別

keras.layers.LSTM(
    units,
    activation="tanh",
    recurrent_activation="sigmoid",
    use_bias=True,
    kernel_initializer="glorot_uniform",
    recurrent_initializer="orthogonal",
    bias_initializer="zeros",
    unit_forget_bias=True,
    kernel_regularizer=None,
    recurrent_regularizer=None,
    bias_regularizer=None,
    activity_regularizer=None,
    kernel_constraint=None,
    recurrent_constraint=None,
    bias_constraint=None,
    dropout=0.0,
    recurrent_dropout=0.0,
    seed=None,
    return_sequences=False,
    return_state=False,
    go_backwards=False,
    stateful=False,
    unroll=False,
    use_cudnn="auto",
    **kwargs
)

長短期記憶層 - Hochreiter 1997。

根據可用的執行時硬體和限制，此層將選擇不同的實作方式（基於 cuDNN 或後端原生）來最大化效能。如果 GPU 可用，且該層的所有參數都符合 cuDNN 核心的要求（詳見下方），則在使用 TensorFlow 後端時，該層將使用快速的 cuDNN 實作。使用 cuDNN 實作的要求如下：

  1. activation == tanh
  2. recurrent_activation == sigmoid
  3. dropout == 0 且 recurrent_dropout == 0
  4. unroll 為 False
  5. use_bias 為 True
  6. 輸入，如果使用遮罩，則嚴格以右側補零。
  7. 在最外層上下文中啟用急迫執行。

例如：

>>> inputs = np.random.random((32, 10, 8))
>>> lstm = keras.layers.LSTM(4)
>>> output = lstm(inputs)
>>> output.shape
(32, 4)
>>> lstm = keras.layers.LSTM(
...     4, return_sequences=True, return_state=True)
>>> whole_seq_output, final_memory_state, final_carry_state = lstm(inputs)
>>> whole_seq_output.shape
(32, 10, 4)
>>> final_memory_state.shape
(32, 4)
>>> final_carry_state.shape
(32, 4)

參數

  • units：正整數，輸出空間的維度。
  • activation：要使用的活化函數。預設值：雙曲正切 (tanh)。如果傳遞 None，則不套用活化函數（即「線性」活化：a(x) = x）。
  • recurrent_activation：用於循環步驟的活化函數。預設值：sigmoid (sigmoid)。如果傳遞 None，則不套用活化函數（即「線性」活化：a(x) = x）。
  • use_bias：布林值，(預設值 True)，表示該層是否應使用偏差向量。
  • kernel_initializer：用於 kernel 權重矩陣的初始化器，用於輸入的線性轉換。預設值："glorot_uniform"。
  • recurrent_initializer：用於 recurrent_kernel 權重矩陣的初始化器，用於循環狀態的線性轉換。預設值："orthogonal"。
  • bias_initializer：用於偏差向量的初始化器。預設值："zeros"。
  • unit_forget_bias：布林值（預設值 True）。如果為 True，則在初始化時將 1 加到遺忘閘的偏差。將其設定為 True 也會強制 bias_initializer="zeros"。建議在 Jozefowicz 等人的論文中使用此方法。
  • kernel_regularizer：應用於 kernel 權重矩陣的正規化器函數。預設值：None。
  • recurrent_regularizer：應用於 recurrent_kernel 權重矩陣的正規化器函數。預設值：None。
  • bias_regularizer：應用於偏差向量的正規化器函數。預設值：None。
  • activity_regularizer：應用於層輸出（即其「活化」）的正規化器函數。預設值：None。
  • kernel_constraint：應用於 kernel 權重矩陣的約束函數。預設值：None。
  • recurrent_constraint：應用於 recurrent_kernel 權重矩陣的約束函數。預設值：None。
  • bias_constraint：應用於偏差向量的約束函數。預設值：None。
  • dropout：介於 0 和 1 之間的浮點數。線性轉換輸入時要捨棄的單元比例。預設值：0。
  • recurrent_dropout：介於 0 和 1 之間的浮點數。線性轉換循環狀態時要捨棄的單元比例。預設值：0。
  • seed：用於 dropout 的隨機種子。
  • return_sequences：布林值。是否返回輸出序列中的最後一個輸出，或是完整序列。預設值：False。
  • return_state：布林值。是否在輸出之外返回最後的狀態。預設值：False。
  • go_backwards：布林值（預設值：False）。如果為 True，則反向處理輸入序列並返回反轉的序列。
  • stateful：布林值（預設值：False）。如果為 True，則批次中索引 i 的每個樣本的最後狀態將用作後續批次中索引 i 的樣本的初始狀態。
  • unroll：布林值（預設值 False）。如果為 True，則網路將會展開，否則將使用符號迴圈。展開可以加速 RNN，但它往往更耗費記憶體。展開僅適用於短序列。
  • use_cudnn：是否使用 cuDNN 支援的實作。"auto" 將嘗試在可行時使用 cuDNN，如果不可行，則會回退到預設實作。

呼叫參數

  • inputs：3D 張量，形狀為 (批次, 時間步長, 特徵)。
  • mask：形狀為 (樣本, 時間步長) 的二元張量，指示是否應遮罩給定的時間步長（可選）。單個 True 條目表示應使用對應的時間步長，而 False 條目表示應忽略對應的時間步長。預設值為 None。
  • training：Python 布林值，指示該層在訓練模式還是在推論模式中運作。此參數在呼叫單元時傳遞給單元。僅當使用 dropout 或 recurrent_dropout 時才相關（可選）。預設值為 None。
  • initial_state：要傳遞給單元第一次呼叫的初始狀態張量列表（可選，None 會導致建立填滿零的初始狀態張量）。預設值為 None。
LSTM 層
LSTM 類別