► Keras 3 API 文件 / 層 API / 循環層 / GRU 層

GRU 層

[原始碼]

GRU 類別

keras.layers.GRU(
    units,
    activation="tanh",
    recurrent_activation="sigmoid",
    use_bias=True,
    kernel_initializer="glorot_uniform",
    recurrent_initializer="orthogonal",
    bias_initializer="zeros",
    kernel_regularizer=None,
    recurrent_regularizer=None,
    bias_regularizer=None,
    activity_regularizer=None,
    kernel_constraint=None,
    recurrent_constraint=None,
    bias_constraint=None,
    dropout=0.0,
    recurrent_dropout=0.0,
    seed=None,
    return_sequences=False,
    return_state=False,
    go_backwards=False,
    stateful=False,
    unroll=False,
    reset_after=True,
    use_cudnn="auto",
    **kwargs
)

門控循環單元 - Cho 等人 2014 年。

根據可用的執行時硬體和限制，此層將選擇不同的實作方式（基於 cuDNN 或後端原生）以最大化效能。如果 GPU 可用，並且該層的所有參數都符合 cuDNN 核心的要求（詳情請見下文），則在使用 TensorFlow 後端時，該層將使用快速的 cuDNN 實作。

使用 cuDNN 實作的要求如下：

  1. activation == tanh
  2. recurrent_activation == sigmoid
  3. dropout == 0 且 recurrent_dropout == 0
  4. unroll 為 False
  5. use_bias 為 True
  6. reset_after 為 True
  7. 輸入，如果使用遮罩，則必須嚴格地向右填充。
  8. 在最外層上下文中啟用 Eager 執行。

GRU 實作有兩種變體。預設的實作基於 v3，並在矩陣乘法之前將重置閘應用於隱藏狀態。另一種基於 原始版本，其順序相反。

第二種變體與 CuDNNGRU（僅限 GPU）相容，並允許在 CPU 上進行推理。因此，它為 kernel 和 recurrent_kernel 提供單獨的偏差。要使用此變體，請設定 reset_after=True 和 recurrent_activation='sigmoid'。

例如：

>>> inputs = np.random.random((32, 10, 8))
>>> gru = keras.layers.GRU(4)
>>> output = gru(inputs)
>>> output.shape
(32, 4)
>>> gru = keras.layers.GRU(4, return_sequences=True, return_state=True)
>>> whole_sequence_output, final_state = gru(inputs)
>>> whole_sequence_output.shape
(32, 10, 4)
>>> final_state.shape
(32, 4)

參數

  • units：正整數，輸出空間的維度。
  • activation：要使用的激活函數。預設值：雙曲正切函數 (tanh)。如果您傳遞 None，則不應用任何激活函數（即「線性」激活函數：a(x) = x）。
  • recurrent_activation：用於循環步驟的激活函數。預設值：sigmoid (sigmoid)。如果您傳遞 None，則不應用任何激活函數（即「線性」激活函數：a(x) = x）。
  • use_bias：布林值，(預設為 True)，表示該層是否應使用偏差向量。
  • kernel_initializer：用於 kernel 權重矩陣的初始化器，用於輸入的線性轉換。預設值："glorot_uniform"。
  • recurrent_initializer：用於 recurrent_kernel 權重矩陣的初始化器，用於循環狀態的線性轉換。預設值："orthogonal"。
  • bias_initializer：用於偏差向量的初始化器。預設值："zeros"。
  • kernel_regularizer：應用於 kernel 權重矩陣的正規化函數。預設值：None。
  • recurrent_regularizer：應用於 recurrent_kernel 權重矩陣的正規化函數。預設值：None。
  • bias_regularizer：應用於偏差向量的正規化函數。預設值：None。
  • activity_regularizer：應用於該層輸出（其「激活」）的正規化函數。預設值：None。
  • kernel_constraint：應用於 kernel 權重矩陣的約束函數。預設值：None。
  • recurrent_constraint：應用於 recurrent_kernel 權重矩陣的約束函數。預設值：None。
  • bias_constraint：應用於偏差向量的約束函數。預設值：None。
  • dropout：介於 0 和 1 之間的浮點數。用於輸入線性轉換的丟棄單元比例。預設值：0。
  • recurrent_dropout：介於 0 和 1 之間的浮點數。用於循環狀態線性轉換的丟棄單元比例。預設值：0。
  • seed：用於 dropout 的隨機種子。
  • return_sequences：布林值。是否傳回輸出序列中的最後一個輸出，或完整序列。預設值：False。
  • return_state：布林值。是否除了輸出之外還傳回最後的狀態。預設值：False。
  • go_backwards：布林值 (預設為 False)。如果為 True，則反向處理輸入序列並傳回反向序列。
  • stateful：布林值 (預設為 False)。如果為 True，則在批次中索引 i 處每個樣本的最後狀態將用作以下批次中索引 i 處樣本的初始狀態。
  • unroll：布林值 (預設為 False)。如果為 True，則網路將被展開，否則將使用符號迴圈。展開可以加速 RNN，但往往會更加耗費記憶體。展開僅適用於短序列。
  • reset_after：GRU 慣例（是在矩陣乘法之後還是之前應用重置閘）。False 為 "before"，True 為 "after"（預設值，與 cuDNN 相容）。
  • use_cudnn：是否使用 cuDNN 支援的實作。"auto" 將嘗試在可行時使用 cuDNN，如果不可行，則會回退到預設實作。

呼叫參數

  • inputs：一個 3D 張量，形狀為 (batch, timesteps, feature)。
  • mask：形狀為 (samples, timesteps) 的二元張量，指示是否應遮罩給定的時間步長（可選）。True 個別條目表示應使用相應的時間步長，而 False 個別條目表示應忽略相應的時間步長。預設值為 None。
  • training：Python 布林值，指示該層應在訓練模式還是推理模式下運作。此參數在呼叫時傳遞給單元。這僅在使用了 dropout 或 recurrent_dropout 時才相關（可選）。預設值為 None。
  • initial_state：要傳遞給單元第一次呼叫的初始狀態張量列表（可選，None 會導致建立以零填充的初始狀態張量）。預設值為 None。
GRU 層
GRU 類別