► Keras 3 API 文件 / 層 API / 循環層 / GRU 層

GRU 層

[來源]

GRU 類別

keras.layers.GRU(
    units,
    activation="tanh",
    recurrent_activation="sigmoid",
    use_bias=True,
    kernel_initializer="glorot_uniform",
    recurrent_initializer="orthogonal",
    bias_initializer="zeros",
    kernel_regularizer=None,
    recurrent_regularizer=None,
    bias_regularizer=None,
    activity_regularizer=None,
    kernel_constraint=None,
    recurrent_constraint=None,
    bias_constraint=None,
    dropout=0.0,
    recurrent_dropout=0.0,
    seed=None,
    return_sequences=False,
    return_state=False,
    go_backwards=False,
    stateful=False,
    unroll=False,
    reset_after=True,
    use_cudnn="auto",
    **kwargs
)

閘門循環單元 - Cho et al. 2014。

基於可用的執行階段硬體和約束，此層將選擇不同的實作方式（基於 cuDNN 或後端原生）以最大化效能。如果 GPU 可用，且該層的所有參數都符合 cuDNN 核心的要求（詳情請見下文），則在使用 TensorFlow 後端時，該層將使用快速的 cuDNN 實作。

使用 cuDNN 實作的要求如下：

  1. activation == tanh
  2. recurrent_activation == sigmoid
  3. recurrent_dropout == 0
  4. unroll 為 False
  5. use_bias 為 True
  6. reset_after 為 True
  7. 輸入（如果使用遮罩）必須嚴格地向右填充。
  8. 在最外層上下文中啟用 Eager Execution。

GRU 實作有兩種變體。預設變體基於 v3，並在矩陣乘法之前將重置閘門應用於隱藏狀態。另一種變體基於 原始版本，並且順序相反。

第二種變體與 CuDNNGRU（僅限 GPU）相容，並允許在 CPU 上進行推論。因此，它為 kernel 和 recurrent_kernel 具有單獨的偏置。若要使用此變體，請設定 reset_after=True 和 recurrent_activation='sigmoid'。

例如

>>> inputs = np.random.random((32, 10, 8))
>>> gru = keras.layers.GRU(4)
>>> output = gru(inputs)
>>> output.shape
(32, 4)
>>> gru = keras.layers.GRU(4, return_sequences=True, return_state=True)
>>> whole_sequence_output, final_state = gru(inputs)
>>> whole_sequence_output.shape
(32, 10, 4)
>>> final_state.shape
(32, 4)

引數

  • units：正整數，輸出空間的維度。
  • activation：要使用的激活函數。預設值：雙曲正切函數 (tanh)。如果您傳遞 None，則不套用激活函數（即「線性」激活函數：a(x) = x）。
  • recurrent_activation：用於循環步驟的激活函數。預設值：sigmoid 函數 (sigmoid)。如果您傳遞 None，則不套用激活函數（即「線性」激活函數：a(x) = x）。
  • use_bias：布林值（預設值 True），指示圖層是否應使用偏置向量。
  • kernel_initializer：kernel 權重矩陣的初始化器，用於輸入的線性轉換。預設值："glorot_uniform"。
  • recurrent_initializer：recurrent_kernel 權重矩陣的初始化器，用於循環狀態的線性轉換。預設值："orthogonal"。
  • bias_initializer：偏置向量的初始化器。預設值："zeros"。
  • kernel_regularizer：套用於 kernel 權重矩陣的正規化函數。預設值：None。
  • recurrent_regularizer：套用於 recurrent_kernel 權重矩陣的正規化函數。預設值：None。
  • bias_regularizer：套用於偏置向量的正規化函數。預設值：None。
  • activity_regularizer：套用於圖層輸出（其「激活值」）的正規化函數。預設值：None。
  • kernel_constraint：套用於 kernel 權重矩陣的約束函數。預設值：None。
  • recurrent_constraint：套用於 recurrent_kernel 權重矩陣的約束函數。預設值：None。
  • bias_constraint：套用於偏置向量的約束函數。預設值：None。
  • dropout：介於 0 和 1 之間的浮點數。輸入線性轉換的單元丟棄比例。預設值：0。
  • recurrent_dropout：介於 0 和 1 之間的浮點數。循環狀態線性轉換的單元丟棄比例。預設值：0。
  • seed：dropout 的隨機種子。
  • return_sequences：布林值。是否傳回輸出序列中的最後一個輸出，還是完整序列。預設值：False。
  • return_state：布林值。除了輸出之外，是否傳回最後一個狀態。預設值：False。
  • go_backwards：布林值（預設值 False）。如果為 True，則反向處理輸入序列並傳回反向序列。
  • stateful：布林值（預設值：False）。如果為 True，則批次中索引 i 處每個樣本的最後一個狀態，將用作後續批次中索引 i 的樣本的初始狀態。
  • unroll：布林值（預設值：False）。如果為 True，則網路將會展開，否則將使用符號迴圈。展開可以加速 RNN，但往往會更耗費記憶體。展開僅適用於短序列。
  • reset_after：GRU 慣例（是否在矩陣乘法之後或之前應用重置閘門）。False 為 "before"，True 為 "after"（預設值且與 cuDNN 相容）。
  • use_cudnn：是否使用 cuDNN 後端實作。「"auto"」將嘗試在可行時使用 cuDNN，如果不可行，則會回退到預設實作。

呼叫引數

  • inputs：3D 張量，形狀為 (batch, timesteps, feature)。
  • mask：形狀為 (samples, timesteps) 的二元張量，指示是否應遮罩給定的時間步（選用）。True 項目表示應使用對應的時間步，而 False 項目表示應忽略對應的時間步。預設值為 None。
  • training：Python 布林值，指示圖層應在訓練模式還是推論模式下運作。此引數在呼叫 cell 時傳遞給 cell。僅當使用 dropout 或 recurrent_dropout 時才相關（選用）。預設值為 None。
  • initial_state：要傳遞到 cell 第一次呼叫的初始狀態張量列表（選用，None 會導致建立填零的初始狀態張量）。預設值為 None。
GRU 層
GRU 類別