TransformerDecoder 層

[來源]

TransformerDecoder 類別

keras_nlp.layers.TransformerDecoder(
    intermediate_dim,
    num_heads,
    dropout=0,
    activation="relu",
    layer_norm_epsilon=1e-05,
    kernel_initializer="glorot_uniform",
    bias_initializer="zeros",
    normalize_first=False,
    **kwargs
)

Transformer 解碼器。

此類別遵循論文 Attention is All You Need 中 Transformer 解碼器層的架構。使用者可以實例化此類別的多個實例以堆疊解碼器。

預設情況下，此層將對解碼器注意力層應用因果遮罩。您也可以在呼叫期間將填充或注意力遮罩直接傳遞到層，例如使用 decoder_padding_mask 或 decoder_attention_mask。

可以使用一個或兩個輸入來呼叫此層。輸入的數量在所有呼叫中必須一致。選項如下： layer(decoder_sequence)：不會將交叉注意力內建到解碼器區塊中。這在建構「僅限解碼器」的 Transformer（例如 GPT-2）時很有用。 layer(decoder_sequence, encoder_sequence)：交叉注意力將內建到解碼器區塊中。這在建構「編碼器-解碼器」Transformer（例如 Attention is All You Need 中描述的原始 Transformer 模型）時很有用。

參數

• intermediate_dim：int，前饋網路的隱藏大小。
• num_heads：int，MultiHeadAttention 中的頭數。
• dropout：float。dropout 值，由 MultiHeadAttention 和前饋網路共用。預設為 0.。
• activation：字串或 keras.activations。前饋網路的激活函數。預設為 "relu"。
• layer_norm_epsilon：float。層歸一化組件中的 eps 值。預設為 1e-5。
• kernel_initializer：字串或 keras.initializers 初始化器。密集和多頭注意力層的核初始化器。預設為 "glorot_uniform"。
• bias_initializer：字串或 keras.initializers 初始化器。密集和多頭注意力層的偏差初始化器。預設為 "zeros"。
• normalize_first：布林值。如果為 True，則對注意力層和中間稠密層的輸入進行標準化（類似於 GPT-2）。如果設定為 False，則對注意力層和中間稠密層的輸出進行標準化（類似於 BERT）。預設值為 False。
• **kwargs：傳遞給 keras.layers.Layer 的其他關鍵字引數，包括 name、trainable、dtype 等等。

範例

# Create a single transformer decoder layer.
decoder = keras_nlp.layers.TransformerDecoder(
    intermediate_dim=64, num_heads=8)

# Create a simple model containing the decoder.
decoder_input = keras.Input(shape=(10, 64))
encoder_input = keras.Input(shape=(10, 64))
output = decoder(decoder_input, encoder_input)
model = keras.Model(
    inputs=(decoder_input, encoder_input),
    outputs=output,
)

# Call decoder on the inputs.
decoder_input_data = np.random.uniform(size=(2, 10, 64))
encoder_input_data = np.random.uniform(size=(2, 10, 64))
decoder_output = model((decoder_input_data, encoder_input_data))

參考

• Vaswani 等人，2017 年

[來源]

call 方法

TransformerDecoder.call(
    decoder_sequence,
    encoder_sequence=None,
    decoder_padding_mask=None,
    decoder_attention_mask=None,
    encoder_padding_mask=None,
    encoder_attention_mask=None,
    self_attention_cache=None,
    self_attention_cache_update_index=None,
    cross_attention_cache=None,
    cross_attention_cache_update_index=None,
    use_causal_mask=True,
    training=None,
)

TransformerDecoder 的正向傳遞。

參數

• decoder_sequence：張量。解碼器輸入序列。
• encoder_sequence：張量。編碼器輸入序列。對於僅限解碼器的模型（例如 GPT2），應將其保留為 None。一旦模型在沒有 encoder_sequence 的情況下被呼叫一次，就不能再使用 encoder_sequence 呼叫它。
• decoder_padding_mask：布林張量，解碼器序列的填充遮罩，形狀必須為 [batch_size, decoder_sequence_length]。
• decoder_attention_mask：布林張量。自訂解碼器序列遮罩，形狀必須為 [batch_size, decoder_sequence_length, decoder_sequence_length]。
• encoder_padding_mask：布林張量，編碼器序列的填充遮罩，形狀必須為 [batch_size, encoder_sequence_length]。
• encoder_attention_mask：布林張量。自訂編碼器序列遮罩，形狀必須為 [batch_size, encoder_sequence_length, encoder_sequence_length]。
• self_attention_cache：稠密浮點張量。自注意力層中鍵/值對的快取。形狀為 [batch_size, 2, max_seq_len, num_heads, key_dims]。
• self_attention_cache_update_index：整數或整數張量，要更新 self_attention_cache 的索引。通常，這是解碼過程中正在處理的當前權杖的索引。
• cross_attention_cache：稠密浮點張量。交叉注意力層中鍵/值對的快取。形狀為 [batch_size, 2, S, num_heads, key_dims]。
• cross_attention_cache_update_index：整數或整數張量，要更新 cross_attention_cache 的索引。通常，這是 0（計算整個 cross_attention_cache）或 None（重複使用先前計算的 cross_attention_cache）。
• use_causal_mask：布林值，預設為 True。如果為 true，則在解碼器序列上套用因果遮罩（遮罩掉未來的輸入）。
• training：一個布林值，表示該層應該處於訓練模式還是推理模式。

回傳值

• 根據呼叫引數，回傳以下三種情況之一:
• 如果 self_attention_cache 為 None，則回傳 outputs。
• 如果設定了 self_attention_cache 且該層沒有交叉注意力，則回傳 (outputs, self_attention_cache)。
• 如果設定了 self_attention_cache 和 cross_attention_cache 且該層具有交叉注意力，則回傳 (outputs, self_attention_cache, cross_attention_cache)。