FNet 編碼器層
FNetEncoder 類別
keras_hub.layers.FNetEncoder(
intermediate_dim,
dropout=0,
activation="relu",
layer_norm_epsilon=1e-05,
kernel_initializer="glorot_uniform",
bias_initializer="zeros",
**kwargs
)
FNet 編碼器。
此類別遵循FNet 論文中 FNet 編碼器層的架構。使用者可以實例化此類別的多個實例來堆疊編碼器。
關於遮罩的注意事項：在官方 FNet 程式碼中，會將填充標記新增至輸入中。但是，填充遮罩會被刪除，即會完成所有標記的混合。這是因為如果我們在每個編碼器層中套用填充遮罩，某些頻率將會被歸零。因此，我們不會在 call() 函式中將填充遮罩作為輸入。
引數
- intermediate_dim：整數。前饋網路的隱藏大小。
- dropout：浮點數。在前饋網路中套用的 dropout 值。預設為
0.。 - activation：字串或
keras.activations。前饋網路的啟動函式。預設為"relu"。 - layer_norm_epsilon：浮點數。層正規化元件中的 epsilon 值。預設為
1e-5。 - kernel_initializer：
str或keras.initializers初始化器。稠密層的核心初始化器。預設為"glorot_uniform"。 - bias_initializer："字串" 或
keras.initializers初始化器。稠密層的偏差初始化器。預設為"zeros"。 - **kwargs：傳遞至
keras.layers.Layer的其他關鍵字引數，包括name、trainable、dtype等。
範例
# Create a single FNet encoder layer.
encoder = keras_hub.layers.FNetEncoder(
intermediate_dim=64)
# Create a simple model containing the encoder.
input = keras.Input(shape=(10, 64))
output = encoder(input)
model = keras.Model(inputs=input, outputs=output)
# Call encoder on the inputs.
input_data = np.random.uniform(size=(1, 10, 64))
output = model(input_data)
參考文獻