FalconBackbone 模型
FalconBackbone 類別
keras_nlp.models.FalconBackbone(
vocabulary_size,
num_layers,
num_attention_heads,
hidden_dim,
intermediate_dim,
layer_norm_epsilon=1e-05,
attention_dropout_rate=0,
feedforward_dropout_rate=0,
dtype=None,
**kwargs
)
Falcon 核心架構。
此網路實作基於 Transformer 的僅解碼器網路，Falcon。
參數
- vocabulary_size：整數。標記詞彙的大小。
- num_layers：整數。Transformer 層的數量。
- num_attention_heads：整數。每個 Transformer 的注意力頭數量。隱層大小必須可以被注意力頭數量整除。
- hidden_dim：整數。嵌入和隱層狀態的維度。
- intermediate_dim：整數。每個 Transformer 的 MLP 網路中第一個 Dense 層的輸出維度。
- layer_norm_epsilon：浮點數。Transformer 解碼器中層標準化層的 Epsilon。
- attention_dropout_rate：浮點數。注意力的 Dropout 機率。
- feedforward_dropout_rate：浮點數。Feedforward 的 Dropout 機率。
- dtype：字串或
keras.mixed_precision.DTypePolicy。用於模型計算和權重的 dtype。請注意，某些計算（例如 softmax 和層標準化）將始終以 float32 精度完成，而與 dtype 無關。
範例
input_data = {
"token_ids": np.ones(shape=(1, 12), dtype="int32"),
"padding_mask": np.array([[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0]]),
}
# Pretrained Falcon decoder.
# TODO: Update the preset.
model = keras_nlp.models.FalconBackbone.from_preset("falcon_preset")
model(input_data)
# Randomly initialized Falcon decoder with a custom config.
model = keras_nlp.models.FalconBackbone(
vocabulary_size=10,
num_layers=2,
num_attention_heads=2,
hidden_dim=32,
intermediate_dim=32*4,
layer_norm_epsilon=1e-5,
attention_dropout_rate=0,
feedforward_dropout_rate=0,
dtype="float32",
)
model(input_data)
from_preset 方法
FalconBackbone.from_preset(preset, load_weights=True, **kwargs)
從模型預設設定實例化 keras_nlp.models.Backbone。
預設設定是配置、權重和其他檔案資產的目錄，用於儲存和載入預先訓練的模型。preset 可以作為以下其中之一傳遞：
- 內建預設設定識別碼，例如
'bert_base_en' - Kaggle 模型控點，例如
'kaggle://user/bert/keras/bert_base_en' - Hugging Face 控點，例如
'hf://user/bert_base_en' - 本機預設設定目錄的路徑，例如
'./bert_base_en'
這個建構函式可以用兩種方式呼叫。可以從基底類別呼叫，例如 keras_nlp.models.Backbone.from_preset()，或者從模型類別呼叫，例如 keras_nlp.models.GemmaBackbone.from_preset()。如果從基底類別呼叫，則返回物件的子類別將從預設目錄中的設定推斷出來。
對於任何 Backbone 子類別，您可以執行 cls.presets.keys() 來列出類別上可用的所有內建預設。
參數
- preset：字串。內建預設識別碼、Kaggle 模型控點、Hugging Face 控點或本機目錄的路徑。
- load_weights：布林值。如果為
True，則權重將載入模型架構中。如果為False，則權重將隨機初始化。
範例
# Load a Gemma backbone with pre-trained weights.
model = keras_nlp.models.Backbone.from_preset(
"gemma_2b_en",
)
# Load a Bert backbone with a pre-trained config and random weights.
model = keras_nlp.models.Backbone.from_preset(
"bert_base_en",
load_weights=False,
)
| 預設名稱 | 參數 | 說明 |
|---|---|---|
| falcon_refinedweb_1b_en | 1.31B | 24 層 Falcon 模型（具有 10 億個參數的 Falcon），在 3500 億個 RefinedWeb 資料集的詞彙上進行訓練。 |
token_embedding 屬性
keras_nlp.models.FalconBackbone.token_embedding
用於嵌入詞彙 ID 的 keras.layers.Embedding 執行個體。
此層將整數詞彙 ID 嵌入模型的隱藏維度。