骨幹

[來源]

Backbone 類別

keras_nlp.models.Backbone(*args, dtype=None, **kwargs)

所有 Backbone 模型的基類。

Backbone 是給定 NLP 模型的基本架構。與 keras_nlp.models.Task 不同，Backbone 並未針對任何特定的損失函數和訓練設置進行調整。Backbone 通常會在任何輸出預測之前輸出架構的最後隱藏狀態。

Backbone 可以通過以下兩種方式之一使用

1. 通過 Task 類別，它將包裝和擴展 Backbone，以便它可以使用高級 Keras 函數，例如 fit()、predict() 或 evaluate()。Task 類別是根據特定的訓練目標（例如分類或語言建模）構建的。
2. 直接通過使用額外的輸出和訓練設置擴展底層函數模型。這是最靈活的方法，並且可以允許任何輸出、損失或自定義訓練循環。

所有骨幹都包含一個 from_preset() 建構函數，可用於載入預先訓練的配置和權重。

範例

# Load a BERT backbone with pre-trained weights.
backbone = keras_nlp.models.Backbone.from_preset(
    "bert_base_en",
)
# Load a GPT2 backbone with pre-trained weights at bfloat16 precision.
backbone = keras_nlp.models.Backbone.from_preset(
    "gpt2_base_en",
    dtype="bfloat16",
    trainable=False,
)

[來源]

from_preset 方法

Backbone.from_preset(preset, load_weights=True, **kwargs)

從模型預設設定實例化 keras_nlp.models.Backbone。

預設設定是配置、權重和其他檔案資產的目錄，用於儲存和載入預先訓練的模型。preset 可以作為以下其中之一傳遞

1. 內建的預設設定識別碼，例如 'bert_base_en'
2. Kaggle 模型控點，例如 'kaggle://user/bert/keras/bert_base_en'
3. Hugging Face 控點，例如 'hf://user/bert_base_en'
4. 本地預設設定目錄的路徑，例如 './bert_base_en'

您可以透過兩種方式呼叫此建構函式。您可以從基底類別呼叫，例如 keras_nlp.models.Backbone.from_preset()，或從模型類別呼叫，例如 keras_nlp.models.GemmaBackbone.from_preset()。如果您從基底類別呼叫，則會從預設目錄中的設定檔推斷出傳回物件的子類別。

對於任何 Backbone 子類別，您都可以執行 cls.presets.keys() 來列出類別上所有可用的內建預設值。

引數

• preset：字串。內建預設值識別碼、Kaggle 模型控點、Hugging Face 控點或本機目錄的路徑。
• load_weights：布林值。如果為 True，則會將權重載入模型架構中。如果為 False，則會隨機初始化權重。

範例

# Load a Gemma backbone with pre-trained weights.
model = keras_nlp.models.Backbone.from_preset(
    "gemma_2b_en",
)

# Load a Bert backbone with a pre-trained config and random weights.
model = keras_nlp.models.Backbone.from_preset(
    "bert_base_en",
    load_weights=False,
)

token_embedding 屬性

keras_nlp.models.Backbone.token_embedding

用於嵌入權杖 ID 的 keras.layers.Embedding 執行個體。

此層會將整數權杖 ID 嵌入到模型的隱藏維度。

[來源]

enable_lora 方法

Backbone.enable_lora(rank)

在骨幹網路上啟用 Lora。

呼叫此方法會凍結骨幹網路上的所有權重，同時在注意力層的查詢和值 EinsumDense 層上啟用 Lora。

[來源]

save_lora_weights 方法

Backbone.save_lora_weights(filepath)

[來源]

load_lora_weights 方法

Backbone.load_lora_weights(filepath)

[來源]

save_to_preset 方法

Backbone.save_to_preset(preset_dir)

將骨幹網路儲存到預設目錄。

引數

• preset_dir：本機模型預設目錄的路徑。