主幹網路

[原始碼]

Backbone 類別

keras_hub.models.Backbone(*args, dtype=None, **kwargs)

所有 Backbone 模型的基本類別。

Backbone 是給定 NLP 模型的基本架構。與 keras_hub.models.Task 不同，Backbone 並不針對任何特定的損失函數和訓練設定進行客製化。Backbone 通常會輸出架構在任何輸出預測之前的最後隱藏狀態。

Backbone 可以透過以下兩種方式之一使用：

1. 透過 Task 類別，它會包裝和擴展 Backbone，以便它可以與高階 Keras 函數（如 fit()、predict() 或 evaluate()）一起使用。 Task 類別的建立會考慮到特定的訓練目標（例如分類或語言建模）。
2. 直接方式，透過使用額外的輸出和訓練設定來擴展基礎函數模型。這是最靈活的方法，可以允許任何輸出、損失或自訂訓練迴圈。

所有主幹網路都包含一個 from_preset() 建構子，可用於載入預訓練的配置和權重。

範例

# Load a BERT backbone with pre-trained weights.
backbone = keras_hub.models.Backbone.from_preset(
    "bert_base_en",
)
# Load a GPT2 backbone with pre-trained weights at bfloat16 precision.
backbone = keras_hub.models.Backbone.from_preset(
    "gpt2_base_en",
    dtype="bfloat16",
    trainable=False,
)

[原始碼]

from_preset 方法

Backbone.from_preset(preset, load_weights=True, **kwargs)

從模型預設值實例化 keras_hub.models.Backbone。

預設值是一個配置、權重和其他檔案資產的目錄，用於儲存和載入預訓練模型。 preset 可以作為以下其中一個傳遞：

1. 內建預設識別符，例如 'bert_base_en'
2. Kaggle Models 控制代碼，例如 'kaggle://user/bert/keras/bert_base_en'
3. Hugging Face 控制代碼，例如 'hf://user/bert_base_en'
4. 本地預設目錄的路徑，例如 './bert_base_en'

這個建構子可以透過兩種方式之一呼叫。可以從基底類別呼叫，例如 keras_hub.models.Backbone.from_preset()，或是從模型類別呼叫，例如 keras_hub.models.GemmaBackbone.from_preset()。如果從基底類別呼叫，則傳回物件的子類別將從預設目錄中的配置推斷出來。

對於任何 Backbone 子類別，您可以執行 cls.presets.keys() 來列出類別上所有可用的內建預設值。

參數

• preset：字串。內建預設識別符、Kaggle Models 控制代碼、Hugging Face 控制代碼，或本地目錄的路徑。
• load_weights：布林值。如果為 True，權重將載入到模型架構中。如果為 False，權重將隨機初始化。

範例

# Load a Gemma backbone with pre-trained weights.
model = keras_hub.models.Backbone.from_preset(
    "gemma_2b_en",
)

# Load a Bert backbone with a pre-trained config and random weights.
model = keras_hub.models.Backbone.from_preset(
    "bert_base_en",
    load_weights=False,
)

token_embedding 屬性

keras_hub.models.Backbone.token_embedding

用於嵌入權杖 ID 的 keras.layers.Embedding 實例。

這個層會將整數權杖 ID 嵌入到模型的隱藏維度中。

[原始碼]

enable_lora 方法

Backbone.enable_lora(rank)

在主幹網路上啟用 Lora。

呼叫此方法將凍結主幹網路上的所有權重，同時在注意力層的查詢和值 EinsumDense 層上啟用 Lora。

[原始碼]

save_lora_weights 方法

Backbone.save_lora_weights(filepath)

[原始碼]

load_lora_weights 方法

Backbone.load_lora_weights(filepath)

[原始碼]

save_to_preset 方法

Backbone.save_to_preset(preset_dir)

將主幹網路儲存到預設目錄。

參數

• preset_dir：本機模型預設目錄的路徑。