骨幹（Backbone）

[原始碼]

Backbone 類別

keras_hub.models.Backbone(*args, dtype=None, **kwargs)

所有 Backbone 模型的基底類別。

Backbone 是給定自然語言處理模型的基本架構。與 keras_hub.models.Task 不同，Backbone 並未針對任何特定的損失函數和訓練設定進行調整。Backbone 通常會在任何輸出預測之前輸出架構的最後隱藏狀態。

Backbone 可以透過以下兩種方式之一使用

1. 透過 Task 類別，它將包裝並擴展 Backbone，以便可以使用高階 Keras 函數，例如 fit()、predict() 或 evaluate()。Task 類別的建構是為了滿足特定的訓練目標（例如分類或語言建模）。
2. 直接透過額外的輸出和訓練設定來擴展底層函數模型。這是最靈活的方法，並且可以允許任何輸出、損失或自訂訓練迴圈。

所有骨幹都包含一個 from_preset() 建構函數，可用於載入預先訓練的設定和權重。

範例

# Load a BERT backbone with pre-trained weights.
backbone = keras_hub.models.Backbone.from_preset(
    "bert_base_en",
)
# Load a GPT2 backbone with pre-trained weights at bfloat16 precision.
backbone = keras_hub.models.Backbone.from_preset(
    "gpt2_base_en",
    dtype="bfloat16",
    trainable=False,
)

[原始碼]

from_preset 方法

Backbone.from_preset(preset, load_weights=True, **kwargs)

從模型預設集實例化 keras_hub.models.Backbone。

預設集是設定、權重和其他檔案資源的目錄，用於儲存和載入預先訓練的模型。preset 可以作為以下其中一種傳遞

1. 內建預設集識別碼，例如 'bert_base_en'
2. Kaggle 模型控制代碼，例如 'kaggle://user/bert/keras/bert_base_en'
3. Hugging Face 控制代碼，例如 'hf://user/bert_base_en'
4. 本機預設集目錄的路徑，例如 './bert_base_en'

可以透過兩種方式之一呼叫此建構函數。可以從基底類別呼叫，例如 keras_hub.models.Backbone.from_preset()，也可以從模型類別呼叫，例如 keras_hub.models.GemmaBackbone.from_preset()。如果從基底類別呼叫，則會從預設集目錄中的設定推斷出傳回物件的子類別。

對於任何 Backbone 子類別，您可以執行 cls.presets.keys() 來列出類別上可用的所有內建預設集。

引數

• preset：字串。內建預設集識別碼、Kaggle 模型代碼、Hugging Face 代碼或本地目錄的路徑。
• load_weights：布林值。如果為 True，權重將會載入模型架構中。如果為 False，權重將會隨機初始化。

範例

# Load a Gemma backbone with pre-trained weights.
model = keras_hub.models.Backbone.from_preset(
    "gemma_2b_en",
)

# Load a Bert backbone with a pre-trained config and random weights.
model = keras_hub.models.Backbone.from_preset(
    "bert_base_en",
    load_weights=False,
)

token_embedding 屬性

keras_hub.models.Backbone.token_embedding

用於嵌入詞彙 ID 的 keras.layers.Embedding 實例。

此層將整數詞彙 ID 嵌入模型的隱藏維度。

[原始碼]

enable_lora 方法

Backbone.enable_lora(rank)

在骨幹網路啟用 Lora。

呼叫此方法將凍結骨幹網路上的所有權重，同時在注意力層的查詢和值 EinsumDense 層上啟用 Lora。

[原始碼]

save_lora_weights 方法

Backbone.save_lora_weights(filepath)

[原始碼]

load_lora_weights 方法

Backbone.load_lora_weights(filepath)

[原始碼]

save_to_preset 方法

Backbone.save_to_preset(preset_dir)

將骨幹網路儲存至預設集目錄。

引數

• preset_dir：本地模型預設集目錄的路徑。