骨幹網路

[原始碼]

Backbone 類別

keras_hub.models.Backbone(*args, dtype=None, **kwargs)

所有 Backbone 模型的基本類別。

Backbone 是給定 NLP 模型的基本架構。與 keras_hub.models.Task 不同，Backbone 並非針對任何特定的損失函數和訓練設定而設計。Backbone 通常輸出架構的最後隱藏狀態，然後才進行任何輸出預測。

Backbone 可以透過兩種方式使用

1. 透過 Task 類別，它會封裝並擴展 Backbone，使其可以用於高階 Keras 函數，例如 fit()、predict() 或 evaluate()。Task 類別的建構以特定的訓練目標為考量（例如分類或語言建模）。
2. 直接地，透過使用額外的輸出和訓練設定擴展底層的功能模型。這是最彈性的方法，並且可以允許任何輸出、損失或自訂訓練迴圈。

所有骨幹網路都包含 from_preset() 建構子，可用於載入預訓練的配置和權重。

範例

# Load a BERT backbone with pre-trained weights.
backbone = keras_hub.models.Backbone.from_preset(
    "bert_base_en",
)
# Load a GPT2 backbone with pre-trained weights at bfloat16 precision.
backbone = keras_hub.models.Backbone.from_preset(
    "gpt2_base_en",
    dtype="bfloat16",
    trainable=False,
)

[原始碼]

from_preset 方法

Backbone.from_preset(preset, load_weights=True, **kwargs)

從模型預設實例化 keras_hub.models.Backbone。

預設是一個配置、權重和其他檔案資產的目錄，用於儲存和載入預訓練模型。preset 可以作為以下其中一種傳遞

1. 內建預設識別符，例如 'bert_base_en'
2. Kaggle Models 控制代碼，例如 'kaggle://user/bert/keras/bert_base_en'
3. Hugging Face 控制代碼，例如 'hf://user/bert_base_en'
4. 本地預設目錄的路徑，例如 './bert_base_en'

此建構子可以透過兩種方式呼叫。可以從基底類別呼叫，例如 keras_hub.models.Backbone.from_preset()，或從模型類別呼叫，例如 keras_hub.models.GemmaBackbone.from_preset()。如果從基底類別呼叫，則傳回物件的子類別將從預設目錄中的配置推斷出來。

對於任何 Backbone 子類別，您可以執行 cls.presets.keys() 以列出該類別上所有可用的內建預設。

引數

• preset：字串。內建預設識別符、Kaggle Models 控制代碼、Hugging Face 控制代碼或本地目錄的路徑。
• load_weights：布林值。如果為 True，權重將載入到模型架構中。如果為 False，權重將隨機初始化。

範例

# Load a Gemma backbone with pre-trained weights.
model = keras_hub.models.Backbone.from_preset(
    "gemma_2b_en",
)

# Load a Bert backbone with a pre-trained config and random weights.
model = keras_hub.models.Backbone.from_preset(
    "bert_base_en",
    load_weights=False,
)

token_embedding 屬性

keras_hub.models.Backbone.token_embedding

用於嵌入 token id 的 keras.layers.Embedding 實例。

此層將整數 token id 嵌入到模型的隱藏維度。

[原始碼]

enable_lora 方法

Backbone.enable_lora(rank)

在骨幹網路上啟用 Lora。

呼叫此方法將凍結骨幹網路上的所有權重，同時在注意力層的 query 和 value EinsumDense 層上啟用 Lora。

[原始碼]

save_lora_weights 方法

Backbone.save_lora_weights(filepath)

[原始碼]

load_lora_weights 方法

Backbone.load_lora_weights(filepath)

[原始碼]

save_to_preset 方法

Backbone.save_to_preset(preset_dir)

將骨幹網路儲存到預設目錄。

引數

• preset_dir：本地模型預設目錄的路徑。