MaskedLM

[來源]

MaskedLM 類別

keras_hub.models.MaskedLM()

遮罩語言建模任務的基底類別。

MaskedLM 任務包裝了一個 keras_hub.models.Backbone 和一個 keras_hub.models.Preprocessor，以建立一個可以用於具有遮罩語言建模損失的無監督微調的模型。

當呼叫 fit() 時，所有輸入都將被標記化，並且輸入序列中的隨機標記將被遮罩。這些被遮罩標記的位置將作為額外的模型輸入被饋送，並且模型輸出將預測標記的原始值。

所有 MaskedLM 任務都包含一個 from_preset() 建構函數，可用於載入預先訓練的配置和權重。

範例

# Load a Bert MaskedLM with pre-trained weights.
masked_lm = keras_hub.models.MaskedLM.from_preset(
    "bert_base_en",
)
masked_lm.fit(train_ds)

[來源]

from_preset 方法

MaskedLM.from_preset(preset, load_weights=True, **kwargs)

從模型預設集例項化一個 keras_hub.models.Task。

預設集是一個配置、權重和其他檔案資產的目錄，用於儲存和載入預先訓練的模型。preset 可以作為以下其中一種傳遞：

1. 內建的預設集識別碼，例如 'bert_base_en'
2. Kaggle 模型處理常式，例如 'kaggle://user/bert/keras/bert_base_en'
3. Hugging Face 處理常式，例如 'hf://user/bert_base_en'
4. 本地預設集目錄的路徑，例如 './bert_base_en'

對於任何 Task 子類別，您可以執行 cls.presets.keys() 以列出該類別上可用的所有內建預設集。

這個建構函數可以以兩種方式之一被呼叫。可以從特定於任務的基底類別呼叫，例如 keras_hub.models.CausalLM.from_preset()，也可以從模型類別呼叫，例如 keras_hub.models.BertTextClassifier.from_preset()。如果從基底類別呼叫，則返回物件的子類別將從預設集目錄中的配置推斷出來。

參數

• preset：字串。內建的預設識別碼、Kaggle 模型控點、Hugging Face 控點，或本機目錄的路徑。
• load_weights：布林值。如果為 True，儲存的權重將會載入模型架構中。如果為 False，所有權重將會隨機初始化。

範例

# Load a Gemma generative task.
causal_lm = keras_hub.models.CausalLM.from_preset(
    "gemma_2b_en",
)

# Load a Bert classification task.
model = keras_hub.models.TextClassifier.from_preset(
    "bert_base_en",
    num_classes=2,
)

[來源]

compile 方法

MaskedLM.compile(optimizer="auto", loss="auto", weighted_metrics="auto", **kwargs)

設定 MaskedLM 任務以進行訓練。

MaskedLM 任務使用 optimizer、loss 和 weighted_metrics 的預設值，擴充了 keras.Model.compile 的預設編譯簽章。如要覆寫這些預設值，請在編譯期間將任何值傳遞至這些引數。

請注意，由於訓練輸入包含從損失中排除的填補標記，因此使用 weighted_metrics 而不是 metrics 進行編譯幾乎總是一個好主意。

參數

• optimizer："auto"、優化器名稱或 keras.Optimizer 執行個體。預設為 "auto"，它會針對指定的模型和任務使用預設優化器。如需可能的 optimizer 值的詳細資訊，請參閱 keras.Model.compile 和 keras.optimizers。
• loss："auto"、損失名稱或 keras.losses.Loss 執行個體。預設為 "auto"，其中將會針對標記分類 MaskedLM 任務套用 keras.losses.SparseCategoricalCrossentropy 損失。如需可能的 loss 值的詳細資訊，請參閱 keras.Model.compile 和 keras.losses。
• weighted_metrics："auto" 或模型在訓練和測試期間評估的一系列指標。預設為 "auto"，其中將會套用 keras.metrics.SparseCategoricalAccuracy 來追蹤模型在猜測遮罩標記值時的準確性。如需可能的 weighted_metrics 值的詳細資訊，請參閱 keras.Model.compile 和 keras.metrics。
• **kwargs：如需編譯方法支援的完整引數清單，請參閱 keras.Model.compile。

[來源]

save_to_preset 方法

MaskedLM.save_to_preset(preset_dir)

將任務儲存至預設目錄。

參數

• preset_dir：本機模型預設目錄的路徑。

preprocessor 屬性

keras_hub.models.MaskedLM.preprocessor

用於預先處理輸入的 keras_hub.models.Preprocessor 層。

backbone 屬性

keras_hub.models.MaskedLM.backbone

具有核心架構的 keras_hub.models.Backbone 模型。