► KerasHub：預訓練模型 / API 文件 / 模型架構 / DebertaV3 / DebertaV3TextClassifier 模型

DebertaV3TextClassifier 模型

[來源]

DebertaV3TextClassifier 類別

keras_hub.models.DebertaV3TextClassifier(
    backbone,
    num_classes,
    preprocessor=None,
    activation=None,
    hidden_dim=None,
    dropout=0.0,
    **kwargs
)

用於分類任務的端到端 DeBERTa 模型。

此模型將分類頭部連接到 keras_hub.model.DebertaV3Backbone 模型，從骨幹網路輸出映射到適用於分類任務的 logits 輸出。若要搭配預訓練權重使用此模型，請參閱 from_preset() 方法。

此模型可以選擇性地配置 preprocessor 層，在這種情況下，它會在 fit()、predict() 和 evaluate() 期間自動將預處理應用於原始輸入。預設情況下，使用 from_preset() 建立模型時會執行此操作。

注意：DebertaV3Backbone 在 TPU 上存在效能問題，我們建議針對 TPU 訓練和推論使用其他模型。

免責聲明：預訓練模型以「現狀」為基礎提供，不提供任何形式的擔保或條件。底層模型由第三方提供，並受個別授權條款約束，詳情請參閱此處。

引數

  • backbone：keras_hub.models.DebertaV3 實例。
  • num_classes：整數。要預測的類別數量。
  • preprocessor：keras_hub.models.DebertaV3TextClassifierPreprocessor 或 None。如果為 None，則此模型不會套用預處理，且輸入應在呼叫模型之前進行預處理。
  • activation：可選的 str 或可呼叫物件。要在模型輸出上使用的啟動函數。設定 activation="softmax" 以傳回輸出機率。預設值為 None。
  • hidden_dim：整數。池化層的大小。
  • dropout：浮點數。應用於池化輸出的 dropout 機率。對於第二個 dropout 層，將使用 backbone.dropout。

範例

原始字串資料。

features = ["The quick brown fox jumped.", "I forgot my homework."]
labels = [0, 3]

# Pretrained classifier.
classifier = keras_hub.models.DebertaV3TextClassifier.from_preset(
    "deberta_v3_base_en",
    num_classes=4,
)
classifier.fit(x=features, y=labels, batch_size=2)
classifier.predict(x=features, batch_size=2)

# Re-compile (e.g., with a new learning rate).
classifier.compile(
    loss=keras.losses.SparseCategoricalCrossentropy(from_logits=True),
    optimizer=keras.optimizers.Adam(5e-5),
    jit_compile=True,
)
# Access backbone programmatically (e.g., to change `trainable`).
classifier.backbone.trainable = False
# Fit again.
classifier.fit(x=features, y=labels, batch_size=2)

預處理後的整數資料。

features = {
    "token_ids": np.ones(shape=(2, 12), dtype="int32"),
    "padding_mask": np.array([[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0]] * 2),
}
labels = [0, 3]

# Pretrained classifier without preprocessing.
classifier = keras_hub.models.DebertaV3TextClassifier.from_preset(
    "deberta_v3_base_en",
    num_classes=4,
    preprocessor=None,
)
classifier.fit(x=features, y=labels, batch_size=2)

自訂骨幹網路和詞彙表。

features = ["The quick brown fox jumped.", "I forgot my homework."]
labels = [0, 3]

bytes_io = io.BytesIO()
ds = tf.data.Dataset.from_tensor_slices(features)
sentencepiece.SentencePieceTrainer.train(
    sentence_iterator=ds.as_numpy_iterator(),
    model_writer=bytes_io,
    vocab_size=10,
    model_type="WORD",
    pad_id=0,
    bos_id=1,
    eos_id=2,
    unk_id=3,
    pad_piece="[PAD]",
    bos_piece="[CLS]",
    eos_piece="[SEP]",
    unk_piece="[UNK]",
)
tokenizer = keras_hub.models.DebertaV3Tokenizer(
    proto=bytes_io.getvalue(),
)
preprocessor = keras_hub.models.DebertaV3TextClassifierPreprocessor(
    tokenizer=tokenizer,
    sequence_length=128,
)
backbone = keras_hub.models.DebertaV3Backbone(
    vocabulary_size=30552,
    num_layers=4,
    num_heads=4,
    hidden_dim=256,
    intermediate_dim=512,
    max_sequence_length=128,
)
classifier = keras_hub.models.DebertaV3TextClassifier(
    backbone=backbone,
    preprocessor=preprocessor,
    num_classes=4,
)
classifier.fit(x=features, y=labels, batch_size=2)

[來源]

from_preset 方法

DebertaV3TextClassifier.from_preset(preset, load_weights=True, **kwargs)

從模型預設實例化 keras_hub.models.Task。

預設是組態、權重和其他檔案資產的目錄，用於儲存和載入預訓練模型。preset 可以作為以下其中一種傳遞

  1. 內建預設識別符，例如 'bert_base_en'
  2. Kaggle Models 句柄，例如 'kaggle://user/bert/keras/bert_base_en'
  3. Hugging Face 句柄，例如 'hf://user/bert_base_en'
  4. 本機預設目錄的路徑，例如 './bert_base_en'

對於任何 Task 子類別，您可以執行 cls.presets.keys() 以列出類別上所有可用的內建預設。

此建構子可以透過兩種方式之一呼叫。從任務特定的基底類別（例如 keras_hub.models.CausalLM.from_preset()）呼叫，或從模型類別（例如 keras_hub.models.BertTextClassifier.from_preset()）呼叫。如果從基底類別呼叫，則傳回物件的子類別將從預設目錄中的組態推斷。

引數

  • preset：字串。內建預設識別符、Kaggle Models 句柄、Hugging Face 句柄或本機目錄的路徑。
  • load_weights：布林值。如果為 True，則已儲存的權重將載入到模型架構中。如果為 False，則所有權重都將隨機初始化。

範例

# Load a Gemma generative task.
causal_lm = keras_hub.models.CausalLM.from_preset(
    "gemma_2b_en",
)

# Load a Bert classification task.
model = keras_hub.models.TextClassifier.from_preset(
    "bert_base_en",
    num_classes=2,
)
預設 參數 描述
deberta_v3_extra_small_en 70.68M 12 層 DeBERTaV3 模型，其中保留了大小寫。在英文維基百科、BookCorpus 和 OpenWebText 上訓練。
deberta_v3_small_en 141.30M 6 層 DeBERTaV3 模型，其中保留了大小寫。在英文維基百科、BookCorpus 和 OpenWebText 上訓練。
deberta_v3_base_en 183.83M 12 層 DeBERTaV3 模型，其中保留了大小寫。在英文維基百科、BookCorpus 和 OpenWebText 上訓練。
deberta_v3_base_multi 278.22M 12 層 DeBERTaV3 模型，其中保留了大小寫。在 2.5TB 多語言 CC100 資料集上訓練。
deberta_v3_large_en 434.01M 24 層 DeBERTaV3 模型，其中保留了大小寫。在英文維基百科、BookCorpus 和 OpenWebText 上訓練。

backbone 屬性

keras_hub.models.DebertaV3TextClassifier.backbone

具有核心架構的 keras_hub.models.Backbone 模型。

preprocessor 屬性

keras_hub.models.DebertaV3TextClassifier.preprocessor

用於預處理輸入的 keras_hub.models.Preprocessor 層。

DebertaV3TextClassifier 模型
DebertaV3TextClassifier 類別
from_preset 方法
backbone 屬性
preprocessor 屬性