BartSeq2SeqLMPreprocessor 層
BartSeq2SeqLMPreprocessor 類別
keras_hub.models.BartSeq2SeqLMPreprocessor(
tokenizer, encoder_sequence_length=1024, decoder_sequence_length=1024, **kwargs
)
BART Seq2Seq LM 預處理器。
此層用作使用 BART 模型的 seq2seq 任務的預處理器。 此類別繼承了 keras_hub.models.BartPreprocessor 並保留了其大部分功能。 它與超類別有兩個差異：
- 透過將解碼器輸入序列向左移動一步來設定
y（標籤）和sample_weights欄位。 這兩個欄位都是在內部推斷出來的，任何傳遞的值都會被忽略。 - 從解碼器輸入序列中刪除最後一個符號，因為它沒有後續符號。
參數
- tokenizer：一個
keras_hub.models.BartTokenizer實例。 - encoder_sequence_length：封裝編碼器輸入的長度。
- decoder_sequence_length：封裝解碼器輸入的長度。
調用參數
- x：一個字典，其中包含
encoder_text和decoder_text作為其鍵。字典中的每個值都應該是單個字串序列的張量。輸入可以是批次的或非批次的。原始 python 輸入將轉換為張量。 - y：標籤數據。應始終為
None，因為該層透過將解碼器輸入序列向左移動一步來產生標籤。 - sample_weight：標籤權重。應始終為
None，因為該層透過將填充遮罩向左移動一步來產生標籤權重。
範例
直接在數據上調用該層
preprocessor = keras_hub.models.BartPreprocessor.from_preset("bart_base_en")
# Preprocess unbatched inputs.
inputs = {
"encoder_text": "The fox was sleeping.",
"decoder_text": "The fox was awake."
}
preprocessor(inputs)
# Preprocess batched inputs.
inputs = {
"encoder_text": ["The fox was sleeping.", "The lion was quiet."],
"decoder_text": ["The fox was awake.", "The lion was roaring."]
}
preprocessor(inputs)
# Custom vocabulary.
vocab = {
"<s>": 0,
"<pad>": 1,
"</s>": 2,
"Ġafter": 5,
"noon": 6,
"Ġsun": 7,
}
merges = ["Ġ a", "Ġ s", "Ġ n", "e r", "n o", "o n", "Ġs u", "Ġa f", "no on"]
merges += ["Ġsu n", "Ġaf t", "Ġaft er"]
tokenizer = keras_hub.models.BartTokenizer(
vocabulary=vocab,
merges=merges,
)
preprocessor = keras_hub.models.BartPreprocessor(
tokenizer=tokenizer,
encoder_sequence_length=20,
decoder_sequence_length=10,
)
inputs = {
"encoder_text": "The fox was sleeping.",
"decoder_text": "The fox was awake."
}
preprocessor(inputs)
使用 tf.data.Dataset 進行映射。
preprocessor = keras_hub.models.BartPreprocessor.from_preset("bart_base_en")
# Map single sentences.
features = {
"encoder_text": tf.constant(
["The fox was sleeping.", "The lion was quiet."]
),
"decoder_text": tf.constant(
["The fox was awake.", "The lion was roaring."]
)
}
ds = tf.data.Dataset.from_tensor_slices(features)
ds = ds.map(preprocessor, num_parallel_calls=tf.data.AUTOTUNE)
from_preset 方法
BartSeq2SeqLMPreprocessor.from_preset(
preset, config_file="preprocessor.json", **kwargs
)
從模型預設實例化一個 keras_hub.models.Preprocessor。
預設是一個配置、權重和其他檔案資產的目錄，用於儲存和載入預訓練模型。 可以將 preset 作為以下其中之一傳遞：
- 內建預設識別符，例如
'bert_base_en' - Kaggle Models 控制碼，例如
'kaggle://user/bert/keras/bert_base_en' - Hugging Face 控制碼，例如
'hf://user/bert_base_en' - 本機預設目錄的路徑，例如
'./bert_base_en'
對於任何 Preprocessor 子類別，您可以執行 cls.presets.keys() 以列出該類別上可用的所有內建預設。
由於給定模型通常有多個預處理類別，因此此方法應在特定子類別上調用，例如 keras_hub.models.BertTextClassifierPreprocessor.from_preset()。
參數
- preset：字串。內建預設識別符、Kaggle Models 控制碼、Hugging Face 控制碼或本機目錄的路徑。
範例
# Load a preprocessor for Gemma generation.
preprocessor = keras_hub.models.GemmaCausalLMPreprocessor.from_preset(
"gemma_2b_en",
)
# Load a preprocessor for Bert classification.
preprocessor = keras_hub.models.BertTextClassifierPreprocessor.from_preset(
"bert_base_en",
)
| 預設 | 參數 | 描述 |
|---|---|---|
| bart_base_en | 139.42M | 6 層 BART 模型，其中保留大小寫。在 BookCorpus、英文維基百科和 CommonCrawl 上訓練。 |
| bart_large_en | 406.29M | 12 層 BART 模型，其中保留大小寫。在 BookCorpus、英文維基百科和 CommonCrawl 上訓練。 |
| bart_large_en_cnn | 406.29M | 在 CNN+DM 摘要數據集上微調的 bart_large_en 主幹模型。 |
generate_preprocess 方法
BartSeq2SeqLMPreprocessor.generate_preprocess(
x, encoder_sequence_length=None, decoder_sequence_length=None, sequence_length=None
)
將編碼器和解碼器輸入字串轉換為用於生成的整數符號輸入。
類似於調用該層進行訓練，此方法會接受一個包含 "encoder_text" 和 "decoder_text" 的字典，其值為字串或張量字串，對輸入進行符號化和封裝，並計算一個填充遮罩，遮蓋所有未填充填充值的輸入。
與調用該層進行訓練不同，此方法不會計算標籤，並且永遠不會將 tokenizer.end_token_id 附加到解碼器序列的末尾（因為預期生成會在輸入的解碼器提示末尾繼續）。
generate_postprocess 方法
BartSeq2SeqLMPreprocessor.generate_postprocess(x)
將整數符號輸出轉換為用於生成的字串。
此方法會反轉 generate_preprocess()，首先移除所有填充和開始/結束符號，然後將整數序列轉換回字串。
tokenizer 屬性
keras_hub.models.BartSeq2SeqLMPreprocessor.tokenizer
用於符號化字串的斷詞器。