預處理器

[來源]

Preprocessor 類別

keras_nlp.models.Preprocessor()

預處理層的基類別。

Preprocessor 層會包裝一個 keras_nlp.tokenizer.Tokenizer，為特定任務提供完整的預處理設定。例如，遮罩語言建模預處理器會接收原始輸入字串，並輸出 (x, y, sample_weight) 元組。其中 x 包含一些標記 ID 序列，

這個類別可以像任何 keras.layers.Layer 一樣被繼承，方法是定義 build()、call() 和 get_config() 方法。所有子類別都應該在建構時設定 tokenizer 屬性。

[來源]

from_preset 方法

Preprocessor.from_preset(preset, **kwargs)

從模型預設集建立一個 keras_nlp.models.Preprocessor 的實例。

預設集是一個包含設定、權重和其他檔案資源的目錄，用於儲存和載入預先訓練的模型。preset 可以傳入以下其中一種：

1. 內建預設集識別碼，例如 'bert_base_en'
2. Kaggle 模型控制代碼，例如 'kaggle://user/bert/keras/bert_base_en'
3. Hugging Face 控制代碼，例如 'hf://user/bert_base_en'
4. 本機預設集目錄的路徑，例如 './bert_base_en'

對於任何 Preprocessor 子類別，您可以執行 cls.presets.keys() 來列出該類別可用的所有內建預設集。

由於一個模型通常有多個預處理類別，因此應該在特定的子類別上呼叫這個方法，例如 keras_nlp.models.BertTextClassifierPreprocessor.from_preset()。

參數

• preset：字串。內建預設集識別碼、Kaggle 模型控制代碼、Hugging Face 控制代碼或本機目錄的路徑。

範例

# Load a preprocessor for Gemma generation.
preprocessor = keras_nlp.models.GemmaCausalLMPreprocessor.from_preset(
    "gemma_2b_en",
)

# Load a preprocessor for Bert classification.
preprocessor = keras_nlp.models.BertTextClassifierPreprocessor.from_preset(
    "bert_base_en",
)

[來源]

save_to_preset 方法

Preprocessor.save_to_preset(preset_dir)

將預處理器儲存到預設集目錄。

參數

• preset_dir：本機模型預設集目錄的路徑。

tokenizer 屬性

keras_nlp.models.Preprocessor.tokenizer

用於將字串分詞化的分詞器。