預處理器

[原始碼]

Preprocessor 類別

keras_hub.models.Preprocessor()

預處理層的基礎類別。

Preprocessor 層為給定的任務提供完整的預處理設定。它處理斷詞、音訊/影像轉換，以及任何其他必要的預處理步驟。

這個類別可以像任何 keras.layers.Layer 一樣進行子類化，透過定義 build()、call() 和 get_config() 方法。所有子類別都應在建構期間根據需要設定 tokenizer 或 audio_converter 或 image_converter 屬性。

[原始碼]

from_preset 方法

Preprocessor.from_preset(preset, config_file="preprocessor.json", **kwargs)

從模型預設實例化 keras_hub.models.Preprocessor。

預設是一個包含組態、權重和其他檔案資產的目錄，用於儲存和載入預訓練模型。preset 可以作為以下其中之一傳遞

1. 內建的預設識別符，例如 'bert_base_en'
2. Kaggle 模型控制碼，例如 'kaggle://user/bert/keras/bert_base_en'
3. Hugging Face 控制碼，例如 'hf://user/bert_base_en'
4. 本機預設目錄的路徑，例如 './bert_base_en'

對於任何 Preprocessor 子類別，您可以執行 cls.presets.keys() 來列出該類別上可用的所有內建預設。

由於給定模型通常有多個預處理類別，因此應在特定子類別上呼叫此方法，例如 keras_hub.models.BertTextClassifierPreprocessor.from_preset()。

引數

• preset：字串。內建的預設識別符、Kaggle 模型控制碼、Hugging Face 控制碼或本機目錄的路徑。

範例

# Load a preprocessor for Gemma generation.
preprocessor = keras_hub.models.GemmaCausalLMPreprocessor.from_preset(
    "gemma_2b_en",
)

# Load a preprocessor for Bert classification.
preprocessor = keras_hub.models.BertTextClassifierPreprocessor.from_preset(
    "bert_base_en",
)

[原始碼]

save_to_preset 方法

Preprocessor.save_to_preset(preset_dir)

將預處理器儲存到預設目錄。

引數

• preset_dir：本機模型預設目錄的路徑。

tokenizer 屬性

keras_hub.models.Preprocessor.tokenizer

用於將字串斷詞的斷詞器。