預處理器

[原始碼]

Preprocessor 類別

keras_hub.models.Preprocessor()

預處理層的基礎類別。

Preprocessor 層為特定任務提供完整的預處理設定。它處理詞語切割、音訊/影像轉換，以及任何其他必要的預處理步驟。

這個類別可以像任何 keras.layers.Layer 一樣被子類別化，透過定義 build()、call() 和 get_config() 方法。所有子類別都應在建構期間根據需要設定 tokenizer 或 audio_converter 或 image_converter 屬性。

[原始碼]

from_preset 方法

Preprocessor.from_preset(preset, config_file="preprocessor.json", **kwargs)

從模型預設 (preset) 實例化 keras_hub.models.Preprocessor。

預設 (preset) 是一個包含配置 (configs)、權重 (weights) 和其他檔案資源的目錄，用於儲存和載入預訓練模型。preset 可以作為以下其中一種傳遞：

1. 內建預設識別符，例如 'bert_base_en'
2. Kaggle Models 控制代碼，例如 'kaggle://user/bert/keras/bert_base_en'
3. Hugging Face 控制代碼，例如 'hf://user/bert_base_en'
4. 本地預設目錄的路徑，例如 './bert_base_en'

對於任何 Preprocessor 子類別，您可以執行 cls.presets.keys() 來列出該類別上所有可用的內建預設 (preset)。

由於給定模型通常有多個預處理類別，因此此方法應在特定的子類別上呼叫，例如 keras_hub.models.BertTextClassifierPreprocessor.from_preset()。

參數

• preset：字串。內建預設識別符、Kaggle Models 控制代碼、Hugging Face 控制代碼，或本地目錄的路徑。

範例

# Load a preprocessor for Gemma generation.
preprocessor = keras_hub.models.CausalLMPreprocessor.from_preset(
    "gemma_2b_en",
)

# Load a preprocessor for Bert classification.
preprocessor = keras_hub.models.TextClassifierPreprocessor.from_preset(
    "bert_base_en",
)

[原始碼]

save_to_preset 方法

Preprocessor.save_to_preset(preset_dir)

將預處理器儲存到預設 (preset) 目錄。

參數

• preset_dir：本地模型預設 (preset) 目錄的路徑。

tokenizer 屬性

keras_hub.models.Preprocessor.tokenizer

用於詞語切割字串的分詞器。