預處理器

[來源]

Preprocessor 類別

keras_hub.models.Preprocessor()

預處理層的基類別。

Preprocessor 層為給定任務提供完整的預處理設定。它處理標記化、音訊/圖像轉換以及任何其他必要的預處理步驟。

這個類別可以像任何 keras.layers.Layer 一樣被子類別化，方法是定義 build()、call() 和 get_config() 方法。所有子類別都應該在建構期間根據需要設定 tokenizer 或 audio_converter 或 image_converter 屬性。

[來源]

from_preset 方法

Preprocessor.from_preset(preset, config_file="preprocessor.json", **kwargs)

從模型預設集實例化一個 keras_hub.models.Preprocessor。

預設集是一個包含用於儲存和載入預訓練模型的配置、權重和其他檔案資源的目錄。 preset 可以傳遞為以下其中一種：

1. 一個內建的預設集識別碼，例如 'bert_base_en'
2. 一個 Kaggle 模型控點，例如 'kaggle://user/bert/keras/bert_base_en'
3. 一個 Hugging Face 控點，例如 'hf://user/bert_base_en'
4. 一個指向本機預設集目錄的路徑，例如 './bert_base_en'

對於任何 Preprocessor 子類別，您可以執行 cls.presets.keys() 來列出該類別上可用的所有內建預設集。

由於給定模型通常有多個預處理類別，因此應該在特定的子類別上呼叫此方法，例如 keras_hub.models.BertTextClassifierPreprocessor.from_preset()。

參數

• preset：字串。一個內建的預設集識別碼、一個 Kaggle 模型控點、一個 Hugging Face 控點或一個指向本機目錄的路徑。

範例

# Load a preprocessor for Gemma generation.
preprocessor = keras_hub.models.GemmaCausalLMPreprocessor.from_preset(
    "gemma_2b_en",
)

# Load a preprocessor for Bert classification.
preprocessor = keras_hub.models.BertTextClassifierPreprocessor.from_preset(
    "bert_base_en",
)

[來源]

save_to_preset 方法

Preprocessor.save_to_preset(preset_dir)

將預處理器儲存到預設集目錄。

參數

• preset_dir：本機模型預設集目錄的路徑。

tokenizer 屬性

keras_hub.models.Preprocessor.tokenizer

用於將字串標記化的標記器。