► KerasHub：預訓練模型 / API 文件 / 模型架構 / PaliGemma / PaliGemmaCausalLMPreprocessor 層

PaliGemmaCausalLMPreprocessor 層

[原始碼]

PaliGemmaCausalLMPreprocessor 類別

keras_hub.models.PaliGemmaCausalLMPreprocessor(
    tokenizer,
    image_converter=None,
    sequence_length=1024,
    add_start_token=True,
    add_end_token=True,
    **kwargs
)

因果語言建模預處理層的基底類別。

CausalLMPreprocessor 任務包裝了 keras_hub.tokenizer.Tokenizer，以建立用於因果語言建模任務的預處理層。它旨在與 keras.models.CausalLM 任務配對使用。

所有的 CausalLMPreprocessor 都接受單一輸入作為輸入。這可以是單一字串或一批字串。請參閱以下範例。這些輸入將會被 Token 化，並填充/截斷至固定序列長度。

此層將始終輸出一個 (x, y, sample_weight) 元組，其中 x 是一個包含 Token 化輸入的字典，y 包含來自 x 偏移 1 的 Token，而 sample_weight 標記了 y 包含填充值的位置。x 的確切內容將根據所使用的模型而有所不同。

`CausalLMPreprocessor` 包含兩個額外的方法，generate_preprocess 和 generate_postprocess，用於生成。請參閱以下範例。

所有的 CausalLMPreprocessor 任務都包含一個 from_preset() 建構子，可用於載入預訓練的配置和詞彙表。您可以直接在這個基底類別上呼叫 from_preset() 建構子，在這種情況下，您模型的正確類別將會被自動實例化。

範例。

preprocessor = keras_hub.models.CausalLMPreprocessor.from_preset(
    "bert_base_en_uncased",
    sequence_length=256, # Optional.
)

# Tokenize, mask and pack a single sentence.
x = "The quick brown fox jumped."
x, y, sample_weight = preprocessor(x)

# Tokenize and pad/truncate a batch of labeled sentences.
x = ["The quick brown fox jumped.", "Call me Ishmael."]
x, y, sample_weight = preprocessor(x)

# With a [`tf.data.Dataset`](https://tensorflow.dev.org.tw/api_docs/python/tf/data/Dataset).
ds = tf.data.Dataset.from_tensor_slices(x)
ds = ds.map(preprocessor, num_parallel_calls=tf.data.AUTOTUNE)

# Generate preprocess and postprocess.
x = preprocessor.generate_preprocess(x)  # Tokenized numeric inputs.
x = preprocessor.generate_postprocess(x)  # Detokenized string outputs.

[原始碼]

from_preset 方法

PaliGemmaCausalLMPreprocessor.from_preset(
    preset, config_file="preprocessor.json", **kwargs
)

從模型預設集實例化一個 keras_hub.models.Preprocessor。

預設集是一個包含配置、權重和其他檔案資產的目錄，用於儲存和載入預訓練模型。預設集可以作為以下其中之一傳遞：

  1. 內建預設集識別符，例如 'bert_base_en'
  2. Kaggle Models handle，例如 'kaggle://user/bert/keras/bert_base_en'
  3. Hugging Face handle，例如 'hf://user/bert_base_en'
  4. 本機預設集目錄的路徑，例如 './bert_base_en'

對於任何 Preprocessor 子類別，您可以執行 cls.presets.keys() 以列出該類別上所有可用的內建預設集。

由於給定模型通常有多個預處理類別，因此此方法應在特定的子類別上呼叫，例如 keras_hub.models.BertTextClassifierPreprocessor.from_preset()。

參數

  • preset：字串。內建預設集識別符、Kaggle Models handle、Hugging Face handle 或本機目錄的路徑。

範例

# Load a preprocessor for Gemma generation.
preprocessor = keras_hub.models.CausalLMPreprocessor.from_preset(
    "gemma_2b_en",
)

# Load a preprocessor for Bert classification.
preprocessor = keras_hub.models.TextClassifierPreprocessor.from_preset(
    "bert_base_en",
)
預設集 參數 描述
pali_gemma_3b_mix_224 2.92B 影像尺寸 224，混合微調，文字序列長度為 256
pali_gemma_3b_224 2.92B 影像尺寸 224，預訓練，文字序列長度為 128
pali_gemma_3b_mix_448 2.92B 影像尺寸 448，混合微調，文字序列長度為 512
pali_gemma_3b_448 2.92B 影像尺寸 448，預訓練，文字序列長度為 512
pali_gemma_3b_896 2.93B 影像尺寸 896，預訓練，文字序列長度為 512
pali_gemma2_mix_3b_224 3.03B 30 億參數，影像尺寸 224，SigLIP-So400m 視覺編碼器為 27 層，Gemma2 2B 語言模型為 26 層。此模型已在各種視覺語言任務和領域上進行微調。
pali_gemma2_pt_3b_224 3.03B 30 億參數，影像尺寸 224，SigLIP-So400m 視覺編碼器為 27 層，Gemma2 2B 語言模型為 26 層。此模型已在資料集混合上進行預訓練。
pali_gemma_2_ft_docci_3b_448 3.03B 30 億參數，影像尺寸 448，SigLIP-So400m 視覺編碼器為 27 層，Gemma2 2B 語言模型為 26 層。此模型已在 DOCCI 資料集上進行微調，以改進具有精細細節的描述。
pali_gemma2_mix_3b_448 3.03B 30 億參數，影像尺寸 448，SigLIP-So400m 視覺編碼器為 27 層，Gemma2 2B 語言模型為 26 層。此模型已在各種視覺語言任務和領域上進行微調。
pali_gemma2_pt_3b_448 3.03B 30 億參數，影像尺寸 448，SigLIP-So400m 視覺編碼器為 27 層，Gemma2 2B 語言模型為 26 層。此模型已在資料集混合上進行預訓練。
pali_gemma2_pt_3b_896 3.04B 30 億參數，影像尺寸 896，SigLIP-So400m 視覺編碼器為 27 層，Gemma2 2B 語言模型為 26 層。此模型已在資料集混合上進行預訓練。
pali_gemma2_mix_10b_224 9.66B 100 億參數，影像尺寸 224，SigLIP-So400m 視覺編碼器為 27 層，Gemma2 9B 語言模型為 42 層。此模型已在各種視覺語言任務和領域上進行微調。
pali_gemma2_pt_10b_224 9.66B 100 億參數，影像尺寸 224，SigLIP-So400m 視覺編碼器為 27 層，Gemma2 9B 語言模型為 42 層。此模型已在資料集混合上進行預訓練。
pali_gemma2_ft_docci_10b_448 9.66B 100 億參數，SigLIP-So400m 視覺編碼器為 27 層，Gemma2 9B 語言模型為 42 層。此模型已在 DOCCI 資料集上進行微調，以改進具有精細細節的描述。
pali_gemma2_mix_10b_448 9.66B 100 億參數，影像尺寸 448，SigLIP-So400m 視覺編碼器為 27 層，Gemma2 9B 語言模型為 42 層。此模型已在各種視覺語言任務和領域上進行微調。
pali_gemma2_pt_10b_448 9.66B 100 億參數，影像尺寸 448，SigLIP-So400m 視覺編碼器為 27 層，Gemma2 9B 語言模型為 42 層。此模型已在資料集混合上進行預訓練。
pali_gemma2_pt_10b_896 9.67B 100 億參數，影像尺寸 896，SigLIP-So400m 視覺編碼器為 27 層，Gemma2 9B 語言模型為 42 層。此模型已在資料集混合上進行預訓練。
pali_gemma2_mix_28b_224 27.65B 280 億參數，影像尺寸 224，SigLIP-So400m 視覺編碼器為 27 層，Gemma2 27B 語言模型為 46 層。此模型已在各種視覺語言任務和領域上進行微調。
pali_gemma2_mix_28b_448 27.65B 280 億參數，影像尺寸 448，SigLIP-So400m 視覺編碼器為 27 層，Gemma2 27B 語言模型為 46 層。此模型已在各種視覺語言任務和領域上進行微調。
pali_gemma2_pt_28b_224 27.65B 280 億參數，影像尺寸 224，SigLIP-So400m 視覺編碼器為 27 層，Gemma2 27B 語言模型為 46 層。此模型已在資料集混合上進行預訓練。
pali_gemma2_pt_28b_448 27.65B 280 億參數，影像尺寸 448，SigLIP-So400m 視覺編碼器為 27 層，Gemma2 27B 語言模型為 46 層。此模型已在資料集混合上進行預訓練。
pali_gemma2_pt_28b_896 27.65B 280 億參數，影像尺寸 896，SigLIP-So400m 視覺編碼器為 27 層，Gemma2 27B 語言模型為 46 層。此模型已在資料集混合上進行預訓練。

tokenizer 屬性

keras_hub.models.PaliGemmaCausalLMPreprocessor.tokenizer

用於 Token 化字串的 Tokenizer。

PaliGemmaCausalLMPreprocessor 層
PaliGemmaCausalLMPreprocessor 類別
from_preset 方法
tokenizer 屬性