Phi3CausalLMPreprocessor 層
Phi3CausalLMPreprocessor 類別
keras_nlp.models.Phi3CausalLMPreprocessor(
tokenizer, sequence_length=1024, add_start_token=True, add_end_token=True, **kwargs
)
Phi3 因果語言模型預處理器。
此預處理層旨在與 keras_nlp.models.Phi3CausalLM 搭配使用。預設情況下，它會接收批次的字串，並以 (x, y, sample_weight) 格式返回輸出，其中 y 標籤是 x 序列中的下一個權杖 ID。
為了用於生成，該層還公開了兩個方法 generate_preprocess() 和 generate_postprocess()。當此預處理器附加到 keras_nlp.models.Phi3CausalLM 實例時，這些方法將在 generate() 中隱式調用。它們也可以單獨調用（例如，在單獨的進程中預先計算生成所需的預處理輸入）。
參數
- tokenizer：一個
keras_nlp.models.Phi3Tokenizer實例。 - sequence_length：打包輸入的長度。
- add_start_token：如果為
True，則預處理器會將分詞器的起始權杖添加到每個輸入序列的開頭。預設值為True。 - add_end_token：如果為
True，則預處理器會將分詞器的結束權杖添加到每個輸入序列的結尾。預設值為False。
呼叫參數
- x：一個字串、
tf.Tensor或 Python 字串列表。 - y：標籤資料。由於該層會生成標籤，因此應始終為
None。 - sample_weight：標籤權重。由於該層會生成標籤權重，因此應始終為
None。 - sequence_length：傳遞以覆蓋該層配置的
sequence_length。
範例
# Load the preprocessor from a preset.
preprocessor = keras_nlp.models.Phi3CausalLMPreprocessor.from_preset(
"phi3_mini_4k_instruct_en"
)
# Tokenize and pack a single sentence.
sentence = tf.constant("League of legends")
preprocessor(sentence)
# Same output.
preprocessor("League of legends")
# Tokenize a batch of sentences.
sentences = tf.constant(["Taco tuesday", "Fish taco please!"])
preprocessor(sentences)
# Same output.
preprocessor(["Taco tuesday", "Fish taco please!"])
# Map a dataset to preprocess a single sentence.
features = tf.constant(
[
"Avatar 2 is amazing!",
"Well, I am not sure.",
]
)
labels = tf.constant([1, 0])
ds = tf.data.Dataset.from_tensor_slices((features, labels))
ds = ds.map(preprocessor, num_parallel_calls=tf.data.AUTOTUNE)
# Map a dataset to preprocess unlabled sentences.
ds = tf.data.Dataset.from_tensor_slices(features)
ds = ds.map(preprocessor, num_parallel_calls=tf.data.AUTOTUNE)
from_preset 方法
Phi3CausalLMPreprocessor.from_preset(preset, **kwargs)
從模型預設值實例化一個 keras_nlp.models.Preprocessor。
預設集是一個包含設定檔、權重和其他檔案資源的目錄，用於儲存和載入預先訓練好的模型。preset 可以傳遞為以下其中一種：
- 內建的預設集識別碼，例如
'bert_base_en' - Kaggle 模型控制代碼，例如
'kaggle://user/bert/keras/bert_base_en' - Hugging Face 控制代碼，例如
'hf://user/bert_base_en' - 本機預設集目錄的路徑，例如
'./bert_base_en'
對於任何 Preprocessor 子類別，您可以執行 cls.presets.keys() 來列出該類別上所有可用的內建預設集。
由於給定的模型通常有多個預處理類別，因此應該在特定的子類別上呼叫此方法，例如 keras_nlp.models.BertTextClassifierPreprocessor.from_preset()。
參數
- preset：字串。內建的預設集識別碼、Kaggle 模型控制代碼、Hugging Face 控制代碼或本機目錄的路徑。
範例
# Load a preprocessor for Gemma generation.
preprocessor = keras_nlp.models.GemmaCausalLMPreprocessor.from_preset(
"gemma_2b_en",
)
# Load a preprocessor for Bert classification.
preprocessor = keras_nlp.models.BertTextClassifierPreprocessor.from_preset(
"bert_base_en",
)
| 預設集名稱 | 參數 | 說明 |
|---|---|---|
| phi3_mini_4k_instruct_en | 3.82B | 38 億個參數、32 層、4k 上下文長度、Phi-3 模型。該模型使用 Phi-3 資料集進行訓練。此資料集包含合成資料和過濾後的公開網站資料，著重於高品質和推理密集的屬性。 |
| phi3_mini_128k_instruct_en | 3.82B | 38 億個參數、32 層、128k 上下文長度、Phi-3 模型。該模型使用 Phi-3 資料集進行訓練。此資料集包含合成資料和過濾後的公開網站資料，著重於高品質和推理密集的屬性。 |
tokenizer 屬性
keras_nlp.models.Phi3CausalLMPreprocessor.tokenizer
用於將字串標記化的標記器。