KerasNLP 分詞器
分詞器將原始字串輸入轉換為適合 Keras Embedding 層的整數輸入。它們還可以將預測的整數序列轉換回原始字串輸出。
所有分詞器都是 keras_nlp.tokenizers.Tokenizer 的子類別，而後者又是 keras.layers.Layer 的子類別。分詞器通常應該在 tf.data.Dataset.map 中應用於訓練，並且可以包含在 keras.Model 中用於推斷。
分詞器
WordPiece 分詞器
- WordPiece 分詞器類別
- tokenize 方法
- detokenize 方法
- get_vocabulary 方法
- vocabulary_size 方法
- token_to_id 方法
- id_to_token 方法
SentencePiece 分詞器
- SentencePiece 分詞器類別
- tokenize 方法
- detokenize 方法
- get_vocabulary 方法
- vocabulary_size 方法
- token_to_id 方法
- id_to_token 方法
BytePair 分詞器
- BytePair 分詞器類別
- tokenize 方法
- detokenize 方法
- get_vocabulary 方法
- vocabulary_size 方法
- token_to_id 方法
- id_to_token 方法
Byte 分詞器
- Byte 分詞器類別
- tokenize 方法
- detokenize 方法
- get_vocabulary 方法
- vocabulary_size 方法
- token_to_id 方法
- id_to_token 方法
Unicode 碼點分詞器
- Unicode 碼點分詞器類別
- tokenize 方法
- detokenize 方法
- get_vocabulary 方法
- vocabulary_size 方法
- token_to_id 方法
- id_to_token 方法