KerasHub 詞語分詞器
詞語分詞器將原始字串輸入轉換為適合 Keras Embedding 層的整數輸入。它們也可以將預測的整數序列轉換回原始字串輸出。
所有詞語分詞器都是 keras_hub.tokenizers.Tokenizer 的子類別，而 keras_hub.tokenizers.Tokenizer 本身又是 keras.layers.Layer 的子類別。詞語分詞器通常應在 tf.data.Dataset.map 中用於訓練，並且可以包含在 keras.Model 中用於推論。
詞語分詞器
WordPieceTokenizer
- WordPieceTokenizer 類別
- tokenize 方法
- detokenize 方法
- get_vocabulary 方法
- vocabulary_size 方法
- token_to_id 方法
- id_to_token 方法
SentencePieceTokenizer
- SentencePieceTokenizer 類別
- tokenize 方法
- detokenize 方法
- get_vocabulary 方法
- vocabulary_size 方法
- token_to_id 方法
- id_to_token 方法
BytePairTokenizer
- BytePairTokenizer 類別
- tokenize 方法
- detokenize 方法
- get_vocabulary 方法
- vocabulary_size 方法
- token_to_id 方法
- id_to_token 方法
ByteTokenizer
- ByteTokenizer 類別
- tokenize 方法
- detokenize 方法
- get_vocabulary 方法
- vocabulary_size 方法
- token_to_id 方法
- id_to_token 方法
UnicodeCodepointTokenizer
- UnicodeCodepointTokenizer 類別
- tokenize 方法
- detokenize 方法
- get_vocabulary 方法
- vocabulary_size 方法
- token_to_id 方法
- id_to_token 方法