



import os
import pickle
import unittest

from transformers import AutoTokenizer
from transformers.models.bert.tokenization_bert import BertTokenizer
from transformers.models.bert_japanese.tokenization_bert_japanese import (
    VOCAB_FILES_NAMES,
    BertJapaneseTokenizer,
    CharacterTokenizer,
    JumanppTokenizer,
    MecabTokenizer,
    SudachiTokenizer,
    WordpieceTokenizer,
)
from transformers.testing_utils import custom_tokenizers, require_jumanpp, require_sudachi

from ...test_tokenization_common import TokenizerTesterMixin






@custom_tokenizers
class 	__snake_case	(     _a  ,					unittest.TestCase):
  snake_case__    :       str        =						BertJapaneseTokenizer
  snake_case__    :       Tuple        =						False
  snake_case__    :       Optional[int]        =						True




  def 						SCREAMING_SNAKE_CASE    (			self					:						int		):






         """simple docstring"""






         super().setUp()

         _lowerCamelCase						:    List[str]         =			[
             "[UNK]",
             "[CLS]",
             "[SEP]",
             "こんにちは",
             "こん",
             "にちは",
             "ばんは",
             "##こん",
             "##にちは",
             "##ばんは",
             "世界",
             "##世界",
             "、",
             "##、",
             "。",
             "##。",
         ]

         _lowerCamelCase						:    Union[str, Any]         =			os.path.join(self.tmpdirname						, VOCAB_FILES_NAMES['''vocab_file''']		)
         with open(self.vocab_file						, '''w'''						, encoding='''utf-8'''		) as vocab_writer:
                vocab_writer.write(''''''.join([x + '''\n''' for x in vocab_tokens]		)		)




  def 						SCREAMING_SNAKE_CASE    (			self					:						Dict						, __lowerCAmelCase					:						Dict		):






         """simple docstring"""






         _lowerCamelCase						:    Tuple         =			"こんにちは、世界。 \nこんばんは、世界。"
         _lowerCamelCase						:    Tuple         =			"こんにちは 、 世界 。 こんばんは 、 世界 。"
         return input_text, output_text




  def 						SCREAMING_SNAKE_CASE    (			self					:						str						, __lowerCAmelCase					:						Optional[Any]		):






         """simple docstring"""






         _lowerCamelCase						:    List[Any]         =			self.get_input_output_texts(_a		)
         _lowerCamelCase						:    Optional[int]         =			tokenizer.encode(_a						, add_special_tokens=_a		)
         _lowerCamelCase						:    Optional[Any]         =			tokenizer.decode(_a						, clean_up_tokenization_spaces=_a		)
         return text, ids




  def 						SCREAMING_SNAKE_CASE    (			self					:						List[str]		):






         """simple docstring"""






         pass  # TODO add if relevant




  def 						SCREAMING_SNAKE_CASE    (			self					:						Optional[int]		):






         """simple docstring"""






         pass  # TODO add if relevant




  def 						SCREAMING_SNAKE_CASE    (			self					:						Optional[Any]		):






         """simple docstring"""






         pass  # TODO add if relevant




  def 						SCREAMING_SNAKE_CASE    (			self					:						Optional[int]		):






         """simple docstring"""






         _lowerCamelCase						:    List[Any]         =			self.tokenizer_class(self.vocab_file		)

         _lowerCamelCase						:    int         =			tokenizer.tokenize('''こんにちは、世界。\nこんばんは、世界。'''		)
         self.assertListEqual(_a						, ['''こんにちは''', '''、''', '''世界''', '''。''', '''こん''', '''##ばんは''', '''、''', '''世界''', '''。''']		)
         self.assertListEqual(tokenizer.convert_tokens_to_ids(_a		)						, [3, 1_2, 1_0, 1_4, 4, 9, 1_2, 1_0, 1_4]		)




  def 						SCREAMING_SNAKE_CASE    (			self					:						Optional[Any]		):






         """simple docstring"""






         _lowerCamelCase						:    Any         =			self.tokenizer_class(self.vocab_file						, word_tokenizer_type='''mecab'''		)
         self.assertIsNotNone(_a		)

         _lowerCamelCase						:    List[Any]         =			"こんにちは、世界。\nこんばんは、世界。"
         _lowerCamelCase						:    Any         =			tokenizer.tokenize(_a		)
         self.assertListEqual(_a						, ['''こんにちは''', '''、''', '''世界''', '''。''', '''こん''', '''##ばんは''', '''、''', '''世界''', '''。''']		)
         self.assertListEqual(tokenizer.convert_tokens_to_ids(_a		)						, [3, 1_2, 1_0, 1_4, 4, 9, 1_2, 1_0, 1_4]		)

         _lowerCamelCase						:    Optional[int]         =			os.path.join(self.tmpdirname						, '''tokenizer.bin'''		)
         with open(_a						, '''wb'''		) as handle:
                pickle.dump(_a						, _a		)

         with open(_a						, '''rb'''		) as handle:
                _lowerCamelCase						:    Optional[int]         =			pickle.load(_a		)

         _lowerCamelCase						:    Optional[int]         =			tokenizer_new.tokenize(_a		)

         self.assertListEqual(_a						, _a		)




  def 						SCREAMING_SNAKE_CASE    (			self					:						Tuple		):






         """simple docstring"""






         _lowerCamelCase						:    Dict         =			MecabTokenizer(mecab_dic='''ipadic'''		)

         self.assertListEqual(
             tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)						, ['''アップルストア''', '''で''', '''iPhone''', '''8''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''。''']						, )




  def 						SCREAMING_SNAKE_CASE    (			self					:						Union[str, Any]		):






         """simple docstring"""






         try:
                _lowerCamelCase						:    Dict         =			MecabTokenizer(mecab_dic='''unidic_lite'''		)
         except ModuleNotFoundError:
                return

         self.assertListEqual(
             tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)						, ['''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''。''']						, )




  def 						SCREAMING_SNAKE_CASE    (			self					:						Union[str, Any]		):






         """simple docstring"""






         try:
                _lowerCamelCase						:    Optional[int]         =			MecabTokenizer(mecab_dic='''unidic'''		)
         except ModuleNotFoundError:
                return

         self.assertListEqual(
             tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)						, ['''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''。''']						, )




  def 						SCREAMING_SNAKE_CASE    (			self					:						List[Any]		):






         """simple docstring"""






         _lowerCamelCase						:    Union[str, Any]         =			MecabTokenizer(do_lower_case=_a						, mecab_dic='''ipadic'''		)

         self.assertListEqual(
             tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)						, ['''アップルストア''', '''で''', '''iphone''', '''8''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''。''']						, )




  def 						SCREAMING_SNAKE_CASE    (			self					:						int		):






         """simple docstring"""






         try:
                _lowerCamelCase						:    List[Any]         =			MecabTokenizer(
                    do_lower_case=_a						, normalize_text=_a						, mecab_option='''-d /usr/local/lib/mecab/dic/jumandic'''		)
         except RuntimeError:
                # if dict doesn't exist in the system, previous code raises this error.
                return

         self.assertListEqual(
             tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)						, ['''ｱｯﾌﾟﾙストア''', '''で''', '''iPhone''', '''８''', '''が''', '''発売''', '''さ''', '''れた''', '''\u3000''', '''。''']						, )




  def 						SCREAMING_SNAKE_CASE    (			self					:						Optional[int]		):






         """simple docstring"""






         _lowerCamelCase						:    List[Any]         =			MecabTokenizer(normalize_text=_a						, mecab_dic='''ipadic'''		)

         self.assertListEqual(
             tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)						, ['''ｱｯﾌﾟﾙストア''', '''で''', '''iPhone''', '''８''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''　''', '''。''']						, )




  @require_sudachi
  def 						SCREAMING_SNAKE_CASE    (			self					:						Optional[Any]		):






         """simple docstring"""






         _lowerCamelCase						:    Dict         =			self.tokenizer_class(self.vocab_file						, word_tokenizer_type='''sudachi'''		)
         self.assertIsNotNone(_a		)

         _lowerCamelCase						:    Tuple         =			"こんにちは、世界。\nこんばんは、世界。"
         _lowerCamelCase						:    int         =			tokenizer.tokenize(_a		)
         self.assertListEqual(_a						, ['''こんにちは''', '''、''', '''世界''', '''。''', '''こん''', '''##ばんは''', '''、''', '''世界''', '''。''']		)
         self.assertListEqual(tokenizer.convert_tokens_to_ids(_a		)						, [3, 1_2, 1_0, 1_4, 4, 9, 1_2, 1_0, 1_4]		)

         _lowerCamelCase						:    List[Any]         =			os.path.join(self.tmpdirname						, '''tokenizer.bin'''		)
         with open(_a						, '''wb'''		) as handle:
                pickle.dump(_a						, _a		)

         with open(_a						, '''rb'''		) as handle:
                _lowerCamelCase						:    str         =			pickle.load(_a		)

         _lowerCamelCase						:    Tuple         =			tokenizer_new.tokenize(_a		)

         self.assertListEqual(_a						, _a		)




  @require_sudachi
  def 						SCREAMING_SNAKE_CASE    (			self					:						Union[str, Any]		):






         """simple docstring"""






         _lowerCamelCase						:    Tuple         =			SudachiTokenizer(sudachi_dict_type='''core'''		)

         self.assertListEqual(
             tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)						, [''' ''', '''\t''', '''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', ''' ''', '''が''', ''' ''', ''' ''', '''\n ''', '''発売''', '''さ''', '''れ''', '''た''', ''' ''', '''。''', ''' ''', ''' ''']						, )




  @require_sudachi
  def 						SCREAMING_SNAKE_CASE    (			self					:						Dict		):






         """simple docstring"""






         _lowerCamelCase						:    str         =			SudachiTokenizer(sudachi_dict_type='''core'''						, sudachi_split_mode='''A'''		)

         self.assertListEqual(tokenizer.tokenize('''外国人参政権'''		)						, ['''外国''', '''人''', '''参政''', '''権''']		)




  @require_sudachi
  def 						SCREAMING_SNAKE_CASE    (			self					:						Tuple		):






         """simple docstring"""






         _lowerCamelCase						:    Dict         =			SudachiTokenizer(sudachi_dict_type='''core'''						, sudachi_split_mode='''B'''		)

         self.assertListEqual(tokenizer.tokenize('''外国人参政権'''		)						, ['''外国人''', '''参政権''']		)




  @require_sudachi
  def 						SCREAMING_SNAKE_CASE    (			self					:						Union[str, Any]		):






         """simple docstring"""






         _lowerCamelCase						:    str         =			SudachiTokenizer(sudachi_dict_type='''core'''						, sudachi_split_mode='''C'''		)

         self.assertListEqual(tokenizer.tokenize('''外国人参政権'''		)						, ['''外国人参政権''']		)




  @require_sudachi
  def 						SCREAMING_SNAKE_CASE    (			self					:						Any		):






         """simple docstring"""






         _lowerCamelCase						:    Any         =			SudachiTokenizer(do_lower_case=_a						, sudachi_dict_type='''core'''		)

         self.assertListEqual(
             tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)						, [''' ''', '''\t''', '''アップル''', '''ストア''', '''で''', '''iphone''', '''8''', ''' ''', '''が''', ''' ''', ''' ''', '''\n ''', '''発売''', '''さ''', '''れ''', '''た''', ''' ''', '''。''', ''' ''', ''' ''']						, )




  @require_sudachi
  def 						SCREAMING_SNAKE_CASE    (			self					:						Optional[int]		):






         """simple docstring"""






         _lowerCamelCase						:    int         =			SudachiTokenizer(normalize_text=_a						, sudachi_dict_type='''core'''		)

         self.assertListEqual(
             tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)						, [''' ''', '''\t''', '''ｱｯﾌﾟﾙ''', '''ストア''', '''で''', '''iPhone''', '''８''', ''' ''', '''が''', ''' ''', ''' ''', '''\n ''', '''発売''', '''さ''', '''れ''', '''た''', '''\u3000''', '''。''', ''' ''', ''' ''']						, )




  @require_sudachi
  def 						SCREAMING_SNAKE_CASE    (			self					:						Union[str, Any]		):






         """simple docstring"""






         _lowerCamelCase						:    List[Any]         =			SudachiTokenizer(trim_whitespace=_a						, sudachi_dict_type='''core'''		)

         self.assertListEqual(
             tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)						, ['''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''。''']						, )




  @require_jumanpp
  def 						SCREAMING_SNAKE_CASE    (			self					:						List[Any]		):






         """simple docstring"""






         _lowerCamelCase						:    str         =			self.tokenizer_class(self.vocab_file						, word_tokenizer_type='''jumanpp'''		)
         self.assertIsNotNone(_a		)

         _lowerCamelCase						:    Any         =			"こんにちは、世界。\nこんばんは、世界。"
         _lowerCamelCase						:    Optional[Any]         =			tokenizer.tokenize(_a		)
         self.assertListEqual(_a						, ['''こんにちは''', '''、''', '''世界''', '''。''', '''こん''', '''##ばんは''', '''、''', '''世界''', '''。''']		)
         self.assertListEqual(tokenizer.convert_tokens_to_ids(_a		)						, [3, 1_2, 1_0, 1_4, 4, 9, 1_2, 1_0, 1_4]		)

         _lowerCamelCase						:    Dict         =			os.path.join(self.tmpdirname						, '''tokenizer.bin'''		)
         with open(_a						, '''wb'''		) as handle:
                pickle.dump(_a						, _a		)

         with open(_a						, '''rb'''		) as handle:
                _lowerCamelCase						:    str         =			pickle.load(_a		)

         _lowerCamelCase						:    int         =			tokenizer_new.tokenize(_a		)

         self.assertListEqual(_a						, _a		)




  @require_jumanpp
  def 						SCREAMING_SNAKE_CASE    (			self					:						str		):






         """simple docstring"""






         _lowerCamelCase						:    Optional[int]         =			JumanppTokenizer()

         self.assertListEqual(
             tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)						, ['''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', '''\u3000''', '''が''', '''\u3000''', '''\u3000''', '''\u3000''', '''発売''', '''さ''', '''れた''', '''\u3000''', '''。''']						, )




  @require_jumanpp
  def 						SCREAMING_SNAKE_CASE    (			self					:						List[Any]		):






         """simple docstring"""






         _lowerCamelCase						:    List[Any]         =			JumanppTokenizer(do_lower_case=_a		)

         self.assertListEqual(
             tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)						, ['''アップル''', '''ストア''', '''で''', '''iphone''', '''8''', '''\u3000''', '''が''', '''\u3000''', '''\u3000''', '''\u3000''', '''発売''', '''さ''', '''れた''', '''\u3000''', '''。''']						, )




  @require_jumanpp
  def 						SCREAMING_SNAKE_CASE    (			self					:						Optional[Any]		):






         """simple docstring"""






         _lowerCamelCase						:    List[Any]         =			JumanppTokenizer(normalize_text=_a		)

         self.assertListEqual(
             tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)						, ['''ｱ''', '''ｯ''', '''ﾌ''', '''ﾟ''', '''ﾙ''', '''ストア''', '''で''', '''iPhone''', '''８''', '''\u3000''', '''が''', '''\u3000''', '''\u3000''', '''\u3000''', '''発売''', '''さ''', '''れた''', '''\u3000''', '''。''']						, )




  @require_jumanpp
  def 						SCREAMING_SNAKE_CASE    (			self					:						Any		):






         """simple docstring"""






         _lowerCamelCase						:    Any         =			JumanppTokenizer(trim_whitespace=_a		)

         self.assertListEqual(
             tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)						, ['''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', '''が''', '''発売''', '''さ''', '''れた''', '''。''']						, )




  @require_jumanpp
  def 						SCREAMING_SNAKE_CASE    (			self					:						List[Any]		):






         """simple docstring"""






         _lowerCamelCase						:    Optional[int]         =			JumanppTokenizer()

         self.assertListEqual(
             tokenizer.tokenize('''ありがとうございますm(_ _)ｍ見つけるのが大変です。'''		)						, ['''ありがとう''', '''ございます''', '''m(_ _)m''', '''見つける''', '''の''', '''が''', '''大変です''', '''。''']						, )




  def 						SCREAMING_SNAKE_CASE    (			self					:						Any		):






         """simple docstring"""






         _lowerCamelCase						:    Dict         =			["[UNK]", "[CLS]", "[SEP]", "こんにちは", "こん", "にちは", "ばんは", "##こん", "##にちは", "##ばんは"]

         _lowerCamelCase						:    Any         =			{}
         for i, token in enumerate(_a		):
                _lowerCamelCase						:    List[Any]         =			i
         _lowerCamelCase						:    int         =			WordpieceTokenizer(vocab=_a						, unk_token='''[UNK]'''		)

         self.assertListEqual(tokenizer.tokenize(''''''		)						, []		)

         self.assertListEqual(tokenizer.tokenize('''こんにちは'''		)						, ['''こんにちは''']		)

         self.assertListEqual(tokenizer.tokenize('''こんばんは'''		)						, ['''こん''', '''##ばんは''']		)

         self.assertListEqual(tokenizer.tokenize('''こんばんは こんばんにちは こんにちは'''		)						, ['''こん''', '''##ばんは''', '''[UNK]''', '''こんにちは''']		)




  def 						SCREAMING_SNAKE_CASE    (			self					:						Union[str, Any]		):






         """simple docstring"""






         _lowerCamelCase						:    str         =			BertJapaneseTokenizer.from_pretrained('''nlp-waseda/roberta-base-japanese-with-auto-jumanpp'''		)
         _lowerCamelCase						:    Any         =			tokenizer.subword_tokenizer

         _lowerCamelCase						:    Optional[int]         =			subword_tokenizer.tokenize('''国境 の 長い トンネル を 抜ける と 雪国 であった 。'''		)
         self.assertListEqual(_a						, ['''▁国境''', '''▁の''', '''▁長い''', '''▁トンネル''', '''▁を''', '''▁抜ける''', '''▁と''', '''▁雪''', '''国''', '''▁であった''', '''▁。''']		)

         _lowerCamelCase						:    Union[str, Any]         =			subword_tokenizer.tokenize('''こんばんは こんばん にち は こんにちは'''		)
         self.assertListEqual(_a						, ['''▁こん''', '''ばん''', '''は''', '''▁こん''', '''ばん''', '''▁に''', '''ち''', '''▁は''', '''▁こんにちは''']		)




  def 						SCREAMING_SNAKE_CASE    (			self					:						List[Any]		):






         """simple docstring"""






         _lowerCamelCase						:    str         =			self.tokenizer_class.from_pretrained('''cl-tohoku/bert-base-japanese'''		)

         _lowerCamelCase						:    List[str]         =			tokenizer.encode('''ありがとう。'''						, add_special_tokens=_a		)
         _lowerCamelCase						:    List[Any]         =			tokenizer.encode('''どういたしまして。'''						, add_special_tokens=_a		)

         _lowerCamelCase						:    str         =			tokenizer.build_inputs_with_special_tokens(_a		)
         _lowerCamelCase						:    List[str]         =			tokenizer.build_inputs_with_special_tokens(_a						, _a		)

         # 2 is for "[CLS]", 3 is for "[SEP]"
         assert encoded_sentence == [2] + text + [3]
         assert encoded_pair == [2] + text + [3] + text_a + [3]






@custom_tokenizers
class 	__snake_case	(     _a  ,					unittest.TestCase):
  snake_case__    :       List[str]        =						BertJapaneseTokenizer
  snake_case__    :       int        =						False




  def 						SCREAMING_SNAKE_CASE    (			self					:						int		):






         """simple docstring"""






         super().setUp()

         _lowerCamelCase						:    List[Any]         =			["[UNK]", "[CLS]", "[SEP]", "こ", "ん", "に", "ち", "は", "ば", "世", "界", "、", "。"]

         _lowerCamelCase						:    Optional[int]         =			os.path.join(self.tmpdirname						, VOCAB_FILES_NAMES['''vocab_file''']		)
         with open(self.vocab_file						, '''w'''						, encoding='''utf-8'''		) as vocab_writer:
                vocab_writer.write(''''''.join([x + '''\n''' for x in vocab_tokens]		)		)




  def 						SCREAMING_SNAKE_CASE    (			self					:						Any						, **__lowerCAmelCase					:						List[Any]		):






         """simple docstring"""






         return BertJapaneseTokenizer.from_pretrained(self.tmpdirname						, subword_tokenizer_type='''character'''						, **_a		)




  def 						SCREAMING_SNAKE_CASE    (			self					:						List[str]						, __lowerCAmelCase					:						List[Any]		):






         """simple docstring"""






         _lowerCamelCase						:    List[Any]         =			"こんにちは、世界。 \nこんばんは、世界。"
         _lowerCamelCase						:    Union[str, Any]         =			"こ ん に ち は 、 世 界 。 こ ん ば ん は 、 世 界 。"
         return input_text, output_text




  def 						SCREAMING_SNAKE_CASE    (			self					:						int		):






         """simple docstring"""






         pass  # TODO add if relevant




  def 						SCREAMING_SNAKE_CASE    (			self					:						Union[str, Any]		):






         """simple docstring"""






         pass  # TODO add if relevant




  def 						SCREAMING_SNAKE_CASE    (			self					:						Any		):






         """simple docstring"""






         pass  # TODO add if relevant




  def 						SCREAMING_SNAKE_CASE    (			self					:						int		):






         """simple docstring"""






         _lowerCamelCase						:    Union[str, Any]         =			self.tokenizer_class(self.vocab_file						, subword_tokenizer_type='''character'''		)

         _lowerCamelCase						:    List[Any]         =			tokenizer.tokenize('''こんにちは、世界。 \nこんばんは、世界。'''		)
         self.assertListEqual(
             _a						, ['''こ''', '''ん''', '''に''', '''ち''', '''は''', '''、''', '''世''', '''界''', '''。''', '''こ''', '''ん''', '''ば''', '''ん''', '''は''', '''、''', '''世''', '''界''', '''。''']		)
         self.assertListEqual(
             tokenizer.convert_tokens_to_ids(_a		)						, [3, 4, 5, 6, 7, 1_1, 9, 1_0, 1_2, 3, 4, 8, 4, 7, 1_1, 9, 1_0, 1_2]		)




  def 						SCREAMING_SNAKE_CASE    (			self					:						Union[str, Any]		):






         """simple docstring"""






         _lowerCamelCase						:    int         =			["[UNK]", "[CLS]", "[SEP]", "こ", "ん", "に", "ち", "は", "ば", "世", "界", "、", "。"]

         _lowerCamelCase						:    Optional[int]         =			{}
         for i, token in enumerate(_a		):
                _lowerCamelCase						:    Tuple         =			i
         _lowerCamelCase						:    List[Any]         =			CharacterTokenizer(vocab=_a						, unk_token='''[UNK]'''		)

         self.assertListEqual(tokenizer.tokenize(''''''		)						, []		)

         self.assertListEqual(tokenizer.tokenize('''こんにちは'''		)						, ['''こ''', '''ん''', '''に''', '''ち''', '''は''']		)

         self.assertListEqual(tokenizer.tokenize('''こんにちほ'''		)						, ['''こ''', '''ん''', '''に''', '''ち''', '''[UNK]''']		)




  def 						SCREAMING_SNAKE_CASE    (			self					:						Any		):






         """simple docstring"""






         _lowerCamelCase						:    Optional[Any]         =			self.tokenizer_class.from_pretrained('''cl-tohoku/bert-base-japanese-char'''		)

         _lowerCamelCase						:    Any         =			tokenizer.encode('''ありがとう。'''						, add_special_tokens=_a		)
         _lowerCamelCase						:    List[str]         =			tokenizer.encode('''どういたしまして。'''						, add_special_tokens=_a		)

         _lowerCamelCase						:    Optional[int]         =			tokenizer.build_inputs_with_special_tokens(_a		)
         _lowerCamelCase						:    int         =			tokenizer.build_inputs_with_special_tokens(_a						, _a		)

         # 2 is for "[CLS]", 3 is for "[SEP]"
         assert encoded_sentence == [2] + text + [3]
         assert encoded_pair == [2] + text + [3] + text_a + [3]






@custom_tokenizers
class 	__snake_case	(     unittest.TestCase):




  def 						SCREAMING_SNAKE_CASE    (			self					:						Optional[Any]		):






         """simple docstring"""






         _lowerCamelCase						:    int         =			"cl-tohoku/bert-base-japanese"
         _lowerCamelCase						:    List[str]         =			AutoTokenizer.from_pretrained(_a		)
         self.assertIsInstance(_a						, _a		)






class 	__snake_case	(     unittest.TestCase):




  def 						SCREAMING_SNAKE_CASE    (			self					:						Tuple		):






         """simple docstring"""






         _lowerCamelCase						:    List[Any]         =			"cl-tohoku/bert-base-japanese"
         with self.assertLogs('''transformers'''						, level='''WARNING'''		) as cm:
                BertTokenizer.from_pretrained(_a		)
                self.assertTrue(
                    cm.records[0].message.startswith(
                        '''The tokenizer class you load from this checkpoint is not the same type as the class this function'''
                        ''' is called from.'''		)		)
         _lowerCamelCase						:    Tuple         =			"bert-base-cased"
         with self.assertLogs('''transformers'''						, level='''WARNING'''		) as cm:
                BertJapaneseTokenizer.from_pretrained(_a		)
                self.assertTrue(
                    cm.records[0].message.startswith(
                        '''The tokenizer class you load from this checkpoint is not the same type as the class this function'''
                        ''' is called from.'''		)		)







"""simple docstring"""






from ...configuration_utils import PretrainedConfig
from ...utils import logging


lowerCAmelCase__      =    logging.get_logger(__name__)

lowerCAmelCase__      =    {
    '''facebook/xglm-564M''': '''https://huggingface.co/facebook/xglm-564M/resolve/main/config.json''',
    # See all XGLM models at https://huggingface.co/models?filter=xglm
}






class 	__snake_case	(     _lowercase):
  snake_case__    :       List[Any]        =						"xglm"
  snake_case__    :       Dict        =						["past_key_values"]

  snake_case__    :       str        =						{
      "num_attention_heads": "attention_heads",
      "hidden_size": "d_model",
      "num_hidden_layers": "num_layers",
  }




  def __init__(			self					:						List[str]						, __lowerCAmelCase					:						List[Any]=2_5_6_0_0_8						, __lowerCAmelCase					:						int=2_0_4_8						, __lowerCAmelCase					:						Dict=1_0_2_4						, __lowerCAmelCase					:						List[str]=4_0_9_6						, __lowerCAmelCase					:						Tuple=2_4						, __lowerCAmelCase					:						Dict=1_6						, __lowerCAmelCase					:						Tuple="gelu"						, __lowerCAmelCase					:						Tuple=0.1						, __lowerCAmelCase					:						Tuple=0.1						, __lowerCAmelCase					:						Optional[Any]=0.0						, __lowerCAmelCase					:						List[Any]=0.0						, __lowerCAmelCase					:						int=0.02						, __lowerCAmelCase					:						Any=True						, __lowerCAmelCase					:						Tuple=True						, __lowerCAmelCase					:						str=2						, __lowerCAmelCase					:						Dict=1						, __lowerCAmelCase					:						Dict=0						, __lowerCAmelCase					:						List[Any]=2						, **__lowerCAmelCase					:						Optional[Any]						, ):






         """simple docstring"""






         _lowerCamelCase						:    List[Any]         =			vocab_size
         _lowerCamelCase						:    List[Any]         =			max_position_embeddings
         _lowerCamelCase						:    int         =			d_model
         _lowerCamelCase						:    Optional[Any]         =			ffn_dim
         _lowerCamelCase						:    Any         =			num_layers
         _lowerCamelCase						:    Union[str, Any]         =			attention_heads
         _lowerCamelCase						:    List[str]         =			activation_function
         _lowerCamelCase						:    Union[str, Any]         =			dropout
         _lowerCamelCase						:    int         =			attention_dropout
         _lowerCamelCase						:    Optional[int]         =			activation_dropout
         _lowerCamelCase						:    Any         =			layerdrop
         _lowerCamelCase						:    List[str]         =			init_std
         _lowerCamelCase						:    Union[str, Any]         =			scale_embedding  # scale factor will be sqrt(d_model) if True
         _lowerCamelCase						:    str         =			use_cache

         super().__init__(
             pad_token_id=__lowerCAmelCase						, bos_token_id=__lowerCAmelCase						, eos_token_id=__lowerCAmelCase						, decoder_start_token_id=__lowerCAmelCase						, **__lowerCAmelCase						, )


