bert-base-uncased-goemotions-ekman / tokenizer_config.json
justin871030's picture
Remove duplicate words in dictionary
96e2b81
{
"do_lower_case": true,
"model_max_length": 512,
"unk_token": "[UNK]",
"sep_token": "[SEP]",
"pad_token": "[PAD]",
"cls_token": "[CLS]",
"mask_token": "[MASK]",
"additional_special_tokens": ["[NAME]", "[RELIGION]", "๐Ÿ˜‚", "โค", "๐Ÿคฃ", "๐Ÿ˜ญ", "๐Ÿ‘", "โ™€", "๐Ÿ˜", "๐Ÿค”", "๐Ÿฆ€", "๐Ÿ‘", "๐Ÿป", "๐Ÿคท", "๐Ÿผ", "๐Ÿ™„", "๐Ÿ˜Š", "๐Ÿ”ฅ", "๐Ÿ˜ข", "๐Ÿ˜…", "๐Ÿ’œ", "๐Ÿ‘Œ", "โ™‚", "โ˜บ", "๐Ÿ˜Ž", "๐Ÿ’ฏ", "๐Ÿ’ฆ", "๐Ÿ˜", "๐Ÿ˜”", "๐Ÿคข", "๐Ÿ’•", "๐Ÿ™", "๐Ÿ˜‰", "๐Ÿ™Œ", "๐Ÿคฆ", "๐Ÿ™ƒ", "๐Ÿ˜†", "๐Ÿ˜˜", "๐ŸŽถ", "๐Ÿ˜ค", "๐Ÿ˜", "๐Ÿ˜€", "๐Ÿค—", "๐Ÿ˜", "๐Ÿฝ", "๐Ÿ’ช", "๐Ÿ˜ก", "๐ŸŽ‰", "๐Ÿ‘€", "โœ”", "๐Ÿ”ช", "๐Ÿ˜„", "๐Ÿ˜ฌ", "๐Ÿ’–", "๐Ÿ˜ฅ", "๐Ÿ˜’", "โœŒ", "๐Ÿ’ƒ", "๐Ÿ˜ฉ", "โ˜น", "๐Ÿ’…", "๐Ÿ˜ช", "๐Ÿ‘‘", "๐Ÿ˜ณ", "๐Ÿคช", "๐Ÿ˜•", "๐ŸŽ‚", "๐Ÿ˜ซ", "๐Ÿ’™", "๐Ÿคฎ", "๐Ÿšซ", "๐Ÿ˜ž", "๐Ÿ’Ž", "๐Ÿ˜ฑ", "๐Ÿ˜‘", "๐Ÿ˜–", "๐ŸŠ", "๐Ÿ™ˆ", "๐Ÿค ", "โฃ", "๐Ÿคฉ", "๐Ÿ™‚", "๐Ÿ‘Š", "๐Ÿ’›", "๐Ÿ’“", "๐Ÿ‘ฉ", "โœจ", "๐Ÿ˜ฃ", "๐Ÿ’—", "๐Ÿคž", "๐Ÿฅ€", "๐Ÿš“", "๐Ÿ˜ฐ", "๐Ÿ‘…", "๐Ÿ˜", "๐Ÿป", "๐Ÿค•", "๐Ÿ˜œ", "๐Ÿฆˆ", "๐Ÿ˜ƒ", "๐Ÿ˜ฎ", "โœŠ", "๐Ÿ’š", "๐ŸŽต", "๐Ÿ’จ", "โ˜", "๐ŸŒˆ", "๐Ÿ’„", "๐Ÿ‘ธ", "๐Ÿ’ฅ", "๐Ÿ–ค", "๐Ÿพ", "๐Ÿฉ", "๐Ÿ˜‹", "๐Ÿคฒ", "๐Ÿคค", "๐Ÿง›", "๐Ÿ˜‡", "โ„", "โ–ซ", "๐Ÿ’", "๐Ÿ˜ด", ":)", ":(", "XD", "xD", ":D", ":'("]
}