123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133 |
- {
- "additional_special_tokens": [
- "<|startoftranscript|>",
- "<|en|>",
- "<|zh|>",
- "<|de|>",
- "<|es|>",
- "<|ru|>",
- "<|ko|>",
- "<|fr|>",
- "<|ja|>",
- "<|pt|>",
- "<|tr|>",
- "<|pl|>",
- "<|ca|>",
- "<|nl|>",
- "<|ar|>",
- "<|sv|>",
- "<|it|>",
- "<|id|>",
- "<|hi|>",
- "<|fi|>",
- "<|vi|>",
- "<|he|>",
- "<|uk|>",
- "<|el|>",
- "<|ms|>",
- "<|cs|>",
- "<|ro|>",
- "<|da|>",
- "<|hu|>",
- "<|ta|>",
- "<|no|>",
- "<|th|>",
- "<|ur|>",
- "<|hr|>",
- "<|bg|>",
- "<|lt|>",
- "<|la|>",
- "<|mi|>",
- "<|ml|>",
- "<|cy|>",
- "<|sk|>",
- "<|te|>",
- "<|fa|>",
- "<|lv|>",
- "<|bn|>",
- "<|sr|>",
- "<|az|>",
- "<|sl|>",
- "<|kn|>",
- "<|et|>",
- "<|mk|>",
- "<|br|>",
- "<|eu|>",
- "<|is|>",
- "<|hy|>",
- "<|ne|>",
- "<|mn|>",
- "<|bs|>",
- "<|kk|>",
- "<|sq|>",
- "<|sw|>",
- "<|gl|>",
- "<|mr|>",
- "<|pa|>",
- "<|si|>",
- "<|km|>",
- "<|sn|>",
- "<|yo|>",
- "<|so|>",
- "<|af|>",
- "<|oc|>",
- "<|ka|>",
- "<|be|>",
- "<|tg|>",
- "<|sd|>",
- "<|gu|>",
- "<|am|>",
- "<|yi|>",
- "<|lo|>",
- "<|uz|>",
- "<|fo|>",
- "<|ht|>",
- "<|ps|>",
- "<|tk|>",
- "<|nn|>",
- "<|mt|>",
- "<|sa|>",
- "<|lb|>",
- "<|my|>",
- "<|bo|>",
- "<|tl|>",
- "<|mg|>",
- "<|as|>",
- "<|tt|>",
- "<|haw|>",
- "<|ln|>",
- "<|ha|>",
- "<|ba|>",
- "<|jw|>",
- "<|su|>",
- "<|yue|>",
- "<|translate|>",
- "<|transcribe|>",
- "<|startoflm|>",
- "<|startofprev|>",
- "<|nospeech|>",
- "<|notimestamps|>"
- ],
- "bos_token": {
- "content": "<|endoftext|>",
- "lstrip": false,
- "normalized": false,
- "rstrip": false,
- "single_word": false
- },
- "eos_token": {
- "content": "<|endoftext|>",
- "lstrip": false,
- "normalized": false,
- "rstrip": false,
- "single_word": false
- },
- "pad_token": "<|endoftext|>",
- "unk_token": {
- "content": "<|endoftext|>",
- "lstrip": false,
- "normalized": false,
- "rstrip": false,
- "single_word": false
- }
- }
|