special_tokens_map.json 2.0 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133
  1. {
  2. "additional_special_tokens": [
  3. "<|startoftranscript|>",
  4. "<|en|>",
  5. "<|zh|>",
  6. "<|de|>",
  7. "<|es|>",
  8. "<|ru|>",
  9. "<|ko|>",
  10. "<|fr|>",
  11. "<|ja|>",
  12. "<|pt|>",
  13. "<|tr|>",
  14. "<|pl|>",
  15. "<|ca|>",
  16. "<|nl|>",
  17. "<|ar|>",
  18. "<|sv|>",
  19. "<|it|>",
  20. "<|id|>",
  21. "<|hi|>",
  22. "<|fi|>",
  23. "<|vi|>",
  24. "<|he|>",
  25. "<|uk|>",
  26. "<|el|>",
  27. "<|ms|>",
  28. "<|cs|>",
  29. "<|ro|>",
  30. "<|da|>",
  31. "<|hu|>",
  32. "<|ta|>",
  33. "<|no|>",
  34. "<|th|>",
  35. "<|ur|>",
  36. "<|hr|>",
  37. "<|bg|>",
  38. "<|lt|>",
  39. "<|la|>",
  40. "<|mi|>",
  41. "<|ml|>",
  42. "<|cy|>",
  43. "<|sk|>",
  44. "<|te|>",
  45. "<|fa|>",
  46. "<|lv|>",
  47. "<|bn|>",
  48. "<|sr|>",
  49. "<|az|>",
  50. "<|sl|>",
  51. "<|kn|>",
  52. "<|et|>",
  53. "<|mk|>",
  54. "<|br|>",
  55. "<|eu|>",
  56. "<|is|>",
  57. "<|hy|>",
  58. "<|ne|>",
  59. "<|mn|>",
  60. "<|bs|>",
  61. "<|kk|>",
  62. "<|sq|>",
  63. "<|sw|>",
  64. "<|gl|>",
  65. "<|mr|>",
  66. "<|pa|>",
  67. "<|si|>",
  68. "<|km|>",
  69. "<|sn|>",
  70. "<|yo|>",
  71. "<|so|>",
  72. "<|af|>",
  73. "<|oc|>",
  74. "<|ka|>",
  75. "<|be|>",
  76. "<|tg|>",
  77. "<|sd|>",
  78. "<|gu|>",
  79. "<|am|>",
  80. "<|yi|>",
  81. "<|lo|>",
  82. "<|uz|>",
  83. "<|fo|>",
  84. "<|ht|>",
  85. "<|ps|>",
  86. "<|tk|>",
  87. "<|nn|>",
  88. "<|mt|>",
  89. "<|sa|>",
  90. "<|lb|>",
  91. "<|my|>",
  92. "<|bo|>",
  93. "<|tl|>",
  94. "<|mg|>",
  95. "<|as|>",
  96. "<|tt|>",
  97. "<|haw|>",
  98. "<|ln|>",
  99. "<|ha|>",
  100. "<|ba|>",
  101. "<|jw|>",
  102. "<|su|>",
  103. "<|yue|>",
  104. "<|translate|>",
  105. "<|transcribe|>",
  106. "<|startoflm|>",
  107. "<|startofprev|>",
  108. "<|nospeech|>",
  109. "<|notimestamps|>"
  110. ],
  111. "bos_token": {
  112. "content": "<|endoftext|>",
  113. "lstrip": false,
  114. "normalized": false,
  115. "rstrip": false,
  116. "single_word": false
  117. },
  118. "eos_token": {
  119. "content": "<|endoftext|>",
  120. "lstrip": false,
  121. "normalized": false,
  122. "rstrip": false,
  123. "single_word": false
  124. },
  125. "pad_token": "<|endoftext|>",
  126. "unk_token": {
  127. "content": "<|endoftext|>",
  128. "lstrip": false,
  129. "normalized": false,
  130. "rstrip": false,
  131. "single_word": false
  132. }
  133. }