کارگاه توکنسازی · BPE
هر واژه، یک مسیر از نویسهها تا توکن
روی یک گره بزنید تا ببینید کدام دو بخش، در هر مرحله، به هم پیوستهاند.
−
بازنشانی
+
نویسهٔ آغازین
توکنِ ادغامشده
×