توکن Token

واحد شمارش متن برای مدل‌های زبانی؛ تقریباً سه‌چهارم یک کلمهٔ انگلیسی یا یک تا دو حرف فارسی.

مدل‌های زبانی متن را نه کلمه‌به‌کلمه، بلکه به‌صورت «توکن» می‌خوانند. در انگلیسی هر توکن حدود چهار حرف است؛ متن فارسی توکن بیشتری مصرف می‌کند، چون حروف و ترکیب‌های آن در دادهٔ آموزشی کمتر بوده‌اند.

سقف مصرف پلن‌ها، قیمت API و «پنجرهٔ زمینه» همگی بر حسب توکن بیان می‌شوند. اگر پیام‌های طولانی فارسی می‌فرستید، زودتر از کاربر انگلیسی‌زبان به سقف می‌رسید.

واژه‌های مرتبط