الرمز النصي (Token)
الرمز النصي (Token) هو الوحدة الصغيرة من النص التي يقرؤها نموذج الذكاء الاصطناعي ويكتبها، وتكون غالباً كلمة قصيرة أو جزءاً من كلمة، وبها يُقاس الاستخدام والحدود.
لماذا يهم الشركات
النماذج لا تعدّ الكلمات ولا الصفحات، بل تعدّ الرموز النصية. وبهذه الوحدة يُقاس أمران يهمان الشركة: مقدار النص الذي تتسع له المحادثة الواحدة، والمبلغ الذي يحتسبه المزوّد عند استخدام النموذج عبر واجهة برمجة التطبيقات (API). التعليمات الأطول والمستندات الأكبر والإجابات الأطول تستهلك رموزاً أكثر. والنص العربي يستهلك في الغالب رموزاً أكثر من الجملة نفسها بالإنجليزية، وهذا مهم عند التخطيط لمساعد بلغتين.
مثال عملي
مجموعة مطاعم في دبي تبني مساعداً يجيب عن أسئلة قائمة الطعام. في البداية كانت القائمة كاملة وجدول مسببات الحساسية وكتيّب الولائم تُرسل مع كل رسالة من العميل، فارتفع الاستهلاك وتأخرت الردود. عدّل الفريق الإعداد ليُرسل القسم المطلوب فقط، فتحسنت السرعة والتكلفة معاً.
خطأ شائع
تتجاهل الفرق استهلاك الرموز حتى تصل الفاتورة الأولى، أو تختصر التعليمات إلى حد يضر بالجودة. الحل هو التوازن: أرسل ما تحتاجه المهمة فقط، واجعل طول الإجابات معقولاً، وراجع تقارير الاستخدام بانتظام. ويشرح مصطلح نافذة السياق الحد الأقصى للرموز في المرة الواحدة.
المهارة اليومية، في بريدك
رسالة واحدة كل صباح بالإصدار الجديد. إلغاء الاشتراك بنقرة واحدة.
