شرح توكنات الذكاء الاصطناعي: ما هي ولماذا تهم

إذا سبق لك أن حدّقت في فاتورة API وتساءلت لماذا كلّف نص قصير أكثر مما توقعت، فأنت واجهت مشكلة التوكنز. هذا ما تحله هذه التدوينة: شرح توكنز الذكاء الاصطناعي بلغة بسيطة، مع تمرين واحد يمكنك تجربته اليوم. المشكلة: التوكنز ليست كلمات، وهذا الاختلاف هو ما يجعل معظم المبتدئين يخسرون المال أو يصطدمون بحدود محيّرة.

نعتبر هذا جزءًا من Sponge Path) الخاص بنا لأن فهم التوكنز هو أحد تلك الأفكار الأساسية التي تجعل كل شيء آخر عن الذكاء الاصطناعي يترابط بشكل أسرع. بمجرد أن تستوعبها، تبدأ الأوامر (prompts) والتسعير وحتى أخبار الأمان المتعلقة بالذكاء الاصطناعي بالظهور بمنطقية أكبر.

1. ما هو التوكن حقًا؟

التوكن هو جزء من النص يقرأه أو يكتبه نموذج اللغة. أحيانًا يكون كلمة كاملة، وأحيانًا جزءًا من كلمة، وأحيانًا مجرد علامة ترقيم. النماذج مثل تلك التي تقف خلف ChatGPT) أو Claude) لا ترى الحروف أو الكلمات كما نراها نحن — بل ترى سلاسل من التوكنز.

هذا مهم لأن كل أمر (prompt) تكتبه يُقسَّم إلى توكنز قبل أن يعالجه النموذج. لذا فإن طول أمرك، مقاسًا بالتوكنز، يؤثر مباشرة على السرعة والتكلفة.

2. لماذا شرح توكنز الذكاء الاصطناعي مهم لميزانيتك

معظم تسعير أدوات الذكاء الاصطناعي يعتمد على التوكنز الداخلة والخارجة. كلما زادت التوكنز زادت التكلفة، وكلما طال السياق كانت الاستجابات أبطأ. لهذا فإن شرح توكنز الذكاء الاصطناعي ليس مجرد معلومة عابرة — إنه الفرق بين سير عمل رخيص وآخر مكلف.

على سبيل المثال، لصق تقرير كامل داخل أمر واحد يستهلك التوكنز بسرعة. أمر أقصر ومنظّم جيدًا غالبًا ما يحصل على إجابة أفضل بتكلفة أقل.

3. المشكلة: التوكنز ليست كلمات

هذه هي الفخ الذي يقع فيه المبتدئون فورًا: كلمة واحدة يمكن أن تكون عدة توكنز، وتوكن واحد يمكن أن يكون جزءًا من كلمة. الكلمات النادرة والأخطاء الإملائية والنصوص غير الإنجليزية غالبًا ما تنقسم إلى توكنز أكثر مما تتوقع.

لذا قد تكون فقرة من 100 كلمة في الواقع 130 توكن، وليس 100. هذا الفارق يتراكم بسرعة عبر المحادثات الطويلة أو سير العمل الآلي.

4. تمرين عملي: احسب توكنزك بنفسك

جرّب هذا في أقل من خمس دقائق. افتح أي أداة محادثة، مثل ChatGPT)، واكتب فقرة قصيرة، ربما ثلاث جمل. اطلب من المساعد أن يخبرك كم عدد توكنز هذه الفقرة، أو استخدم أداة تجزئة (tokenizer) إذا كانت المنصة توفر واحدة.

ثم أعد كتابة الفكرة نفسها بنصف عدد الكلمات. قارن عدد التوكنز. على الأرجح سترى أن النسخة الثانية تكلّف أقل بشكل ملحوظ في المعالجة، وهذا بالضبط الهدف من هذا التمرين.

5. التوكنز تظهر خارج روبوتات المحادثة أيضًا

كلمة "توكن" (token) تظهر أيضًا في سياقات الأمان والشبكات، مما قد يربك المبتدئين. على سبيل المثال، Canarytokens هي بيانات اعتماد وهمية تزرعها فرق الأمان لاصطياد المتسللين — وهو استخدام مختلف تمامًا للكلمة.

استُخدم المصطلح أيضًا في الشبكات القديمة، كما يشرح هذا المقال عن شبكات Token Ring. لذا عندما ترى كلمة "token" في أخبار التقنية، السياق مهم.

6. عندما تصبح التوكنز مشكلة أمنية

ليست كل مخاطر التوكنز متعلقة بالتكلفة. التوكنز المسروقة للوصول (access tokens) تمثل ناقل هجوم حقيقي، كما أظهرت حملة أخيرة استخدم فيها المهاجمون بيانات اعتماد مسروقة لإساءة استخدام البنية التحتية.

"Gheist campaign plants secret-dumping workflows using stolen GitHub tokens"

هذا تذكير جيد: توكنز الـ API وتوكنز الوصول تحتاج نفس العناية التي تحتاجها كلمات المرور، حتى خارج نقاش تسعير الذكاء الاصطناعي.

7. نقاشات الكفاءة: هل تجاوزنا مرحلة "token-maxxing"؟

هناك نقاش مستمر في مجتمع الذكاء الاصطناعي حول ما إذا كان ضخ المزيد من التوكنز في مشكلة ما لا يزال يستحق العناء. أحد التصنيفات الصناعية لخّص الأمر بهذه الطريقة:

"Token-maxxing is dead, OpenRouter's token usage plateaus"

هذا يرتبط بنقاش أوسع حول الكفاءة، بما في ذلك كيف تؤثر خيارات البنية التحتية على استهلاك الطاقة والتوكنز معًا، كما نوقش في هذا المقال عن كفاءة الـ harness. بالنسبة لمن يبنون سير عمل آلي باستخدام أدوات مثل n8n) أو Make)، عقلية الكفاءة هذه مهمة بقدر أهميتها في استخدام المحادثة العادي.

8. أين يندرج هذا ضمن أدواتك

بمجرد أن تستوعب فكرة التوكنز، يصبح الكثير من مفاهيم الذكاء الاصطناعي الأخرى أسهل. نوافذ السياق (context windows)، ومستويات التسعير، وحتى سبب شعورك بأن بعض الأدوات أبطأ من غيرها، كلها ترجع في الأساس إلى عدد التوكنز.

إذا أردت أن ترى كيف تتعامل الأدوات المختلفة مع هذا الأمر عمليًا، تصفّح دليل الأدوات) الخاص بنا أو اطّلع على الجديد) لمعرفة آخر التغييرات في كيفية حساب أو تسعير مزوّدي الخدمة للتوكنز. يستحق الأمر أيضًا تصفح مدونتنا) لمزيد من الشروحات المرتبطة بهذا الموضوع كلما أضفناها.

الخلاصة

شرح توكنز الذكاء الاصطناعي ببساطة: هي أجزاء النص التي تقرأها النماذج وتُحاسبك عليها، ونادرًا ما تتطابق مع عدد الكلمات. هذا الاختلاف هو الفخ الذي يوقع معظم المبتدئين.

جرّب التمرين الذي يستغرق خمس دقائق أعلاه مرة واحدة، وستبدأ تلقائيًا في كتابة الأوامر مع مراعاة كفاءة التوكنز. هذه العادة الواحدة وحدها يمكن أن توفر تكلفة حقيقية في أي سير عمل مدعوم بالذكاء الاصطناعي تبنيه لاحقًا.