كيف يفكّر الذكاء الاصطناعي؟

الخلاصة

حين تطلب شيئًا من ChatGPT أو Claude، لا يظهر الرد دفعة واحدة، بل يُكتب أمامك شيئًا فشيئًا. هذا ليس تأثيرًا بصريًا لتجميل الواجهة؛ فالنموذج يكتب الرد فعلًا وأنت تشاهده. لكنه لا يكتبه حرفًا حرفًا، ولا كلمة كلمة كما نفعل نحن.

يكفيك مصطلح واحد لتفهم كيف يقرأ النموذج كلامك وكيف يكتب ردّه: Token. وستعرف أيضًا لماذا يُقسَّم الكلام العربي إلى عدد من Tokens أكبر من الإنجليزي، ولماذا لا يعني ذلك أن تكتب بالإنجليزية.

المصطلحات

• Token: وحدة نصية صغيرة (كلمة أو جزء من كلمة) يعالج بها النموذج النص. ما تُرسله أنت يُحسب Input Tokens، وما يولّده النموذج يُحسب Output Tokens.
• Tokenizer: أداة تُظهر كيف يُقسَّم النص إلى Tokens وتعرض عددها.

الشرح

لوحة المفاتيح التي تقترح الكلمة التالية

حين تكتب رسالة على هاتفك، تقترح عليك لوحة المفاتيح ما قد يأتي بعد ما كتبته. تختار الاقتراح، فتقترح ما بعده، ثم ما بعده، حتى تكتمل الجملة.

لوحة المفاتيح لا تفهم ما تريد قوله؛ هي ترى ما كُتب فقط، وتقترح ما يُرجَّح أن يأتي بعده. والنموذج يعمل بالمنطق نفسه، وإن كان أذكى وأعقد بكثير: يختار القطعة التالية، ثم التي تليها، حتى يكتمل الرد.

ما هو Token؟

هذه القطعة الصغيرة من الكلام اسمها Token. والنموذج لا يرى الكلمات أو الحروف كما نراها، بل يرى Tokens: بها يقرأ كلامك، وبها يكتب ردّه.

ولا يلزم أن يكون Token كلمة كاملة. أحيانًا تُقسَّم الكلمة الواحدة إلى عدة Tokens، وأحيانًا تكون الكلمة القصيرة Token واحدًا.

لماذا تُقسَّم العربية إلى عدد أكبر؟

دُرِّبت هذه النماذج على نصوص إنجليزية أكثر بكثير من النصوص العربية، فصارت للكلمات الإنجليزية الشائعة Tokens جاهزة تغطيها كاملة، بينما تُقسَّم الكلمات العربية إلى قطع أصغر وأكثر.

ليس السبب أن العربية أصعب، ولا أن فيها مشكلة. السبب ببساطة أن النموذج رأى من الإنجليزية أكثر.

في الحلقة كتبنا جملتين بالمعنى نفسه في أداة Tokenizer، وكانت النتيجة:

الكمية نفسها من الكتابة بالضبط، ومع ذلك احتاجت الجملة العربية إلى ضعف عدد Tokens.

الرد يُكتب Token بعد Token

في الجزء الثاني من الحلقة طلبنا من Claude أن يكمل جملة ناقصة بجملة واحدة، وأبطأنا الفيديو لتتابع الرد وهو يظهر. النموذج لا يُجهّز الرد كاملًا ثم يعرضه عليك، بل يُخرجه Token بعد آخر، تمامًا كما تقترح لوحة المفاتيح الكلمة التالية.

ما تُرسله وما يعود إليك

Tokens التي ترسلها إلى النموذج تُسمّى Input Tokens، والتي يردّ بها عليك تُسمّى Output Tokens. هي الوحدة نفسها، مرة في طريقها إليه ومرة في طريقها إليك. وستقابل هذين المصطلحين كثيرًا، لأن الأدوات التي تُحاسَب بالاستخدام تحسب كلًّا منهما على حدة.

جرّب بنفسك

الذكاء الاصطناعي بيكتب الرد حتة حتة

AI writes the reply piece by piece.

لماذا يهمّك هذا

ما دام النموذج يقرأ ويكتب بالـ Tokens، فهي أيضًا وحدة القياس في الأدوات التي تُحاسَب بالاستخدام. وفي هذه الأدوات ثلاث قواعد ثابتة:

• Input Tokens وOutput Tokens يُحسبان كلٌّ على حدة.
• Output Tokens أغلى من Input Tokens، وغالبًا بأضعاف.
• طريقة العدّ تختلف من أداة إلى أخرى، فقد يعني السعر الأقل للوحدة فاتورة أعلى إذا كانت الأداة تقسّم النص نفسه إلى عدد أكبر من Tokens.

أما اشتراكات المحادثة في ChatGPT وClaude فهي باشتراك ثابت، ولا تدفع فيها مقابل كل Token. يبدأ الحساب بالـ Tokens حين تنتقل إلى أدوات البرمجة الجادة مثل Claude Code وCodex، أو حين تستخدم النماذج عبر API. وحتى هناك، لا يصبح اختيار اللغة عاملًا مؤثرًا في التكلفة إلا مع التعليمات الطويلة التي تُرسَل مع كل طلب، لا مع رسائل المحادثة العادية.

ولأن الأسعار تتغيّر، لا نكتبها هنا. راجعها دائمًا من مصدرها:

• أسعار Claude
• أسعار OpenAI

والصور التي ترفقها بطلبك تُحسب أيضًا بالـ Tokens، لكن بطريقة مختلفة تعتمد على حجم الصورة لا على عدد الكلمات.

حلقات مرتبطة

• ما هو الذكاء الاصطناعي؟: معنى Model وLLM وChatbot.