انتقل إلى المحتوى
استدلال بلا فقدان

استدلال بلا فقدان

, 9 دقائق قراءة, By Jaber Jaber

بحث

ملاحظة تحريرية: نشر هذا المقال أولا على موقعنا السابق. منتج التحسين الموصوف هنا تقاعد. يقدم RightNow النماذج المفتوحة عبر API الخاص به.

صار التكميم الطريقة الافتراضية لتسريع الاستدلال لأنه الأسهل. في vLLM هو علم واحد أو checkpoint مبدل واحد (docs.vllm.ai)، بينما يستغرق عمل التحسين الحقيقي، ككتابة أنوية أفضل، شهورا. فالناس يبدلون ال checkpoint ويمضون، والناس أنفسهم الذين لن يشحنوا تغيير مطالبة بلا مراجعة يشحنون نموذجا مكمما من دون تشغيل تقييم واحد، لأن العلم يجعله يشبه إعداد بنية تحتية بينما هو في الحقيقة تغيير للنموذج

الشكل 1: اللوحة (a) هي الفجوة، درجة المعيار تبقى شبه مستوية عبر الدقات بينما يهبط نجاح المهام بعيدة الأفق. اللوحة (b) هي حيث تحط الخسارة، قرار واحد منقلب في وسط التشغيل وكل ما بعده يرث الخطأ. توضيحي

التكميم مقايضة لا تحسين. توفر الذاكرة وتدفع الثمن جودة، والتكلفة يصعب رؤيتها لأن تكميم ما بعد التدريب يحرك كل وزن قليلا بينما بالكاد تتفاعل المعايير القياسية، لأنها مشبعة ولأنها تختبر خطوة واحدة في كل مرة. تظهر الخسارة الحقيقية في سلاسل الاستدلال الطويلة وتشغيلات البرمجة الوكيلة حيث تتراكم مئات القرارات المعتمدة بعضها على بعض، فيقول لك المعيار إن النموذجين متطابقان بينما يقول لك معدل نجاح وكيلك إنهما ليسا كذلك. هذا المقال عن منصة serving التي تنال السرعة من دون دفع تلك التكلفة

رياضيات التراكم

إذا قلب ضجيج التكميم قرارا واحدا في كل خطوة باحتمال p، فعلى n خطوة معتمدة تنجو المهمة باحتمال (1-p)^n. إصابة 2 في المئة في كل خطوة تبدو مجانية حتى تشغل 20 خطوة، لأن 0.98^20 تساوي 0.67 فيفشل ثلث مهامك، وعند 50 خطوة تهبط إلى 0.36

إن أبقيت p عند نصف في المئة بدلا من ذلك، يبقى النجاح على 20 خطوة عند 0.90، وهذا هو الفرق بين وكيل تثق به ووكيل تراقبه. النموذج لم يغب أصلا، صار فقط أكثر ضجيجا ب 2 في المئة في كل قرار وقام التراكم بالباقي

الشكل 2: نجاح المهمة (1-p)^n مقابل عدد الخطوات لأربع قيم ل p. النقاط المعلمة 0.98^20 تساوي 0.67 و 0.98^50 تساوي 0.36. المنحنيات دقيقة

ما معنى بلا فقدان

يعني الاستدلال بلا فقدان أن المنصة تصبح أسرع بينما يبقى النموذج النموذج نفسه تماما، وأقسمه طبقتين

التطابق التمامي يعني أن المنصة المحسّنة تعيد ال logits نفسها التي يعيدها المرجع على كل مدخل، أي f_opt(x) تساوي f_ref(x). الأنوية والدمج والتجميع وإعادة استخدام KV والجدولة وضغط الأوزان بلا فقدان كلها تسكن هذه الطبقة لأنها تغير كيفية إجراء الحساب من دون تغيير الحساب نفسه

التطابق التوزيعي يعني أن المنصة المحسّنة تعاين من التوزيع نفسه الذي يعاين منه المرجع، أي P_opt(y | x) تساوي P_ref(y | x). هنا يسكن فك التشفير التخميني مع أخذ العينات بالرفض، حيث قد تختلف العينات المفردة لكن التوزيع لا يتغير أبدا

كل ما عدا ذلك، التكميم بعد التدريب والتقليم والتقطير، يغير الدالة نفسها، أي أنك تخدم نموذجا مختلفا بالاسم نفسه. هذا التعريف مهم لأنه يحرك عبء الإثبات: فالتغيير بلا فقدان لا يحتاج تشغيل تقييم حين تكون المخرجات نفسها هي الدليل، بينما يحتاج التغيير الفاقد تقييما كاملا على حملك وليس على MMLU وحده. والتطابق التمامي يتالف أيضا، لأن خط أنابيب من مراحل متطابقة تماما يبقى متطابقا تماما، فأستطيع تكديس خمس مراحل من دون تشغيل خمس دورات تقييم

الشكل 3: التعريف في رسم. طبقتان بلا فقدان بضماناتهما وتقنيات كل منهما، بينما تحرر الطرق الفاقدة الدالة وتدفع ثمن التراكم

منصة بلا فقدان، من الأسفل إلى الأعلى

تبدأ المنصة بالأنوية. الاستدلال عند أحجام دفعات serving مقيد بعرض نطاق الذاكرة، لأن H100 SXM تنقل نحو 3.35 TB/s من HBM بينما تنجز نحو 989 BF16 TFLOP/s كثيفة الحساب (nvidia.com/en-us/data-center/h100/)، فتنال النواة سرعتها بنقل بايتات أقل لا بإجراء حساب أقل. أثبت FlashAttention هذه النقطة قبل سنوات بحساب انتباه تام بإعادة ترتيب حركة الذاكرة وتحقيق تسريعات كبيرة بمخرجات متطابقة (arxiv.org/abs/2205.14135)، وإعادة الترتيب صحيحة لأن softmax المتصل يحسب التطبيع نفسه من إحصاءات جارية، فلا يتغير في النتيجة شيء

فكرة FlashAttention في صورة واحدة. جزّئ الحساب ليملأ SRAM، ولا تجسد مصفوفة الانتباه الكاملة أبدا، فتحصل على الناتج نفسه تماما وأسرع. رسم من مستودع FlashAttention الرسمي (Dao et al.)، ترخيص BSD 3 Clause: github.com/Dao-AILab/flash-attention

يدفع الدمج الفكرة نفسها أبعد بإبقاء القيم الوسطية في المسجلات والذاكرة المشتركة بدلا من الذهاب والعودة عبر HBM، وتأخذها النواة العظيمة إلى حدها بتشغيل خطوة فك التشفير كلها إطلاقا واحدا. بنيت هذا بنفسي. على H100 نفسها يشغل محركي bonsai-turbo 1.76x ضعف نسخة llama.cpp الخاصة بمورد البطاقة نفسه، صعودا من 85.5 إلى 151.1 رمزا في الثانية بالمخرجات نفسها (github.com/RightNow-AI/bonsai-turbo)، وبلغ نظام بحث الأنوية عندي AutoKernel 1.31x على cuBLAS على أفضل أنويته عبر 95 تجربة تمتد من 18 إلى 187 TFLOPS مع احتلاله المركز الأول في لوحة متصدرين vectorsum على B200 (github.com/RightNow-AI/autokernel)

يأتي فك التشفير التخميني بعدها. نموذج مسودة صغير يقترح g رموزا، والنموذج الهدف يتحقق منها في تمريرة واحدة، وخطوة أخذ عينات بالرفض معدلة تبقي توزيع الناتج توزيع الهدف تماما، وهو ما أثبت مرتين باستقلال في 2023 (arxiv.org/abs/2211.17192، arxiv.org/abs/2302.01318). العدد المتوقع للرموز لكل تمريرة هدف هو (1-a^(g+1))/(1-a) عند نسبة قبول a، فدقة المسودة هي كل شيء، وخط EAGLE هو ما رفعها (arxiv.org/abs/2401.15077). يقول EAGLE-2 بوضوح ("توزيع النص المولد يبقى دون تغيير") ويبلغ عن 3.05x إلى 4.26x (arxiv.org/abs/2406.16858)، بينما يبلغ EAGLE-3 حتى 6.5x (arxiv.org/abs/2503.01840)

طريقة EAGLE. رأس صغير يستكمل معالم من النموذج الهدف، ويصوغ شجرة رموز، والهدف يتحقق من الشجرة كلها في تمريرة واحدة. رسم من مستودع EAGLE الرسمي (SafeAILab)، ترخيص Apache 2.0: github.com/SafeAILab/EAGLE

ثم يأتي ضغط الأوزان بلا فقدان. تحمل أوزان BF16 أقل من 16 بت معلومة حقيقية لكل معامل، فيرمزها DFloat11 انتروبيا إلى نحو 11 بت، فتهبط إلى نحو 70 في المئة من الحجم الأصلي بمخرجات تبقى متطابقة تماما مع النموذج الأصلي (arxiv.org/abs/2504.11651). هذا يغطي معظم توفير الذاكرة الذي يعهده التكميم من دون فاتورة الجودة

إعادة استخدام KV هي الطبقة التالية. أنهى الانتباه المصلب تفتت مخزن KV ورفع أحجام الدفعات الحقيقية (arxiv.org/abs/2309.06180)، وجعل تخزين البادئات بأشجار radix التاريخ المشترك يحسب مرة واحدة (arxiv.org/abs/2312.07104). وهذا آمن لأن مدخلات المخزن دالة خالصة في البادئة، فإعادة استخدامها في المواضع نفسها لا تستطيع تحريك ال logits

RadixAttention خطوة بخطوة. يصبح مخزن KV شجرة radix تشارك فيها أدوار المحادثة وتفرعاتها كل بادئة مشتركة، وتخلى العقد الباردة. رسم من مستودع مدونة SGLang (LMSYS)، ترخيص MIT: github.com/lm-sys/lm-sys.github.io

تتوضع الجدولة فوق ذلك. الدفعات المستمرة تعبئ الدفعة عند حدود الرموز بدلا من انتظار أطول طلب (usenix.org/conference/osdi22/presentation/yu)، و prefill المجزأ يمنع مطالبة طويلة عن تعطيل فك تشفير الآخرين (arxiv.org/abs/2308.16369)، وفصل prefill عن فك التشفير يضع النصف المقيد بالحساب والنصف المقيد بعرض النطاق من الحمل على آلات مختلفة (arxiv.org/abs/2401.09670). ولا تلمس هذه واحدا من ال logits

الشكل 4: اللوحة (a) خط أنابيب serving بكل تقنية بلا فقدان في مكانها، حيث يعلم BE المراحل المتطابقة تماما و DE المتطابقة توزيعيا. اللوحة (b) خط roofline ل H100 SXM من مواصفات عامة عند حد 295 FLOP لكل بايت. اللوحة (c) الرموز المتوقعة لكل تمريرة هدف مع فك التشفير التخميني. اللوحتان (b) و (c) تلحقان مباشرة بالمواصفات والصيغة المذكورتين

الخط المتحرك

يُرسم حد بلا فقدان عند ال checkpoint المشحون، وال checkpoint نفسه يتحرك. شحن Kimi K2 Thinking بأوزان INT4 أصلية لأن Moonshot أجرت تدريبا واعيا بالتكميم في ما بعد التدريب، ووضعت INT4 على أوزان MoE وأبلغت عن كل معيار رسمي عند INT4 بتوليد أسرع بنحو 2x (huggingface.co/moonshotai/Kimi-K2-Thinking). وشحنت OpenAI نموذج gpt-oss بأوزان MXFP4 على MoE عند 4.25 بت لكل معامل، وهو ما يغطي أكثر من 90 في المئة من المعاملات وسبب احتمال gpt-oss-120b على GPU واحدة بسعة 80 GB (arxiv.org/abs/2508.10925)

لهذين النموذجين، serving ب INT4 أو MXFP4 ليس تكميما فاقدا، بل هو ال checkpoint. المرجع الذي يجب ألا تدهره منخفض الدقة أصلا، والمورد دفع تكلفة الجودة أثناء التدريب حيث مكانها، فيتحول التكميم إلى قرار تدريب بينما يبقى عصر checkpoint من BF16 بعد الحقيقة حيلة serving. اختباري بسيط: إن كانت الأوزان التي تخدمها هي الأوزان التي قاس عليها المورد فأنت تخدم النموذج، وإن عصرتها بعدها فأنت تخدم تعديلك أنت للنموذج

الشكل 5: أين تُقرر الدقة مقابل ما تكلفه نسبة إلى ال checkpoint المشحون. الخلية العليا اليسرى هي حيث تحركت إصدارات النماذج الكبيرة في 2025، والخط الزمني يعلن التحول

التحقق

بلا فقدان ادعاء يمكنك اختباره، وأختبره بتطابق ال logits. تشغل المطالبات نفسها عبر منصة المرجع وعبر منصتك بفك تشفير جشع، ثم تقارن أقصى فرق مطلق في ال logits لكل رمز، حيث الصفر هو حد النجاح لادعاء التطابق التمامي واختبار توزيع هو حد فك التشفير التخميني. نشرت هذا ل bonsai-turbo، حيث تنجح 32 من 32 مطالبة مقابل نسخة المورد عبر تهيئات المحرك الأربع كلها (github.com/RightNow-AI/bonsai-turbo). وحين يفشل التطابق يريني الفرق أين أنظر، وعادة ما تكون نواة مدمجة قصت زاوية، أو عدم توافق RoPE، أو معاين يعيد التطبيع بطريقة مختلفة

تشغل Moonshot الآن الفحص نفسه على كل من يخدم نموذجها. يرسل K2 Vendor Verifier 4,000 طلب متطابقة إلى كل مزود K2 من طرف ثالث وقيّمها مقابل API الرسمي على F1 لإطلاق نداء الأدوات ودقة المخطط (github.com/MoonshotAI/K2-Vendor-Verifier)، وكان الانتشار حقيقيا، إذ تراوحت دقة المخطط من 100 في المئة عند أفضل المزودين إلى نحو 73 إلى 76 في المئة على محركات المصدر المفتوح الاعتيادية قبل نزول الإصلاحات. صارت جودة النموذج خاصية لمنصة serving وبدأ موردو النماذج في قياسها

جمع الأعداد العشرية غير تجميعي، فترتيب الاختزال داخل نواة يغير البتات الدنيا، وذلك الترتيب يتغير مع حجم الدفعة. قاست Thinking Machines النتيجة حين أعطى 1,000 إكمال عند درجة حرارة صفر على vLLM اعتيادي 80 ناتجا مختلفا، بينما أعادت الأنوية الثابتة عبر الدفعات ال 1,000 كلها متطابقة تماما مع 1.6x إلى 2x من زمن التشغيل (thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/)، وقصر Chen et al. برهان فك التشفير التخميني "ضمن حسابات العتاد" للسبب نفسه (arxiv.org/abs/2302.01318). فبلا فقدان يعني أن المنصة لا تضيف خطأ بعد حسابات العتاد التي قبلتها أصلا، ولا يعني مخرجات متطابقة تماما عبر أحجام الدفعات إلا إن دفعت أيضا ثمن الثبات عبر الدفعات

الشكل 6: اللوحة (a) بروتوكول التطابق الذي أجريه، مجموعة مطالبات واحدة عبر المنصتين، فرق ال logits، الصفر أو التصحيح. اللوحة (b) شكل الفرق، حيث تجلس منصة بلا فقدان عند الصفر تماما. القيم غير الصفرية توضيحية

لماذا يفوز بلا فقدان

تسوّي الاقتصاد الجدل. يوفر التكميم عاملا ثابتا مرة واحدة ويواصل دفع الجودة في كل خطوة من كل مهمة، بينما تتراكم مكاسب بلا فقدان مع بعضها: الأنوية في فك التشفير التخميني في إعادة استخدام KV في الجدولة، وكل حد يبقي النموذج تاما. حد واحد وحده يري أصلا ما يشتريه بلا فقدان على عتاد حقيقي:

تسريعات مقاسة بلا فقدان من خط EAGLE، حتى 5.6x على Vicuna 13B و 5.0x على DeepSeek R1 LLaMA 8B مع بقاء توزيع الناتج دون تغيير. رسم من مستودع EAGLE الرسمي (SafeAILab)، ترخيص Apache 2.0. ليس قياسي أنا بل قياس حقيقي
الشكل 7: مكاسب بلا فقدان تتراكم عبر المنصة. أحجام الأعمدة مدى توضيحي لا قياس

أذكر حين بدأت العمل على هذا، ظننت أن بلا فقدان سيكون المستقبل، وأنا أكثر يقينا بذلك الآن. في RightNow أبني هذا بالضبط: serving النماذج المفتوحة على منصة بلا فقدان الكاملة والتحقق منها بتطابق ال logits مقابل المرجع