أثبتت منصة Coinbase (المدرجة في بورصة ناسداك تحت الرمز: COIN) مرة أخرى لمتداولي العملات الرقمية كيف يمكن لبطء أجهزة الحوسبة السحابية أن يُفسد حتى أسرع منصات التداول. ويبدو أن استراتيجية الشركة في التحول إلى العمليات المدعومة بالذكاء الاصطناعي ربما كانت أسوأ خطوة اتخذتها حتى الآن.
وقالت الشركة يوم الجمعة إن عطلاً في نظام التبريد داخل شركة أمازون ويب سيرفيسز (ناسداك: AMZN) ساهم في حدوث انقطاع استمر لعدة ساعات أثر على التداول والوصول إلى البورصة وتحديثات الأرصدة عبر منصتها.
بدأت المشكلة في حوالي الساعة 23:50 بالتوقيت العالمي المنسق في 7 مايو عندما رصدت أجهزة المراقبة الداخلية انتشارًا واسع النطاق لفشل عروض الأسعار داخل أنظمة الشركة.
في تلك المرحلة، تسبب المهندسون في حدوث العديد منdentمن الفئة Sev1، وتأثر العملاء بالفعل من حيث الخدمات مثل التداول الفوري، و Coinbase Prime، والتداول الدولي، والمشتقات، والتداول بالتجزئة، والتداول المتقدم، والتداول المؤسسي.
كتب برايانtron، الرئيس التنفيذي لشركة كوين بيس، على موقع إكس أن شركته "تعرضت لانقطاع في الخدمة" وأن مثل هذا الأمر "غير مقبول على الإطلاق". ووفقًا له، فإن السبب وراء ذلك هو "ارتفاع درجة حرارة إحدى الغرف في مركز بيانات AWS نتيجة تعطل العديد من أجهزة التبريد"
بحسب برايان، تضمن الشركة تصميم جميع خدماتها بطريقة تضمن استمرار عملها دون انقطاع في حال تعطل إحدى مناطق التوافر في AWS. معظم الخدمات مصممة بهذه الطريقة، باستثناء منصة التداول التي تستخدم بنية تحتية مختلفة نظراً لمتطلبات زمن الاستجابة العالية.
تُلقي منصة Coinbase باللوم على تعطل أجهزة التبريد التابعة لـ AWS، حيث بدأت أنظمة التسعير بالتعطل قبل منتصف الليل بتوقيت غرينتش
ذكر موقع كريبتوبوليتان Cryptopolitan يمثلون حوالي 14% من إجمالي القوى العاملة، وذلك بهدف استبدال العمليات اليدوية بالذكاء الاصطناعي.
قدّم روب ويتوف، رئيس منصة كوين بيس، التفاصيل التقنية للمشكلة. ووفقًا له، استمرّ العطل لفترة طويلة وأثّر على "التداول، والوصول إلى منصات التداول، وتحديثات الرصيد"
صدر الإنذار الأولي في تمام الساعة 23:50 بالتوقيت العالمي المنسق نتيجةً لأعطال في أنظمة الاقتباسات الداخلية. وأعقب ذلك تحليل فوري من المستوى Sev1. ووفقًا لروب، كان سبب هذا العطل "حدثًا حراريًا" في نسبة صغيرة من الخوادم في أحد مرافق AWS us-east-1.
كان هذا الهيكل لبنية منصة التداول مفيدًا للغاية. قال روب إن منصة Coinbase تُبقي بنية منصة التداول الخاصة بها في منطقة توافر واحدة، لأن الصناعة تُولي أهمية كبيرة للسرعة.
بالإضافة إلى ذلك، تمتلك الشركة نسخة احتياطية موزعة من بنية التبادل هذه تحسباً لمثل هذه السيناريوهات. إلا أن عطل جزء من بنية التبادل المعنية حالياً لم يقتصر على نطاقها، مما أدى إلى إطالة أمد عملية إصلاح الوضع.
تعطل مكونان. حدث خلل في الأجهزة أسفل محرك المطابقة. لذلك، وقبل أي شيء آخر، كان من الضروري إجراء عمليات الاستعادة والتحويل التلقائي.
كما تعطلت مجموعة Kafka الموزعة، المسؤولة عن تبادل المعلومات بين جميع الأنظمة داخل المؤسسة. واستغرق الأمر استعادة أقسام Kafka على وسيط أجهزة جديد، وهو ما يعادل تيرابايتات من المعلومات.
أعاد المهندسون بناء النصاب القانوني وأعادوا أسواق Coinbase من خلال وضع الإلغاء فقط ووضع المزاد
كان محرك المطابقة مسؤولاً عن أكبر منصة تداول. يقوم محرك المطابقة بمعالجة الطلبات وصيانة سجلات الطلبات. يعمل النظام ضمن مجموعة موزعة ويتطلب اكتمال النصاب القانوني قبل اختيار قائد وإجراء عمليات التداول بأمان.
نظراً لعدم بقاء جميع العقد سليمة بسبب القيود في مركز البيانات أثناء الانقطاع، لم يكن من الممكن تحقيق النصاب القانوني، مما أدى إلى منع أنشطة التداول في البورصات بالتجزئة والمتقدمة والمؤسسية.
ذكر روب أن فرق الدعم والهندسة المناوبة كان عليها تنفيذ إجراءات استعادة البيانات في حالات الكوارث الخاصة بالشركة، وتحديد النصاب القانوني، وتقييم صحة النظام في ظل ظروف البنية التحتية الصعبة.
بحسب قوله، كان على الفريق تطوير حل واختباره ونشره والتحقق من صحته، بالتزامن مع إدارة الانقطاع الأوسع نطاقًا. وكان نظام كافكا سيتطلب استعادة يدوية مكثفة نظرًا لأن بنيته المجزأة تدير آلاف التيرابايتات يوميًا.
واجهت بعض المشاكل في تأخر تحديثات الأرصدة بسبب تأخر نظام كافكا. وأوضح روب أن هذه المشاكل اختفت بعد مزامنة النسخ المتماثل. ووفقًا لمنصة كوين بيس، لم تُفقد أي بيانات.
عندما عاد محرك المطابقة إلى الخدمة، لم يتم إعادة تفعيل الأسواق في وقت واحد. أولاً، قامت منصة Coinbase بتحويل جميع المنتجات إلى وضع الإلغاء فقط، ثم تحققت من حالات المنتجات، ثم حولت جميع الأسواق إلى وضع المزاد، وأخيراً، فعّلت التداول على منصة Coinbase Exchange.
علاوة على ذلك، أكد روب على ضرورة عدم حرمان العملاء من الوصول إلى حساباتهم مؤقتًا. وقد طمأنت شركة كوين بيس الجميع بأنها ستقدم شرحًا مفصلًا لهذاdent في غضون أسابيع قليلة.
لكن جوش إليثورب نفى الشائعات بعد قراءة منشور روب على تويتر. وكما قال: "لم vibe أحدٌ بكتابة كودٍ برمجيٍّ فاشل. لم يقم شخصٌ غير متخصصٍ في الهندسة بدفع كود الإنتاج وتعطيل محرك التداول. لم يكن ذلك متعمداً. لم يكن ذلك بسبب فشل كوين بيس في تصميم نظام احتياطي. تحدث الأمور عند التوسع، فلا تدع من ينشرون الشائعات يروجون لقصصٍ خيالية."