مهندسی آشوب و تکنیک‌های تزریق خطا را برای ساخت سیستم‌های انعطاف‌پذیرتر و قابل‌اطمینان‌تر کاوش کنید. یاد بگیرید چگونه به طور پیشگیرانه نقاط ضعف را شناسایی و پایداری سیستم را در سطح جهانی بهبود بخشید.
مهندسی آشوب: راهنمای عملی برای تزریق خطا
در چشم‌اندازهای نرم‌افزاری پیچیده و توزیع‌شده امروزی، تضمین انعطاف‌پذیری و قابلیت اطمینان سیستم امری حیاتی است. روش‌های تست سنتی اغلب در کشف آسیب‌پذیری‌های پنهانی که تحت شرایط دنیای واقعی پدیدار می‌شوند، کوتاهی می‌کنند. اینجاست که مهندسی آشوب وارد می‌شود – یک رویکرد پیشگیرانه برای شناسایی نقاط ضعف با وارد کردن عمدی خرابی به سیستم‌های شما.
مهندسی آشوب چیست؟
مهندسی آشوب، رشته‌ای از آزمایش بر روی یک سیستم به منظور ایجاد اطمینان از توانایی آن برای مقاومت در برابر شرایط آشفته در محیط پروداکشن است. این به معنای خراب کردن چیزها برای خود خراب کردن نیست؛ بلکه به معنای معرفی سیستماتیک و عمدی خرابی‌های کنترل‌شده برای کشف نقاط ضعف پنهان و بهبود استحکام سیستم است.
آن را به عنوان یک آزمایش کنترل‌شده در نظر بگیرید که در آن 'آشوب' را به محیط خود تزریق می‌کنید تا ببینید سیستم شما چگونه پاسخ می‌دهد. این به شما امکان می‌دهد تا به طور پیشگیرانه مسائل بالقوه را قبل از تأثیرگذاری بر کاربران خود شناسایی و برطرف کنید.
اصول مهندسی آشوب
اصول اصلی مهندسی آشوب چارچوبی را برای انجام آزمایش‌ها به شیوه‌ای امن و کنترل‌شده فراهم می‌کند:
- تعریف حالت پایدار: یک معیار پایه از رفتار عادی سیستم (مانند تأخیر، نرخ خطا، استفاده از منابع) را اندازه‌گیری کنید. این یک نقطه مرجع برای مقایسه رفتار سیستم در طول و بعد از آزمایش ایجاد می‌کند.
- فرموله کردن یک فرضیه: پیش‌بینی کنید که سیستم تحت شرایط خرابی خاص چگونه رفتار خواهد کرد. این به تمرکز آزمایش کمک کرده و مبنایی برای ارزیابی نتایج فراهم می‌کند. به عنوان مثال: «اگر یکی از نسخه‌های پشتیبان پایگاه داده از کار بیفتد، سیستم به ارائه درخواست‌ها با حداقل تأثیر بر تأخیر ادامه خواهد داد.»
- اجرای آزمایش‌ها در محیط پروداکشن: در حالت ایده‌آل، آزمایش‌ها باید در محیط پروداکشن (یا یک محیط استیجینگ که به دقت از پروداکشن تقلید می‌کند) اجرا شوند تا شرایط دنیای واقعی به درستی شبیه‌سازی شوند.
- خودکارسازی آزمایش‌ها برای اجرای مداوم: خودکارسازی امکان اجرای مکرر و مداوم آزمایش‌ها را فراهم می‌کند و نظارت و بهبود مستمر انعطاف‌پذیری سیستم را ممکن می‌سازد.
- به حداقل رساندن شعاع انفجار (Blast Radius): تأثیر آزمایش‌ها را به زیرمجموعه کوچکی از کاربران یا سیستم‌ها محدود کنید تا خطر اختلال به حداقل برسد.
تزریق خطا چیست؟
تزریق خطا یک تکنیک خاص در مهندسی آشوب است که شامل معرفی عمدی خطاها یا خرابی‌ها به یک سیستم برای آزمایش رفتار آن تحت فشار است. این مکانیسم اصلی برای معرفی 'آشوب' و تأیید فرضیه‌های شما در مورد انعطاف‌پذیری سیستم است.
اساساً، شما در حال شبیه‌سازی سناریوهای خرابی در دنیای واقعی هستید (مانند از کار افتادن سرور، قطعی شبکه، پاسخ‌های تأخیردار) تا ببینید سیستم شما چگونه با آنها برخورد می‌کند. این به شما کمک می‌کند تا نقاط ضعف در معماری، کد و رویه‌های عملیاتی خود را شناسایی کنید.
انواع تزریق خطا
انواع مختلفی از تکنیک‌های تزریق خطا وجود دارد که هر یک جنبه‌های مختلفی از سیستم را هدف قرار می‌دهند:
۱. خطاهای منابع
این خطاها اتمام منابع یا رقابت بر سر منابع را شبیه‌سازی می‌کنند:
- خطاهای CPU: جهش‌های ناگهانی CPU را برای شبیه‌سازی بار زیاد یا رقابت بر سر منابع معرفی کنید. شما ممکن است افزایش ناگهانی استفاده از CPU را با ایجاد چندین فرآیند محاسباتی سنگین شبیه‌سازی کنید. این می‌تواند مشکلات مربوط به توانایی برنامه شما در مدیریت بار افزایش‌یافته را آشکار کند یا گلوگاه‌های عملکرد را شناسایی کند. مثال: یک پلتفرم معاملات مالی که به دلیل اخبار فوری، با افزایش ناگهانی فعالیت‌های معاملاتی مواجه می‌شود.
- خطاهای حافظه: نشت حافظه یا اتمام آن را برای آزمایش نحوه مدیریت شرایط کمبود حافظه توسط سیستم شبیه‌سازی کنید. این ممکن است شامل تخصیص مقادیر زیادی حافظه یا ایجاد عمدی نشت حافظه در برنامه شما باشد. مثال: یک وب‌سایت تجارت الکترونیک که با یک فروش فوق‌العاده مواجه شده و منجر به هجوم عظیم کاربران و افزایش استفاده از حافظه می‌شود.
- خطاهای ورودی/خروجی دیسک: دیسک‌های کند یا در حال خرابی را برای آزمایش نحوه پاسخ سیستم به گلوگاه‌های ورودی/خروجی شبیه‌سازی کنید. این کار را می‌توان با ایجاد فرآیندهایی که به طور مداوم فایل‌های بزرگ را از دیسک می‌خوانند یا روی آن می‌نویسند، انجام داد. مثال: یک سرویس پخش رسانه که به دلیل انتشار یک برنامه جدید محبوب، افزایش ورودی/خروجی دیسک را تجربه می‌کند.
۲. خطاهای شبکه
این خطاها مشکلات و اختلالات شبکه را شبیه‌سازی می‌کنند:
- تزریق تأخیر (Latency Injection): تأخیر در ارتباطات شبکه را برای شبیه‌سازی اتصالات کند شبکه معرفی کنید. این کار را می‌توان با استفاده از ابزارهایی مانند `tc` (کنترل ترافیک) در لینوکس یا با ایجاد تأخیر در سرورهای پروکسی انجام داد. مثال: یک برنامه توزیع‌شده جهانی که تأخیر شبکه بین مناطق مختلف را تجربه می‌کند.
- از دست رفتن بسته‌ها (Packet Loss): از دست رفتن بسته‌ها را برای آزمایش نحوه مدیریت اتصالات شبکه غیرقابل اعتماد توسط سیستم شبیه‌سازی کنید. باز هم، از `tc` یا ابزارهای مشابه می‌توان برای حذف بسته‌ها با نرخ مشخص استفاده کرد. مثال: یک سرویس Voice-over-IP (VoIP) که به دلیل ازدحام شبکه، از دست رفتن بسته‌ها را تجربه می‌کند.
- پارتیشن‌بندی شبکه (Network Partitioning): یک قطعی کامل شبکه یا جداسازی برخی از اجزا را شبیه‌سازی کنید. این کار را می‌توان با مسدود کردن ترافیک شبکه بین سرورها یا مناطق خاص با استفاده از فایروال‌ها یا سیاست‌های شبکه انجام داد. مثال: یک سرویس مبتنی بر ابر که قطعی شبکه منطقه‌ای را تجربه می‌کند.
- خطاهای DNS: خطاهای تحلیل DNS یا پاسخ‌های نادرست DNS را شبیه‌سازی کنید. شما می‌توانید به طور موقت رکوردهای DNS را برای اشاره به آدرس‌های نادرست تغییر دهید یا عدم دسترسی به سرور DNS را شبیه‌سازی کنید. مثال: یک برنامه جهانی که به دلیل حمله DDoS به سرورهای DNS، با مشکلات تحلیل DNS در یک منطقه خاص مواجه می‌شود.
۳. خطاهای فرآیند
این خطاها خرابی یا خاتمه فرآیندها را شبیه‌سازی می‌کنند:
- کشتن فرآیند (Process Killing): فرآیندهای حیاتی را خاتمه دهید تا ببینید سیستم چگونه بهبود می‌یابد. این یک راه ساده برای آزمایش توانایی سیستم در مدیریت خرابی‌های فرآیند است. می‌توانید از ابزارهایی مانند `kill` در لینوکس یا Task Manager در ویندوز برای خاتمه دادن به فرآیندها استفاده کنید. مثال: یک معماری میکروسرویس که در آن یک سرویس حیاتی ناگهان غیرقابل دسترس می‌شود.
- تعلیق فرآیند (Process Suspension): فرآیندها را به حالت تعلیق درآورید تا غیرپاسخگو شدن آنها را شبیه‌سازی کنید. این کار را می‌توان با استفاده از سیگنال‌هایی مانند `SIGSTOP` و `SIGCONT` در لینوکس انجام داد. مثال: یک استخر اتصال پایگاه داده که اتصالات خود را تمام می‌کند و باعث غیرپاسخگو شدن برنامه می‌شود.
۴. خطاهای حالت
این خطاها شامل خراب کردن یا تغییر حالت سیستم می‌شوند:
- خرابی داده (Data Corruption): به طور عمدی داده‌ها را در پایگاه‌های داده یا کش‌ها خراب کنید تا ببینید سیستم چگونه با داده‌های ناسازگار برخورد می‌کند. این می‌تواند شامل تغییر رکوردهای پایگاه داده، وارد کردن خطا به ورودی‌های کش یا حتی شبیه‌سازی خرابی دیسک باشد. مثال: یک وب‌سایت تجارت الکترونیک که خرابی داده در کاتالوگ محصولات خود را تجربه می‌کند و منجر به قیمت‌گذاری یا اطلاعات نادرست محصول می‌شود.
- انحراف ساعت (Clock Drifting): مشکلات همگام‌سازی ساعت بین سرورهای مختلف را شبیه‌سازی کنید. این کار را می‌توان با استفاده از ابزارهایی که به شما امکان دستکاری ساعت سیستم را می‌دهند، انجام داد. مثال: یک سیستم تراکنش توزیع‌شده که انحراف ساعت بین گره‌های مختلف را تجربه می‌کند و منجر به ناسازگاری در پردازش تراکنش‌ها می‌شود.
۵. خطاهای وابستگی
این خطاها بر خرابی وابستگی‌های خارجی تمرکز دارند:
- عدم دسترسی به سرویس (Service Unavailability): عدم دسترسی به سرویس‌های خارجی (مانند پایگاه‌های داده، APIها) را شبیه‌سازی کنید تا نحوه تنزل ملایم سیستم را آزمایش کنید. این کار را می‌توان با شبیه‌سازی قطعی سرویس با استفاده از ابزارهایی مانند کتابخانه‌های stubbing یا mocking انجام داد. مثال: برنامه‌ای که به یک درگاه پرداخت شخص ثالث متکی است و با قطعی آن مواجه می‌شود.
- پاسخ‌های کند (Slow Responses): پاسخ‌های کند از سرویس‌های خارجی را برای آزمایش نحوه مدیریت مشکلات تأخیر توسط سیستم شبیه‌سازی کنید. این کار را می‌توان با ایجاد تأخیر در پاسخ‌های سرویس‌های ساختگی (mock) انجام داد. مثال: یک برنامه وب که به دلیل بار زیاد سرور پایگاه داده، با کوئری‌های کند پایگاه داده مواجه می‌شود.
- پاسخ‌های نادرست (Incorrect Responses): بازگشت داده‌های نادرست یا غیرمنتظره از سرویس‌های خارجی را برای آزمایش مدیریت خطا شبیه‌سازی کنید. این کار را می‌توان با تغییر پاسخ‌های سرویس‌های ساختگی برای بازگرداندن داده‌های نامعتبر انجام داد. مثال: برنامه‌ای که داده‌های نامعتبر از یک API شخص ثالث دریافت می‌کند و منجر به رفتار غیرمنتظره می‌شود.
ابزارهای تزریق خطا
چندین ابزار و چارچوب می‌توانند به شما در خودکارسازی و مدیریت آزمایش‌های تزریق خطا کمک کنند:
- Chaos Monkey (Netflix): یک ابزار کلاسیک برای خاتمه دادن تصادفی به نمونه‌های ماشین مجازی در محیط پروداکشن. اگرچه ساده است، اما می‌تواند در آزمایش انعطاف‌پذیری زیرساخت‌های مبتنی بر ابر مؤثر باشد.
- Gremlin: یک پلتفرم تجاری برای هماهنگ‌سازی طیف گسترده‌ای از آزمایش‌های تزریق خطا، از جمله خطاهای منابع، خطاهای شبکه و خطاهای حالت. این پلتفرم یک رابط کاربرپسند ارائه می‌دهد و از پلتفرم‌های زیرساختی مختلف پشتیبانی می‌کند.
- Litmus: یک چارچوب مهندسی آشوب منبع‌باز برای کوبرنتیز. این به شما امکان می‌دهد تا آزمایش‌های مهندسی آشوب را به عنوان منابع سفارشی کوبرنتیز تعریف و اجرا کنید.
- Chaos Toolkit: یک جعبه ابزار منبع‌باز برای تعریف و اجرای آزمایش‌های مهندسی آشوب با استفاده از فرمت اعلانی JSON. این از پلتفرم‌ها و یکپارچه‌سازی‌های مختلفی پشتیبانی می‌کند.
- Toxiproxy: یک پروکسی TCP برای شبیه‌سازی خرابی‌های شبکه و برنامه. این به شما امکان می‌دهد تأخیر، از دست رفتن بسته‌ها و سایر اختلالات شبکه را بین برنامه و وابستگی‌های آن معرفی کنید.
- اسکریپت‌های سفارشی: برای سناریوهای خاص، می‌توانید اسکریپت‌های سفارشی را با استفاده از ابزارهایی مانند `tc`، `iptables` و `kill` برای تزریق مستقیم خطا به سیستم بنویسید. این رویکرد حداکثر انعطاف‌پذیری را فراهم می‌کند اما به تلاش دستی بیشتری نیاز دارد.
بهترین شیوه‌ها برای تزریق خطا
برای اطمینان از اینکه آزمایش‌های تزریق خطای شما مؤثر و ایمن هستند، این بهترین شیوه‌ها را دنبال کنید:
- کوچک شروع کنید: با آزمایش‌های ساده شروع کنید و با کسب اطمینان، به تدریج پیچیدگی را افزایش دهید.
- با دقت نظارت کنید: در طول آزمایش‌ها به دقت سیستم خود را نظارت کنید تا هرگونه رفتار غیرمنتظره یا مشکلات بالقوه را تشخیص دهید. از ابزارهای نظارت جامع برای ردیابی معیارهای کلیدی مانند تأخیر، نرخ خطا و استفاده از منابع استفاده کنید.
- خودکارسازی کنید: آزمایش‌های خود را خودکار کنید تا به طور منظم و مداوم اجرا شوند. این به شما امکان می‌دهد تا به طور مداوم انعطاف‌پذیری سیستم را نظارت کرده و رگرسیون‌ها را شناسایی کنید.
- ارتباط برقرار کنید: تیم و ذینفعان خود را در مورد آزمایش‌های آینده مطلع کنید تا از سردرگمی جلوگیری کرده و اطمینان حاصل کنید که همه از خطرات بالقوه آگاه هستند.
- برنامه بازگشت به حالت قبل (Rollback Plan) داشته باشید: یک برنامه بازگشت به حالت قبل واضح در صورت بروز مشکل داشته باشید. این باید شامل مراحلی برای بازگرداندن سریع سیستم به وضعیت قبلی خود باشد.
- یاد بگیرید و تکرار کنید: نتایج هر آزمایش را تجزیه و تحلیل کنید و از یافته‌ها برای بهبود انعطاف‌پذیری سیستم خود استفاده کنید. آزمایش‌های خود را برای تست سناریوهای مختلف خرابی و اصلاح درک خود از رفتار سیستم تکرار کنید.
- همه چیز را مستند کنید: سوابق دقیقی از همه آزمایش‌ها، از جمله فرضیه، مراحل اجرا، نتایج و هرگونه درس آموخته شده، نگه دارید. این مستندات برای آزمایش‌های آینده و به اشتراک‌گذاری دانش در تیم شما بسیار ارزشمند خواهد بود.
- شعاع انفجار را در نظر بگیرید: قبل از انتقال به محیط پروداکشن، با تزریق خطا در سیستم‌های غیرحیاتی یا محیط‌های توسعه شروع کنید. برای محدود کردن تأثیر آزمایش‌ها بر کاربران نهایی، تدابیر امنیتی را اجرا کنید. به عنوان مثال، از feature flagها یا استقرار قناری (canary deployments) برای جداسازی اثرات آزمایش استفاده کنید.
- از مشاهده‌پذیری اطمینان حاصل کنید: شما باید قادر به *مشاهده* اثرات آزمایش‌های خود باشید. این نیازمند زیرساخت قوی ثبت لاگ، ردیابی و نظارت است. بدون مشاهده‌پذیری، نمی‌توانید تأثیر خطاهای تزریق‌شده را به دقت ارزیابی کنید یا علت اصلی هرگونه خرابی را شناسایی کنید.
مزایای تزریق خطا
اتخاذ تزریق خطا به عنوان بخشی از استراتژی مهندسی آشوب شما مزایای متعددی را ارائه می‌دهد:
- بهبود انعطاف‌پذیری سیستم: به طور پیشگیرانه نقاط ضعف سیستم خود را شناسایی و برطرف کنید و آن را در برابر خرابی‌ها انعطاف‌پذیرتر سازید.
- کاهش زمان از کار افتادگی (Downtime): با اطمینان از اینکه سیستم شما می‌تواند به طور ملایم با خرابی‌ها کنار بیاید، تأثیر قطعی‌های غیرمنتظره را به حداقل برسانید.
- افزایش اطمینان: از توانایی سیستم خود برای مقاومت در برابر شرایط آشفته در محیط پروداکشن اطمینان حاصل کنید.
- زمان متوسط سریع‌تر برای بازیابی (MTTR): با تمرین واکنش به حوادث و خودکارسازی رویه‌های بازیابی، توانایی خود را برای بهبودی سریع از خرابی‌ها بهبود بخشید.
- نظارت و هشداردهی پیشرفته: با مشاهده نحوه پاسخ سیستم‌های نظارت و هشداردهی خود به خطاهای تزریق‌شده، شکاف‌ها را در آنها شناسایی کنید.
- درک بهتر از رفتار سیستم: درک عمیق‌تری از نحوه رفتار سیستم خود تحت فشار به دست آورید که منجر به تصمیمات طراحی و عملیاتی آگاهانه‌تر می‌شود.
- بهبود همکاری تیمی: با همکاری در طراحی و اجرای آزمایش‌های مهندسی آشوب، همکاری بین تیم‌های توسعه، عملیات و امنیت را تقویت کنید.
مثال‌های واقعی
چندین شرکت با موفقیت مهندسی آشوب و تزریق خطا را برای بهبود انعطاف‌پذیری سیستم خود پیاده‌سازی کرده‌اند:
- نتفلیکس (Netflix): نتفلیکس، پیشگام در مهندسی آشوب، به طور مشهور از Chaos Monkey برای خاتمه دادن تصادفی به نمونه‌ها در محیط پروداکشن خود استفاده می‌کند. آنها همچنین ابزارهای مهندسی آشوب دیگری مانند Simian Army را برای شبیه‌سازی سناریوهای مختلف خرابی توسعه داده‌اند.
- آمازون (Amazon): آمازون به طور گسترده از مهندسی آشوب برای آزمایش انعطاف‌پذیری سرویس‌های AWS خود استفاده می‌کند. آنها ابزارها و تکنیک‌هایی را برای تزریق خطا به اجزای مختلف زیرساخت خود، از جمله دستگاه‌های شبکه، سیستم‌های ذخیره‌سازی و پایگاه‌های داده، توسعه داده‌اند.
- گوگل (Google): گوگل نیز مهندسی آشوب را به عنوان راهی برای بهبود قابلیت اطمینان خدمات خود پذیرفته است. آنها از تزریق خطا برای آزمایش انعطاف‌پذیری سیستم‌های توزیع‌شده خود و شناسایی حالت‌های بالقوه خرابی استفاده می‌کنند.
- لینکدین (LinkedIn): لینکدین از مهندسی آشوب برای تأیید انعطاف‌پذیری پلتفرم خود در برابر انواع مختلف خرابی‌ها استفاده می‌کند. آنها از ترکیبی از تکنیک‌های تزریق خطای خودکار و دستی برای آزمایش جنبه‌های مختلف سیستم خود استفاده می‌کنند.
- سیلزفورس (Salesforce): سیلزفورس از مهندسی آشوب برای اطمینان از دسترسی بالا و قابلیت اطمینان خدمات ابری خود بهره می‌برد. آنها از تزریق خطا برای شبیه‌سازی سناریوهای مختلف خرابی، از جمله قطعی شبکه، خرابی پایگاه داده و خطاهای برنامه، استفاده می‌کنند.
چالش‌های پیاده‌سازی تزریق خطا
در حالی که مزایای تزریق خطا قابل توجه است، چالش‌هایی نیز برای در نظر گرفتن وجود دارد:
- پیچیدگی: طراحی و اجرای آزمایش‌های تزریق خطا می‌تواند پیچیده باشد، به ویژه در سیستم‌های بزرگ و توزیع‌شده.
- ریسک: همیشه ریسک ایجاد عواقب ناخواسته هنگام تزریق خطا به محیط پروداکشن وجود دارد.
- ابزارها: انتخاب ابزارها و چارچوب‌های مناسب برای تزریق خطا می‌تواند چالش‌برانگیز باشد، زیرا گزینه‌های زیادی در دسترس است.
- فرهنگ: پذیرش مهندسی آشوب نیازمند یک تغییر فرهنگی به سمت پذیرش شکست و یادگیری از اشتباهات است.
- مشاهده‌پذیری: بدون نظارت و ثبت لاگ کافی، ارزیابی تأثیر آزمایش‌های تزریق خطا دشوار است.
شروع کار با تزریق خطا
در اینجا چند مرحله برای شروع کار با تزریق خطا آورده شده است:
- با یک آزمایش ساده شروع کنید: یک سیستم یا جزء غیرحیاتی را انتخاب کنید و با یک آزمایش تزریق خطای اساسی، مانند خاتمه دادن به یک فرآیند یا ایجاد تأخیر، شروع کنید.
- فرضیه خود را تعریف کنید: به وضوح تعریف کنید که انتظار دارید هنگام تزریق خطا چه اتفاقی بیفتد.
- سیستم را نظارت کنید: رفتار سیستم را در طول و بعد از آزمایش به دقت نظارت کنید.
- نتایج را تجزیه و تحلیل کنید: نتایج واقعی را با فرضیه خود مقایسه کرده و هرگونه مغایرت را شناسایی کنید.
- یافته‌های خود را مستند کنید: یافته‌های خود را ثبت کرده و با تیم خود به اشتراک بگذارید.
- تکرار و بهبود: از بینش‌های به دست آمده از آزمایش برای بهبود انعطاف‌پذیری سیستم خود استفاده کنید و فرآیند را با آزمایش‌های پیچیده‌تر تکرار کنید.
نتیجه‌گیری
مهندسی آشوب و تزریق خطا تکنیک‌های قدرتمندی برای ساخت سیستم‌های انعطاف‌پذیرتر و قابل‌اطمینان‌تر هستند. با شناسایی پیشگیرانه نقاط ضعف و بهبود استحکام سیستم، می‌توانید زمان از کار افتادگی را کاهش دهید، اطمینان را افزایش دهید و تجربه کاربری بهتری ارائه دهید. در حالی که چالش‌هایی برای غلبه بر آنها وجود دارد، مزایای پذیرش این شیوه‌ها بسیار بیشتر از خطرات آن است. کوچک شروع کنید، با دقت نظارت کنید و به طور مداوم تکرار کنید تا فرهنگ انعطاف‌پذیری را در سازمان خود ایجاد کنید. به یاد داشته باشید، پذیرش شکست به معنای خراب کردن چیزها نیست؛ بلکه به معنای یادگیری نحوه ساخت سیستم‌هایی است که می‌توانند در برابر هر چیزی مقاومت کنند.
با پیچیده‌تر و توزیع‌شده‌تر شدن سیستم‌های نرم‌افزاری، نیاز به مهندسی آشوب تنها به رشد خود ادامه خواهد داد. با پذیرش این تکنیک‌ها، می‌توانید اطمینان حاصل کنید که سیستم‌های شما برای مقابله با چالش‌های اجتناب‌ناپذیر دنیای واقعی آماده هستند.