بررسی ۱۲ شکست واقعی AI نشان می‌دهد مدل خوب، بدون طراحی درست کسب‌وکار و نظارت انسانی، تضمینی برای موفقیت نیست
هوش مصنوعی در چند سال گذشته از یک فناوری آزمایشگاهی به یکی از جدی‌ترین ابزارهای تحول کسب‌وکار تبدیل شده است؛ از استخدام و خدمات مشتری گرفته تا سلامت، خرده‌فروشی و تصمیم‌گیری‌های دولتی. اما در کنار موج سرمایه‌گذاری و نمونه‌های موفق، فهرست شکست‌های پرهزینه AI هم در حال طولانی‌تر شدن است.
گزارش When AI Fails نوشته بردلی دبلیو. پیترسن که در آوریل ۲۰۲۶ منتشر شده، ۱۲ نمونه مستند از شکست پروژه‌های AI را در حوزه‌هایی مانند سلامت، خدمات مالی، خرده‌فروشی، استخدام، خدمات مشتری و دولت بررسی می‌کند. نکته محوری گزارش این است که در بسیاری از این نمونه‌ها، مسئله اصلی «کار نکردن مدل» نبوده؛ بلکه شکست در تعریف مسئله، مدیریت ریسک، اعتبارسنجی خروجی و طراحی فرایند استفاده از AI رخ داده است.
از واتسون تا Zillow؛ وقتی فناوری به مسئله اشتباه وصل می‌شود
یکی از نمونه‌های قدیمی‌تر، پروژه IBM Watson for Oncology در مرکز سرطان MD Anderson است. این پروژه بین سال‌های ۲۰۱۳ تا ۲۰۱۷ توسعه یافت و طبق گزارش پیترسن، حدود ۶۲ میلیون دلار هزینه داشت، اما در نهایت کنار گذاشته شد. مسئله فقط توانایی فنی سیستم نبود؛ بلکه فاصله میان آنچه سیستم در محیط کنترل‌شده می‌توانست انجام دهد و چیزی که در محیط واقعی پزشکی مورد انتظار بود، به یک مشکل اساسی تبدیل شد.
نمونه دیگر Zillow Offers است؛ جایی که الگوریتم برای تخمین قیمت و خرید خانه مورد استفاده قرار گرفت، اما مدل کسب‌وکار و ریسک پیش‌بینی قیمت در بازار واقعی نتوانست با واقعیت اقتصادی همراه شود. Zillow در سال ۲۰۲۱ این فعالیت را متوقف کرد؛ گزارشی که در مجموعه پیترسن به‌عنوان یکی از نمونه‌های شاخص شکست AI در کسب‌وکار بررسی شده است.
در اینجا یک نکته مهم وجود دارد: حتی اگر یک مدل در پیش‌بینی عملکرد قابل قبولی داشته باشد، این موضوع به‌تنهایی به معنی موفقیت محصول نیست. تصمیم کسب‌وکار، شرایط بازار، کیفیت داده و نحوه تبدیل خروجی مدل به یک اقدام واقعی، همگی بخشی از مسئله‌اند.
وقتی AI با مشتری روبه‌رو می‌شود
یکی از قابل‌توجه‌ترین نمونه‌ها، چت‌بات Air Canada است.
یک مسافر درباره شرایط تخفیف بلیت برای سوگواران از چت‌بات شرکت سؤال کرد و چت‌بات اطلاعات نادرستی ارائه داد. دادگاه حل اختلاف مدنی بریتیش کلمبیا در سال ۲۰۲۴، شرکت را بابت اطلاعات نادرست ارائه‌شده از طریق چت‌بات مسئول دانست. استدلال شرکت مبنی بر اینکه چت‌بات یک سیستم مستقل است، مسئولیت شرکت را از بین نبرد.
این پرونده یک پیام روشن برای کسب‌وکارها دارد: وقتی AI در نقطه تماس با مشتری قرار می‌گیرد، خروجی آن دیگر صرفاً یک پاسخ فنی نیست؛ بخشی از ارتباط رسمی شرکت با مشتری محسوب می‌شود.
مشکل مشابهی در پروژه اتوماسیون سفارش‌گیری McDonald’s نیز دیده شد. همکاری این شرکت با IBM برای سفارش‌گیری صوتی در درایو-ترو پس از مجموعه‌ای از خطاهای سفارش متوقف شد. گزارش‌های بعدی نشان دادند مسئله مهم فقط میزان خطای سیستم نبود؛ بلکه زمانی که سیستم دچار ابهام می‌شد، سازوکار مناسبی برای تشخیص خطا و انتقال به نیروی انسانی وجود نداشت.
داده خوب نیست، مدل هم خوب نیست
نمونه مشهور Amazon نیز نشان می‌دهد مشکل می‌تواند حتی قبل از اجرای مدل آغاز شده باشد.
ابزار آزمایشی استخدام Amazon با استفاده از رزومه‌های حدود یک دهه آموزش دیده بود؛ رزومه‌هایی که بخش بزرگی از آنها متعلق به مردان بود. نتیجه این شد که سیستم الگوهای موجود در داده‌های تاریخی را یاد گرفت و به رزومه برخی زنان امتیاز پایین‌تری داد. Amazon در نهایت این پروژه را کنار گذاشت.
این اتفاق یک سؤال مهم ایجاد می‌کند:
اگر داده گذشته خودش سوگیری داشته باشد، آیا می‌توان انتظار داشت AI صرفاً با «هوشمندتر شدن» تصمیمی بی‌طرفانه تولید کند؟
در چنین شرایطی، مسئله فقط انتخاب مدل نیست؛ کیفیت داده، طراحی معیار ارزیابی و حتی تعریف «تصمیم درست» باید قبل از استقرار سیستم بررسی شود.
خطرناک‌ترین شکست‌ها الزاماً فنی نیستند
در میان ۱۲ نمونه گزارش، مواردی وجود دارد که هزینه شکست فقط مالی یا اعتباری نبوده است.
چت‌بات Tessa که برای کمک به افراد درگیر اختلالات خوردن طراحی شده بود، پس از اضافه شدن قابلیت‌های مبتنی بر هوش مصنوعی پاسخ‌هایی درباره کاهش وزن و رژیم غذایی ارائه کرد که برای این گروه از کاربران می‌توانست آسیب‌زا باشد. این چت‌بات در سال ۲۰۲۳ غیرفعال شد.
در چنین پروژه‌ای، «دقت متوسط» یک معیار کافی نیست. ممکن است سیستم در صدها تعامل پاسخ مناسبی بدهد، اما یک پاسخ اشتباه در موقعیت حساس، پیامد بسیار بزرگ‌تری داشته باشد.
همین مسئله در استفاده از AI در حوزه‌های حقوقی، پزشکی، منابع انسانی و خدمات عمومی اهمیت بیشتری پیدا می‌کند؛ جایی که خطا فقط به معنی «پاسخ اشتباه» نیست و می‌تواند به تصمیم اشتباه درباره یک انسان منجر شود.
وقتی گزارش را AI می‌نویسد و کسی آن را نمی‌خواند
یکی دیگر از نمونه‌های مورد اشاره در گزارش، ماجرای Deloitte Australia است. گزارشی که برای دولت استرالیا تهیه شده بود، شامل منابع دانشگاهی جعلی و یک نقل‌قول ساختگی منتسب به رأی دادگاه بود و پس از آشکار شدن خطاها، نسخه اصلاح‌شده ارائه و بخشی از هزینه بازپرداخت شد.
این نمونه شاید برای شرکت‌هایی که اکنون از AI در تولید گزارش، تحلیل بازار، تحقیق و تولید محتوا استفاده می‌کنند، آشناتر باشد.
مشکل اینجا «توهم AI» به‌تنهایی نیست.
مشکل اصلی این است که چه کسی قرار بوده خروجی را بررسی کند؟
اگر یک مدل بتواند در چند دقیقه یک گزارش ۲۰۰ صفحه‌ای تولید کند اما هیچ فرایند جدی برای راستی‌آزمایی منابع وجود نداشته باشد، سرعت تولید محتوا در واقع می‌تواند سرعت تولید خطا را هم بالا ببرد.
پنج نقطه‌ای که بیشتر از خود فناوری شکست می‌خورند
پیترسن پس از کنار هم گذاشتن این ۱۲ نمونه، به یک الگوی مشترک می‌رسد. به گفته او، پنج بخش بیش از سایر قسمت‌ها در این شکست‌ها درگیر بوده‌اند:
- تعریف نادرست یا ناقص مسئله
- تصمیم‌گیری ضعیف درباره اینکه اصلاً چه کاری را باید به AI سپرد
- طبقه‌بندی ناکافی ریسک
- نبود نظارت انسانی مؤثر
- اعتبارسنجی نکردن خروجی پیش از رسیدن آن به دنیای واقعی
نکته قابل‌توجه این است که این پنج مورد، برخلاف تصور رایج، عمدتاً مسئله مهندسی مدل نیستند؛ بیشتر به مدیریت، طراحی فرایند و حاکمیت فناوری مربوط می‌شوند.
AI قرار نیست جای «تصمیم» را بگیرد
شاید مهم‌ترین درس این مجموعه همین باشد.
در بسیاری از سازمان‌ها، مسیر پیاده‌سازی AI از یک سؤال تکنولوژیک شروع می‌شود:
«با این مدل چه کاری می‌توانیم انجام دهیم؟»
در حالی که سؤال مهم‌تر باید این باشد:
«کدام تصمیم را می‌خواهیم بهتر بگیریم و اگر AI اشتباه کرد، چه کسی و چگونه متوجه می‌شود؟»
این تفاوت ظاهراً ساده، می‌تواند مرز میان یک ابزار مفید و یک پروژه پرهزینه باشد.
در یک سیستم خدمات مشتری، شاید بتوان خطای AI را با انتقال مکالمه به اپراتور اصلاح کرد. اما در استخدام، اعتباردهی مالی، پزشکی یا تصمیمات دولتی، ممکن است همان خطا پیش از آنکه انسان متوجه شود، اثر خود را گذاشته باشد.
به همین دلیل، «Human in the Loop» نباید صرفاً یک عبارت در اسناد حاکمیت AI باشد؛ باید بخشی از طراحی واقعی محصول باشد.
مسئله برای بازار ایران چیست؟
این بحث برای کسب‌وکارهای ایرانی نیز صرفاً یک موضوع نظری نیست.
همزمان با افزایش استفاده از مدل‌های زبانی، چت‌بات‌ها، ابزارهای تحلیل داده و اتوماسیون فرایندها، بسیاری از شرکت‌ها احتمالاً به سمت استفاده از AI در پشتیبانی مشتری، منابع انسانی، بازاریابی، فروش و تولید محتوا حرکت خواهند کرد.
اما اگر سازمان فقط هزینه خرید یا توسعه مدل را ببیند و هزینه داده، نظارت، ارزیابی، امنیت، کنترل خروجی و مسئولیت‌پذیری را نادیده بگیرد، ممکن است بخش مهمی از ریسک را به آینده منتقل کند.
AI می‌تواند هزینه و زمان انجام بسیاری از کارها را کاهش دهد؛ اما حذف انسان از فرایند، لزوماً به معنی حذف هزینه خطا نیست.
حتی ممکن است برعکس باشد: هرچه تصمیم مهم‌تر باشد، هزینه یک خطای کوچک AI می‌تواند بزرگ‌تر شود.
جمع‌بندی
۱۲ نمونه بررسی‌شده در گزارش When AI Fails از یک واقعیت مهم پرده برمی‌دارند: شکست یک پروژه AI لزوماً به این معنی نیست که «هوش مصنوعی کار نمی‌کند».
گاهی مدل کار می‌کند، اما مسئله اشتباه انتخاب شده است.
گاهی داده مشکل دارد.
گاهی خروجی قبل از اجرا بررسی نمی‌شود.
گاهی سازمان بیش از حد به اتوماسیون اعتماد می‌کند.
و گاهی هیچ‌کس دقیقاً مشخص نکرده است که وقتی ماشین اشتباه کرد، چه کسی باید جلوی آن را بگیرد.
بنابراین شاید سؤال درست درباره آینده AI این نباشد که «این فناوری چقدر هوشمند شده است؟»
سؤال مهم‌تر این است:
«سازمان‌ها برای زمانی که AI اشتباه می‌کند، چقدر آماده‌اند؟»
منبع اصلی: When AI Fails: Twelve case studies, two analyst forecasts, and one architectural diagnosis، Bradley W. Petersen، April 2026.
لینک کوتاه: