هوش مصنوعی در کدام دسته ها بیشتر اشتباه میکند؟ (مواردی که صحت سنجی لازم دارند)

هیچ هوش مصنوعی 🤖 واحدی وجود ندارد که بگوییم همیشه یا بیشتر از بقیه اشتباه میکند، زیرا نرخ خطا به عوامل متعددی مانند مدل پایه، داده‌ های آموزشی، نحوه بهینه‌ سازی و نوع سوال کاربر بستگی دارد.

با این حال، تحقیقات و بررسی‌ های مستقل نشان میدهند که هوش‌ های مصنوعی در حوزه‌ های خاصی ریسک بالاتری برای خطا، توهم یا سوگیری دارند. در ادامه این مطلب انزل وب این دسته ها را بیشتر بررسی میکینم.

دسته هایی که هوش مصنوعی در آن بیشتر پاسخ های اشتباه میدهد

Categories in which AI gives the most wrong answers 

هوش مصنوعی ها با وجود پیشرفت زیاد، هنوز در بعضی موضوعات اشتباه های جدی میکنند. درگزارشی که لایف هکر، روزنامه نیورک تایمز از صحت سنجی پاسخ های Google AI Overview منتشر کرده است میزان درستی پاسخ ها را ۹۰% تشخصص داده شده است که این یعنی از هر ۱۰ پاسخ یکی آنها غلط است!

نکته مهم این است که معمولا مشکل فقط یک مدل خاص نیست؛ بلکه بعضی دسته های محتوا و سوال ها ذاتا پرریسک هستند و احتمال خطا در آنها بیشتر است. شناخت این حوزه ها کمک میکند کمتر فریب پاسخ های اشتباه اما قانع کننده را بخوریم. و برای هر پاسخ شخصا به دنبال صحت سنجی نیز برویم.

در ادامه، دسته‌ های پرریسک که در آنها هوش‌های مصنوعی (به ویژه مدل‌ های زبانی بزرگ یا LLM) بیشتر دچار خطا میشوند را شناسایی و تحلیل میکنیم.

۱- حوزه‌ های تخصصی و پیچیده (پزشکی، حقوقی، مهندسی)

هوش‌ های مصنوعی ابزارهای عمومی هستند، نه متخصص. وقتی از آنها در حوزه‌ های نیازمند دقت مطلق سوال میپرسید، ریسک خطا به شدت افزایش مییابد. مدل‌ ها بر اساس احتمالات کلمات پیش میروند، نه بر اساس درک عمیق از قوانین فیزیک، بدن انسان یا قوانین حقوقی. آنها ممکن است اطلاعاتی را با اطمینان کامل اما کاملا غلط ارائه دهند (پدیده Hallucination). این موارد میتوانید شامل تجویز دارو، تفسیر آزمایش‌ های پزشکی، یا استناد به پرونده‌ های حقوقی خاص باشد.

تمام مدل‌ های عمومی (مثل GPT, Claude, Gemini) در صورتی که بدون دسترسی به پایگاه داده‌ های تخصصی بروز (مخصوصا در زمان قطعی اینترنت ایران و استفاده از مدل های هوش مصنوعی داخلی) و بدون بررسی توسط متخصص پاسخ دهند، در این بخش پرریسک هستند.

۲- اطلاعات بروز و رویدادهای لحظه‌ای

مدل‌ه ای زبانی دانش خود را بر اساس داده‌ هایی که تا تاریخ مشخصی آموزش دیدند، میسازند. اگر مدل به اینترنت متصل نباشد (قابلیت Search و جستجو در وب را نداشته باشد)، نمیتواند از رویدادهای پس از تاریخ آموزش خود اطلاع داشته باشد. حتی مدل‌ های متصل به اینترنت نیز ممکن است در تفسیر اخبار پیچیده یا تحلیل روند بازارهای مالی نوسانی دچار خطا شوند. از این موارد میتوان به پیشبینی لحظه ای قیمت ارزهای دیجیتال برای ترید، قیمت لحظه‌ ای سهام، نتایج ورزشی امروز، یا جزئیات یک حادثه که ساعتی پیش رخ داده است.

۳- استدلال ریاضی و منطقی پیچیده

اگرچه مدل‌ های جدید در ریاضیات پیشرفت کردند، اما هنوز در مسائل چندمرحله‌ ای و پیچیده ضعیف عمل میکنند. هوش مصنوعی به جای محاسبه، اغلب پیش‌ بینی عدد بعدی را انجام میدهد. در مسائل چندگامی، یک خطای کوچک در گام اول، کل نتیجه را غلط میکند. نمونه ای از این موارد میتوان به حل مسائل ریاضی دانشگاهی، کدنویسی پیچیده با باگ‌های پنهان یک کد، یا تحلیل منطقی پارادوکس‌ ها اشاره کرد.

۴- منابع و استناد دهی

بسیاری از کاربران از هوش مصنوعی میخواهند که برای ادعاهای خود منبع بیاورد. هوش‌ های مصنوعی تمایل دارند منابعی بسازند که وجود خارجی ندارند. آنها عنوان مقاله، نام نویسنده و سال انتشار را به شکلی منطقی اما غلط تولید میکنند. حتی در برخی موارد دیده شده است که برخی سرویس های با رپرتاژ اگهی های فیک در سایت ها خود را به عنوان یک محصوصل برتر و معتبر معرفی میکنند و هوش مصنوعی نیز از این اطلاعات استفاده کرده و در پیشنهادهای خود آنها را در صدر لیست قرار میدهد، پدیده ای که برخی آن Laundering AI Authority یا LLM Grooming  را نامیدند.

۵- سوالات سوگیر ی‌آمیز و حساسیت‌ های فرهنگی

هوش‌ های مصنوعی از داده‌ های اینترنت آموزش دیدند و در کشورهای مختلف مثل چین (دیپ سیک) یا گروک (آمریکا) که خود حاوی سوگیری‌ های انسانی است. مثلا شما در دیپ سیک اگر سوالات بر ضد دولت چین بپرسید با پاسخ های متناقض یا غیر صحیحی مواجه خواهید شد که کاملا دستکاری در مدل در آن مشهود است.

یا اگر در گروک در مورد مقایسه ایلان ماسک (مالک کمپانی ایکس و گروک) سوال بپرسید احتامل اینکه مدل ایلان ماسک را ترجیح دهید بسیار بالاست.

ترجیح و انتخاب ایلان ماسک توسط گروک به کریستیانو رونالدو در یک سوال که کدام یک بدن بهتری دارند؟

مدل‌ ها ممکن است در پاسخ به سوالات مرتبط با نژاد، جنسیت، مذهب یا سیاست، ناخودآگاه تعصبات موجود در داده‌ های آموزشی را بازتولید کنند. این موضوع در مدل‌های کوچک‌ تر که روی داده‌ های کمتر یا تمیزتر آموزش ندیده‌اند، بیشتر دیده میشود. البته چند وقت پیش جیمینی هم در تولید تصاویر نژاد پرستانه در یکی از مدل های خود سرو صدایی بسیار کرد.

برای اینکه در دام اطلاعات غلط نایفتیم جکار کنیم؟

اگر از مدل‌ های قدیمی‌، مدل های لوکال یا میان‌ رده یا مدل های داخلی که به اینترنت دسترسی ندارند استفاده میکنید باید بدانید که نرخ خطا در آنها بالاست، پس همیشه پاسخ های خود را با جستجو در اینترنت و منابع معتبر صحت سنجی کنید.

برای اطلاعات حیاتی (سلامت، مالی، حقوقی) همیشه منبع اصلی یا متخصص انسانی را چک کنیدو تجریحا از مدل‌ هایی استفاده کنید که به اینترنت متصل هستند و منابع را شفاف ارائه میدهند. اگر برای کار مهمی از هوش مصنوعی استفاده میکنید، ابتدا با سوالات شناخته‌ شده پاسخ‌ های آن را بسنجید.

دقت کنید برخی مدل ها اگر تعداد گفتگو در یک چت زیاد باشد مخصوصا در نسخه های رایگان آنها که در داخل کشور استفاده میشوند محدودیت حافظه برای هر چت دارند و میتوانند کم کم به سمت تولید پاسخ های اشتباه بروند.

در نهایت همانطور که در مطلب هنر پراپمت نویسی اشاره کردیم سوالات خود را شفاف، با زمینه کامل از هوش مصنوعی درخواست کنید که اگر نمیداند، بگوید نمیدانم تا از حدس زدن خودداری کند.

جمع‌ بندی

هوش مصنوعی در همه زمینه ها یکسان عمل نمیکند. بیشترین خطاها معمولا در حوزه های پزشکی، حقوقی، مالی، اخبار فوری و منابع علمی دیده میشود. هرچه موضوع حساس تر و به روزتر باشد، احتمال اشتباه AI بیشتر میشود. بهترین روش استفاده از AI این است که آن را یک دستیار کمکی بدانیم، نه منبع قطعی حقیقت. برای ایده‌ پردازی، ترجمه، و خلاصه‌ سازی تقریبا همه مدل‌ ها عملکرد قابل قبولی دارند.

نظر و پیشنهاد شما؟

آیا تابحال شما اسیر پاسخ های اشتباه هوش مصنوعی شدید؟ در کدام زمینه و کدام ابزار هوش مصنوعی بود؟ تجربه خود از اتفاقاتی که با پاسخ های اشتباه هوش مصنوعی چه کوچک چه بزرگ داشته اید را در بخش نظرات با ما و دیگران به اشتراک بگذارید.