هوش مصنوعی در دام اطلاعات پزشکی جعلی

تصور کنید یک چت بات هوش مصنوعی یک بیماری کاملاً ساختگی را با جزئیات دقیق برای شما توضیح دهد! پژوهش جدید نشان می دهد که هوش مصنوعی به راحتی تحت تأثیر اطلاعات پزشکی جعلی قرار می گیرد و حتی آن ها را بسط می دهد. اما یک راه حل ساده می تواند این خطرات را تا نصف کاهش دهد.

به گزارش تین نیوز به نقل از ایتنا، آیا تاکنون نام سندرم کاسپر-لو (Casper-Lew Syndrome) یا بیماری هلکند (Helkand) را شنیده اید؟ یا شاید اصطلاحاتی مانند گلبول های سیاه و اکوی برگشتی طوفان خون کلیوی به گوش شما خورده باشد؟

اگر پاسخ شما منفی است، جای نگرانی وجود ندارد. تمامی این موارد، اصطلاحات و شرایط پزشکی ساختگی هستند که در واقعیت وجود خارجی ندارند.

پژوهش های جدیدی نشان می دهد که چت بات های هوش مصنوعی (AI) این مفاهیم جعلی را به عنوان واقعیت پذیرفته اند و حتی توضیحات مفصلی برای آن ها ارائه کرده اند.

آسیب پذیری هوش مصنوعی در برابر اطلاعات نادرست

بر اساس مطالعه ای که در مجله Communications Medicine منتشر شده است، چت بات های هوش مصنوعی پرکاربرد، در برابر اطلاعات پزشکی نادرست بسیار آسیب پذیر هستند. این سیستم ها نه تنها داده های جعلی را به عنوان واقعیت می پذیرند، بلکه آن ها را بسط داده و توضیحات به ظاهر متقاعدکننده ای ارائه می دهند.

دکتر محمود عمر، پژوهشگر ارشد و مشاور مستقل تیم تحقیقاتی مونت سینای، در این باره می گوید: یافته های ما نشان می دهد که چت بات های هوش مصنوعی به سادگی تحت تأثیر اطلاعات نادرست پزشکی قرار می گیرند، چه این اطلاعات به صورت عمدی وارد شده باشند و چه ناخواسته. این سیستم ها نه تنها داده های اشتباه را تکرار می کنند، بلکه اغلب آن ها را گسترش داده و توضیحات کاملاً ساختگی برای شرایط غیرواقعی ارائه می دهند.

نمونه هایی از پاسخ های توهم آمیز هوش مصنوعی

در این پژوهش، برخی از پاسخ های گمراه کننده چت بات ها مورد بررسی قرار گرفت:

•   سندرم کاسپر-لو به عنوان «یک بیماری عصبی نادر با علائمی مانند تب، سفتی گردن و سردرد» توصیف شد.

•   بیماری هلکند نیز به عنوان «یک اختلال ژنتیکی نادر همراه با سوءجذب روده ای و اسهال» معرفی گردید.

در حالی که هیچ یک از این بیماری ها وجود خارجی ندارند، هوش مصنوعی آن ها را با اطمینان کامل توضیح داد. پژوهشگران این پدیده را «توهم هوش مصنوعی» می نامند؛ یعنی تولید اطلاعات نادرست اما به ظاهر معتبر توسط مدل های زبانی.

راه حل ساده اما مؤثر: هشدارهای تک خطی

خبر امیدوارکننده این است که افزودن یک هشدار ساده به دستورالعمل های هوش مصنوعی، تأثیر چشمگیری در کاهش این توهمات دارد.

در این مطالعه، محققان ۳۰۰ پرسش پزشکی شامل اصطلاحات ساختگی (مانند «نوروستاتین سرم» یا «علامت مارپیچ قلبی») را به شش چت بات مختلف ارائه دادند. نتایج نشان داد که ۵۰ تا ۸۲ درصد از پاسخ ها حاوی اطلاعات نادرست بودند.

اما وقتی یک هشدار یک خطی مبنی بر احتمال نادرست بودن اطلاعات به پرسش ها اضافه شد، نرخ توهم به حدود ۴۵ درصد کاهش یافت. در مورد ChatGPT-4o (بهترین مدل آزمایش شده)، این میزان از ۵۰ درصد به کمتر از ۲۵ درصد رسید.

دکتر ایال کلنگ، سرپرست بخش هوش مصنوعی مولد در دانشکده پزشکی ایکان مونت سینای، در این رابطه اظهار داشت: یک یادآوری ایمنی ساده و به موقع، تفاوت قابل توجهی ایجاد کرد و خطاها را تقریباً نصف کاهش داد. این نشان می دهد که می توان این ابزارها را ایمن تر ساخت، مشروط بر اینکه تمهیدات حفاظتی به درستی اعمال شوند.

این تیم قصد دارد در مراحل بعدی پژوهش، از سوابق واقعی بیماران استفاده کرده و دستورالعمل های ایمنی پیشرفته تری را آزمایش کند.

دکتر گیریش نادکارنی، مدیر ارشد هوش مصنوعی سیستم سلامت مونت سینای، خاطرنشان کرد: «مطالعه ما یک نقطه کور خطرناک در سیستم های هوش مصنوعی فعلی را آشکار می سازد: واکنش های مطمئن اما کاملاً اشتباه به اطلاعات نادرست. راه حل، حذف هوش مصنوعی از پزشکی نیست، بلکه طراحی ابزارهایی است که بتوانند ورودی های مشکوک را شناسایی کرده و با احتیاط پاسخ دهند، در حالی که نظارت انسانی در کانون تصمیم گیری باقی بماند.»

وی افزود: «هنوز به نقطه مطلوب نرسیده ایم، اما با اقدامات ایمنی هوشمندانه، این هدف دست یافتنی است.»

این پژوهش نشان می دهد که روش اصطلاحات جعلی می تواند به عنوان یک ابزار ساده برای تست استرس چت بات های هوش مصنوعی مورد استفاده قرار گیرد، پیش از آنکه در محیط های حساسی مانند پزشکی به آن ها اعتماد شود.