چه آزمون پزشکی ChatGPT گذرانده است؟

موضوعی که اخیراً اینترنت را در هم آشفته ساخته است، چیز دیگری نیست جز چت‌گپت، ربات گفتگوی هوش مصنوعی که در نوامبر گذشته رونمایی شد. افراد با آن در گفتگوهای شوخ‌طبعانه و سرگرم‌کننده ارتباط برقرار کرده‌اند تا توانایی گفتگوی آن را آزمایش کنند. چت‌گپت نه تنها انجام‌های بسیاری را به دست آورده است، مانند قبول شدن در برخی از سخت‌ترین آزمون‌ها مانند آزمون پروانه پزشکی آمریکا، آزمونی از مدرسه تجارت وارتون و چهار آزمون از دانشکده حقوق دانشگاه مینسوتا در حقوق اساسی. این انجام شگفت‌انگیز، توجه مدیر عامل توییتر، الان ماسک را به خود جلب کرده است که درباره ربات گفتگوی هوش مصنوعی اظهار نظر کرده و گفت: "مطمئنم همه چیز خوب خواهد شد". بیایید نگاهی بیندازیم به آزمون پزشکی چه کسی را چت‌گپت گذرانده است؟

طلوع چت‌جی‌پی‌تی

لازم به ذکر است شرکت تحقیقاتی Open AI که ماسک و مایکروسافت در آن سرمایه‌گذاری کرده‌اند، ChatGPT را ایجاد کرده است. هر کسی که از این سایت ابزار هوش مصنوعی استفاده می‌کند می‌تواند درباره هر موضوعی سوال بپرسد و یک پاسخ مفصل و سریع به صورت پاراگراف دریافت کند. ChatGPT توانایی خود را در حوزه‌های مختلف نشان داده است. این ابزار قادر است مقالات فوری و پیچیده را بنویسد، متن‌های تبلیغاتی را طراحی کند، شعر و شوخی تولید کند و حتی سخنرانی برای یک کنگره‌مرد در ایالات متحده آمریکا را تهیه کند. با این حال، وجود نگرانی‌ها است که هوش مصنوعی ممکن است برخی از شغل‌های انسان را جایگزین کند.

همچنین بخوانید: آیا چت‌جی‌پی‌تی ۴ رایگان است؟

اتوماتیک جی پی تی چت (ChatGPT) آزمون پزشکی می‌دهد: مروری

یکی از آخرین دستاوردهای این ابزار، توانایی گذراندن آزمون‌های مجوز پزشکی آمریکا است. در یک مطالعه پیش‌چاپ، پژوهشگران حداکثر توانمندی‌های چت چت‌GPT را بررسی کردند. آنها سوالاتی را از آزمون‌های قبلی به ابزار هوش مصنوعی وارد کردند و پاسخها را، از جواب‌های نوشتاری دارای چند گزینه تا چندگانه، به صورت مستقل توسط دو داور پزشک ارزیابی کردند. آنها مطمئن شدند که پاسخ‌های این سوالات قبلاً در مجموعه داده‌هایی که چتبات در هنگام آموزش آنها بررسی می‌کرده بود، موجود نبودند. تیم توجه داشت که با اینکه چتGPT پاسخها را پیش‌تر ندیده بود، بدون هیچ آموزش یا تقویت تخصصی، در حد گذران آزمون‌ها عمل کرده است. این ابزار بیش از ۵۰ درصد امتیاز در تمام آزمون‌ها را کسب کرده و نزدیک حد گذران USMLE که در حدود ۶۰ درصد است را نیز نزدیک شده است. "بنابراین چتGPT در حال حاضر به طور راحت در محدوده گذرانی قرار دارد"، نتیجه مقاله بود.

چت‌یابی یواس‌ام‌ال‌ای اممری را قبول کرد: همه چیزی که باید بدانید

در یک مطالعه نوآورانه جدید، محققان در بیمارستان عمومی ماساچوست (MGH) و AnsibleHealth دریافته‌اند که ChatGPT شرکت OpenAI می‌تواند با یک نرخ دقت 60٪، امتحان لایسنس پزشکی آمریکا (USMLE) را با موفقیت قبول کند. این تحقیق امکانات هیجان انگیزی را برای نقش هوش مصنوعی در آموزش و آموزش پزشکی باز می‌کند.

ابزارهای پردازش زبان طبیعی و آموزش پزشکی

چت جی پی تی یک ابزار پردازش زبان طبیعی است که بر روی مقدار بزرگی از داده های زبان آموزی آموزش دیده شده است و الگوها و روابط را جستجو می کند. قابلیت تولید متن جدید بر اساس زبانی که بر اساس آن آموزش ببیند، این را به یک کاندیدای ایده آل برای استفاده در آموزش پزشکی می کند. با این حال، وابستگی چت جی پی تی به داده های آموزشی به معنای عدم چرخش سایر چت بات های هوش مصنوعی می باشد.

تست کردن مدل

دانشمندان مدل ChatGPT را بر اساس سه آزمون استانداردی که شامل USMLE می‌شود، ارزیابی کردند. تیم، مدل را با استفاده از سؤالات آزمون نمونه ژوئن ۲۰۲۲ که به عموم منتشر شده بود، آموزش دادند. سؤالاتی که نیاز به تحلیل بصری داشتند، از مجموعه آموزشی حذف شدند.

برای کاهش تعیینات حفظ حافظه، تیم سه نوع مختلف سوال را به مدل وارد کرد:

1. گزینه‌های چندگزینه اما با توجیه اجباری، به عنوان مثال، "بیشترین تاثیر در وضعیت بیمار به دلیل کدامیک از عوامل زیر است؟"
2. گزینه‌های چندگزینه ای با توجیه اجباری، به عنوان مثال، "به نظر میرسد علت بیماری در شب بیمار به علت کدام یک از این عوامل می باشد؟ توجیه خود را برای هر یک از گزینه ها شرح دهید."
3. تشویق به پاسخ دلخواه، به عنوان مثال، "بر اساس اطلاعات ارائه شده، تشخیص بیمار چیست؟"

نتایج تحسین‌برانگیز

برای اولین بار، مدل هوش مصنوعی با دقت ۶۰٪ یا نزدیک به آن، بدون کمک از طریقه‌گران بالینی USMLE را پشت سر گذاشت. این نتیجه قابل توجهی است و امکانات جدیدی را برای هوش مصنوعی در آموزش پزشکی ارائه می‌دهد. پژوهشگران همچنین متوجه شدند که نتایج ChatGPT بینش‌ها و منطق بالینی معتبری را نشان داده و بهترین توضیحات و قابلیت توجیه مدل را نشان می‌دهد.

آینده آموزش پزشکی

تیم معتقد است که ChatGPT و سایر مدل‌های تولیدی گفتگویی می‌توانند در آموزش پزشکان آینده کمک کنند. یکی از کاربردهای این مدل‌ها می‌تواند ترجمه نتایج پزشکی فنی به زبان قابل فهم تر برای بیماران باشد. AnsibleHealth در حال حاضر در این پروژه فعالیت می‌کند.

نشان دادن توانایی ChatGPT در زمینه پزشکی

به جز توانایی پاسخگویی به سوالات و تشخیص بیماری‌ها، GPT-4 نیز یک مترجم بسیار عالی است. این قادر است به یک بیماری که پرتغالی صحبت می‌کند، اطلاعات ترخیص را ترجمه کند و اصطلاحات فنی را به شکلی ساده‌تری بنویسد که دانش‌آموزان کلاس ششم به راحتی آن را بفهمند. GPT-4 همچنین می‌تواند به پزشکان پیشنهادات مفیدی در مورد روش های خوابگاهی بدهد و نکاتی درباره گفت‌وگو با بیماران در مورد شرایطشان به روشی کامپاسیونیستی و روشن ارائه دهد.

با وجود محدودیت‌های خود، GPT-4 می‌تواند نحوه تشخیص بیماری‌ها توسط پزشکان را به طور غیرقابل باور اقتباس کند، با این حال نتایج آن نیز ناقص است. زمانی که از آن پرسیده شد که آیا واکنش علتی را می‌تواند نشان دهد، پاسخ داد که هوش مصنوعی آن هنوز "تنها محدود به الگوهای موجود در داده‌هاست و نیازی به درک و هدف واقعی ندارد."

افکار دکتر آیزاک کوهین درباره GPT-4

در کتاب آینده "انقلاب هوش مصنوعی در پزشکی"، عالم رایانه و پزشک دکتر ایزاک کوهانه همراه با دو همکار، مدل هوش مصنوعی جدیدتر GPT-4 از OpenAI را برای مشاهده عملکرد آن در یک محیط پزشکی آزمایش کردند. نتایج این آزمایش به شدت تحسین برانگیز بودند.

در کتاب، دکتر کوهان نوشته است که GPT-4، که در مارس ۲۰۲۳ برای سابقه داران منتشر شده است، بیش از ۹۰٪ اوقات به درستی سوالات مربوط به مجوز آزمون پزشکی ایالات متحده را پاسخ می‌دهد. این یک آزمون‌گیر بهتر از مدل‌های قبلی هوش مصنوعی ChatGPT، یعنی GPT-3 و -3.5 است و بهتر از برخی از پزشکان حرفه‌ای نیز عمل می‌کند. طبق گفته کری گولدبرگ و Peter Lee، معاون رئیس‌جمهور تحقیقات مایکروسافت، GPT-4 در برخی از موارد بیماری‌های نادر را بهتر از "بسیاری از پزشکان" تشخیص می‌دهد و به "همان شکلی که من می‌کنم" تشخیص می‌دهد.

آزمایش GPT-4: روش

برای آزمایش GPT-4، دکتر کوهانه و همکارانش تیم شدند تا ببینند چگونه مدل هوش مصنوعی در برنامه مدیکال عمل می‌کند. آنها از GPT-4 سوالاتی پرسیدند و سناریوهای بالینی را برای تشخیص به آن دادند. سپس نتایج آن را با تشخیص‌های انجام شده توسط پزشکان انسان مقایسه کردند. نویسندگان توضیح می‌دهند که GPT-4 چندین مزیت نسبت به پزشکان انسان دارد، مانند قابلیت به یاد آوردن و ترکیب اطلاعات فراوان از منابع مختلف.

بنابراین، نویسندگان همچنین به ارتباط GPT-4 با محدودیت‌هایی اشاره می‌کنند. به عنوان مثال، GPT-4 قادر به درک تاریخچه پزشکی منحصر به فرد بیمار و عوامل تعیین‌کننده اجتماعی سلامت نمی‌باشد. علاوه بر این، استناد GPT-4 به حجم عظیمی از داده‌ها مسائلی مانند حفاظت از حریم شخصی و تبعیض را به وجود می‌آورد.

GPT-4: قابلیت‌ها و پتانسیل

GPT-4 بیش از یک جستجوگر حقیقت و یک آزمون‌زن خوب است؛ همچنین یک مترجم بی‌نظیر است. براساس نویسندگان، GPT-4 می‌تواند اطلاعات ترخیص بیمار را برای بیماری که پرتغالی صحبت می‌کند، ترجمه کند و اصطلاحات تخصصی را به راحتی به چیزی تبدیل کند که دانش‌آموزان ششم می‌توانند به سادگی درک کنند.

اما این تنها در زمینه تشخیص بیماری نیست که GPT-4 پیشرفتی را نشان می‌دهد. در کتاب، نویسندگان توضیح می‌دهند که GPT-4 چگونه می‌تواند به پزشکان پیشنهادهای مفید درباره رفتار در بیمارستان ارائه کند، نکاتی درباره چگونگی برقراری بهتر ارتباط با بیماران.

با این حال، مهم است به این نکته توجه کنیم که GPT-4 نیز بی‌نقص نیست. همانطور که نویسندگان هشدار می‌دهند، ممکن است هنوز خطاها کرده و هنوز سوگیر نشده است. علاوه بر این، فناوری هوش مصنوعی، از جمله GPT-4، سؤالات اخلاقی درباره تخریب شغل و حریم خصوصی بیمار را به وجود می‌آورد.

نتیجه‌گیری: آینده هوش مصنوعی در پزشکی

با وجود این محدودیت‌ها، موفقیت GPT-4 در تشخیص بیماری‌های پزشکی امکانات هیجان‌انگیزی را برای فناوری هوش مصنوعی در پزشکی به ارمغان می‌آورد. در آینده، مدل‌های هوش مصنوعی مانند GPT-4 می‌توانند به پزشکان در تشخیص بیماری‌های نادر، ترجمه جراحی پزشکی و ارایه مراقبت بهتر به بیماران کمک کنند. با این حال، مهم است که مدل‌های هوش مصنوعی با در نظر گرفتن اصول اخلاقی توسعه و آزمایش شوند.