چت‌ژیپیتی می‌تواند کد بنویسد. در حال حاضر پژوهشگران می‌گویند که این ابزار همچنین برای رفع باگ‌ها موثر است

چت‌بات ChatGPT شرکت OpenAI قادر به بسیار خوب برطرف کردن اشکالات نرم‌افزاری است، اما مزیت اصلی آن نسبت به روش‌ها و مدل‌های هوش مصنوعی دیگر قابلیت منحصر به فرد آن برای دیالوگ با انسان‌ها است که به آن امکان می‌دهد که درستی یک پاسخ را بهبود دهد.

پژوهشگران دانشگاه یوهانس گوتنبرگ ماینتز و دانشگاه کالج لندن ChatGPT از OpenAI را در برابر "روش‌های استاندارد تصلیح خودکار برنامه" و دو رویکرد عمیق یادگیری برای تصلیح برنامه مقابله قرار دادند: CoCoNut از پژوهشگران دانشگاه واترلو در کانادا؛ و Codex، مدل مبتنی بر GPT-3 از OpenAI که از سرویس کامل کدنویسی Copilot گیت‌هاب پشتیبانی می‌کند.

همچنین: چگونه با استفاده از چت‌جی‌پی‌تی شروع کنیم

"در مقاله‌ی جدید arXiv، محققان نوشته‌اند که عملکرد ChatGPT در اصلاح خطاها به رقابت با روش‌های شناخته شده یادگیری عمیق CoCoNut و Codex می‌پردازد و به طور قابل توجهی بهتر از نتایج گزارش شده برای روش‌های معمول ترمیم برنامه است"، به نقل از مجله New Scientist.

بهترین ربات‌های گفتگوی هوش مصنوعی: چت‌جی‌پی‌تی و سایر جایگزین‌های جالب برای امتحان

چت‌بات‌ها و نویسنده‌های هوش مصنوعی می‌توانند با نوشتن ایمیل‌ها، مقالات و حتی انجام عملیات ریاضی، سهولت‌های زیادی را برای شما ایجاد کنند. آن‌ها از هوش مصنوعی برای تولید متن یا پاسخ به سوالات بر اساس ورودی کاربر استفاده می‌کنند. چت‌جی‌پی‌تی یکی از مثال‌های معروف است، اما چت‌بات‌های دیگری هم وجود دارند.

در حال حاضر بخوانید

استفاده از ChatGPT برای حل مشکلات کدنویسی، چیزی نوین نیست؛ اما محققان برجسته می‌کنند که ظرفیت منحصربه‌فرد آن برای گفتگو با انسان‌ها، می‌تواند از دیگر روش‌ها و مدل‌ها برتری به دست آورد.

محققان با استفاده از بنچمارک تعمیر خطاهای QuixBugs عملکرد ChatGPT را آزمایش کردند. به نظر می‌رسد سیستم‌های تعمیر خودکار برنامه (APR) در معرض عدم عدالت قرار دارند زیرا قبل از سال 2018 توسعه یافته‌اند.

ChatGPT بر اساس معماری تبدیل کننده است، که رویکرد تبدیل کننده Google توسط Yann LeCunn، رئیس هوش مصنوعی Meta، در این هفته برجسته شده است. رمزنگار Codex و CodeBERT از Microsoft Research و نسخه پیشین آن یعنی BERT از Google همگی بر اساس روش تبدیل کننده Google بر پایه دارند.

OpenAI برخی از قابلیت‌های گفتگویی ChatGPT را در مثال‌هایی برای اشکال‌زدایی کد معرفی کرده است که در آن می‌تواند درخواست‌هایی برای روشن‌کردن ابهامات داشته باشد و توصیه‌هایی از یک شخص دریافت کند تا به پاسخ بهتری برسد. از یادگیری تقویتی از بازخورد انسانی (RLHF) برای آموزش مدل‌های زبانی بزرگ پشت ChatGPT (GPT-3 و GPT 3.5) استفاده شده است.

در حالی که توانایی ChatGPT در بحث و تبادل نظر می‌تواند به آن برای رسیدن به پاسخ صحیح‌تر کمک کند، با کیفیت بودن پیشنهادهای آن هنوز مبهم است، به تازگی محققان می‌خواستند عملکرد ChatGPT در برطرف کردن باگ‌ها را ارزیابی کنند.

محققان تستی روی ChatGPT با 40 مشکل فقط با زبان برنامه نویسی پایتون QuixBugs انجام دادند، و سپس به صورت دستی بررسی کردند که آیا راه حل پیشنهادی صحیح است یا خیر. آنها درخواست را چهار بار تکرار کردند چون دقت پاسخهای ChatGPT دارای تصادفی بود، همانطور که یک استاد دانشگاه وارتون هم پس از آزمونی شبیه به MBA دریافت کرد.

ChatGPT حل شده است 19 از 40 باگ پایتون ، که آن را با CoCoNut (19) و Codex (21) در یک سطح قرار می دهد. اما روش های معمول APR تنها هفت مورد را حل کرد.

محققان متوجه شدند که نرخ موفقیت ChatGPT در تعاملات پسازمانده به 77.5% رسید.

تأثیرات برای توسعه دهندگان از نظر تلاش و بهره وری مبهم هستند. اخیراً سایت Stack Overflow پاسخ‌های تولید شده توسط ChatGPT را به دلیل کیفیت پایین ولی شنیدنی ممنوع کرد. استاد هورتون دریافت که ChatGPT می‌تواند همراه عالی برای دانشجویان MBA باشد زیرا می‌تواند یک "مشاور هوشمند" باشد - کسی که پاسخ‌های زیبا ولی اغلب اشتباه را ارائه می‌دهد - و مهارت‌های تفکر انتقادی را تقویت کند.

"این نشان می دهد که ورودی انسانی می تواند به‌شدت به یک سیستم APR خودکار کمک کند، با استفاده از ChatGPT برای این منظور"، محققان می نویسند.

"با وجود عملکرد برتری که ایندهی سیستم چت‌گیپت ارائه می‌دهد، سوال پیش می‌آید که آیا هزینه‌ی ذهنی مورد نیاز برای تأیید پاسخ‌های چت‌گیپت مزیت‌هایی که چت‌گیپت به همراه می‌آورد را از پیش می‌گیرد یا نه."