کلون جدید چت‌جی‌پی‌تی (ChatGPT) متن باز - به نام دالی

گپ متن باز یک قدم دیگر به جلو رفت با انتشار مدل زبان بزرگ Dolly (DLL) که توسط شرکت نرم افزاری Databricks ساخته شده است.

کلون جدید ChatGPT با نام دالی شناخته می‌شود، که نام آن از گوسفند مشهوری با همین نام گرفته شده است، اولین موجود زنده‌ای که کلون شد.

مدل‌های زبانی کدباز بزرگ

LLM دالی آخرین تجلی رشد جنبش AI متن باز است که به دنبال ارائه دسترسی بیشتر به این تکنولوژی است، به طوری که تکنولوژی به تنهایی توسط شرکت‌های بزرگ به ارمغان نیاید.

یکی از نگرانی هایی که حرکت هوش مصنوعی متن باز را تحریک می کند، این است که شرکت ها ممکن است مرتبط با داده های حساس خود را به یک شخص ثالث که فناوری هوش مصنوعی را کنترل می کند، تحویل دهند.

بر اساس کد باز

دالی از یک مدل متن باز ساخته شده توسط مؤسسه تحقیقات غیرانتفاعی EleutherAI و مدل الماکا دانشگاه استنفورد، که خود مدل LLaMA با ۶۵ میلیارد پارامتر منبع باز ساخته شده توسط متا استفاده شده است، ساخته شده است.

LLaMA، مخفف مدل زبان متای AI بزرگ است، که بر روی داده های عمومی آموزش دیده است.

بر اساس مقاله‌ای که توسط Weights & Biases منتشر شده است، LLaMA می‌تواند عملکرد بهتری نسبت به بسیاری از مدل‌های زبان برتر (OpenAI GPT-3، Gopher by Deep Mind و Chinchilla by DeepMind) ارائه دهد، با این وجود اندازه آن کوچکتر است.

ایجاد یک مجموعه داده بهتر

یک الهام دیگر از یک مقاله تحقیقاتی (SELF-INSTRUCT: تطبیق مدل زبانی با دستورالعمل‌های تولید شده توسط خود PDF) برنامه‌ ریزی شده است که روشی برای ایجاد داده‌ی آموزش مرتبط با سوال و پاسخ تولید خودکار با کیفیت بالاتر از داده‌های عمومی محدود، شرح داده است.

مقاله تحقیق Self-Instruct شرح می‌دهد:

«...ما یک مجموعه دستورالعمل های تخصصی توسط متخصصان را جمع‌آوری می‌کنیم و از طریق ارزیابی انسانی نشان می‌دهیم که تغییر دادن GPT3 با SELF-INSTRUCT نسبت به استفاده از مجموعه داده های عمومی دستورالعمل به طریق قابل توجهی بهبود می‌برد و تنها با تفاوتی مطلق 5٪ پشت InstructGPT منجر می‌شود... ...با اعمال روش ما به GPT3 خام، ما یک بهبود مطلق 33٪ نسبت به مدل اصلی را در SUPERNATURALINSTRUCTIONS نشان می‌دهیم که با عملکرد InstructGPT به همراه داده های کاربری خصوصی و توضیحات انسانی آموزش دیده است».

اهمیت دالی در این است که نشان می‌دهد مدل زبان بزرگ واقعی با استفاده از مجموعه داده‌های کوچکتر اما با کیفیت بالا می‌تواند ایجاد شود.

دیتابریکس مشاهده می‌کند:

"دالی با این کار کرده است که یک مدل با پارامتر ۶ میلیارد را برمبنای یک مدل منبع باز موجود از EleutherAI دریافت کرده و آن را به طور کوچکی تغییر داده است تا توانایی دنبال کردن دستورات مانند ایجاد ایده و تولید متن را که در مدل اصلی وجود ندارد، به دست آورد. این کار با استفاده از داده هایی از Alpaca انجام شده است."

…ما نشان می‌دهیم که هر کسی می‌تواند با اتخاذ یک مدل زبان بزرگ (LLM) آزاد و جهت دار شده از منابع آزاد و با استفاده از داده‌های آموزشی با کیفیت نسبتاً بالا آن را در ۳۰ دقیقه با استفاده از یک دستگاه آموزش دهنده تحت وب، به قابلیت ارائه راهنمایی‌های شبیه به ChatGPT بهبود بدهد.

به طرز شگفت‌انگیزی، دنبال کردن دستورات نیاز به آخرین و بزرگترین مدل‌ها را به نظر نمی‌رساند: مدل ما تنها 6 میلیارد پارامتر دارد، در مقابل 175 میلیارد پارامتر برای GPT-3 است."

دیتابریکس Open Source AI

می‌گویند که دالی، هوش مصنوعی را دموکراتیک کند. این بخشی از یک جنبش روزافزون است که به تازگی توسط سازمان غیرانتفاعی موزیلا با تأسیس موزیلا.ای.ای به آن ملحق شده است. موزیلا ناشر مرورگر فایرفاکس و نرم‌افزارهای دیگر منبع‌باز است.