هفت مدل GPT متن باز رایگان منتشر شد

شرکت هوش مصنوعی سیلیکون ولی به نام سربراس هفت مدل GPT منبع باز را منتشر کرد تا جایگزینی برای سیستم‌های به طور دقیق کنترل شده و مالکیتی امروزی فراهم کند.

مدل‌های GPT آزاد از حق نسخه و منتشرشده به همراه وزن‌ها و دستورالعمل آموزشی توسط Cerebras، یک شرکت مستقر در وادی سیلیکون، تحت مجوز بسیار مجاز Apache 2.0 منتشر شده است.

تا حدی، هفت مدل GPT یک دلیل برای روشن شدن قدرت محاسباتی رایانه هوش مصنوعی Cerebras Andromeda هستند.

با زیرساخت سریبراس، مشتریان آن مانند جاسپر AI Copywriter، قادرند به سرعت مدل‌های زبانی سفارشی خود را آموزش دهند.

یک پست وب دستخط Cerebras در مورد فناوری سخت‌افزاری ذکر شد:

"ما تمام مدلهای Cerebras-GPT را روی یک خوشه Wafer-Scale محاسباتی 16x CS-2 به نام Andromeda آموزش دادیم."

"این خوشه امکان انجام تمام آزمایشات را به سرعت بدون نیاز به سیستم های توزیع شده و تنظیم موازی مدل در خوشه های GPU فراهم کرد."

"به مهمترین امر، این خوشه به محققان ما امکان می دهد تا بر روی طراحی یادگیری ماشین تمرکز کنند تا نیازی به سیستم های توزیع شده نباشد. ما اعتقاد داریم که قابلیت آموزش آسان مدل های بزرگ یک امکان برای جامعه گسترده است، بنابراین خوشه Cerebras Wafer-Scale را از طریق نرم افزار Cerebras AI Model Studio در دسترس عموم قرار داده ایم."

مدل‌های Cerebras GPT و شفافیت

Cerebras به تملک تمرکز فناوری هوش مصنوعی را تنها به چند شرکت نسبت می دهد که این را دلیلی برای ایجاد هفت مدل GPT متن باز می داند.

سازمان‌های OpenAI، Meta و Deepmind مقدار زیادی از اطلاعات مربوط به سیستم‌های خود را به صورت خصوصی و با کنترل کامل نگه می‌دارند، که این امر تا حدودی باعث محدود شدن نوآوری شده و تمامی قراردادهای مرتبط با استفاده از این اطلاعات را تنها به تصمیم سه شرکت مذکور وابسته می‌کند.

سیستمی که منبع بسته دارد برای نوآوری در هوش مصنوعی بهتر است؟ یا منبع باز آینده است؟

سربراس می‌نویسد:

"برای اینکه LLM ها به عنوان یک فناوری باز و قابل دسترس باشند، ما معتقدیم دسترسی به مدل های به روز و روشنی است که برای تحقیقات و کاربردهای تجاری به صورت رایگان و قابل بازتولید در دسترس باشد.

به این منظور، ما یک خانواده از مدل های تبدیل کننده را با استفاده از تکنیک ها و مجموعه داده های باز آموزش داده ایم و آن ها را Cerebras-GPT نامیده ایم.

این مدل ها، اولین خانواده از مدل های GPT هستند که با استفاده از فرمول چینچیلا آموزش داده شده اند و از طریق لایسنس Apache 2.0 انتشار یافته اند."

بنابراین این هفت مدل بر روی Hugging Face و GitHub منتشر شده‌اند تا تحقیقات بیشتری را از طریق دسترسی آزاد به فناوری هوش مصنوعی تشویق کنند.

این مدل‌ها با کامپیوتر هوش مصنوعی اندرومدا شرکت سربراس آموخته شده‌اند، یک فرآیندی که تنها در عرض چند هفته به اتمام رسید.

Cerebras-GPT پیشرفته و شفاف است که با آخرین مدل‌های از OpenAI (GPT-4)، Deepmind و Meta OPT متفاوت است.

OpenAI و Deepmind Chinchilla اجازه استفاده از مدل‌ها را ارائه نمی‌دهند. Meta OPT فقط یک مجوز غیرتجاری ارائه می‌دهد.

اطلاعاتی درباره داده‌های آموزشی مدل GPT-4 شرکت OpenAI به صورت کاملاً شفاف ارائه نشده است. آیا از داده‌های Common Crawl استفاده کرده‌اند؟ آیا از اینترنت جستجو کرده و مجموعه داده خودشان را ایجاد کرده‌اند؟

OpenAI این اطلاعات را (و بیشتر) نزدیک نگاه می‌دارد که این با رویکرد سِرَبرَس-جی‌پی‌تی متفاوت است که کاملاً شفاف است.

همه چیز زیر نور خورشید است:

• ساختار مدل
• داده های آموزش
• وزن های مدل
• نقاط کنترل
• وضعیت آموزش بهینه محاسباتی (بله)
• مجوز استفاده: مجوز آپاچی 2.0

هفت نسخه به مدل‌های ۱۱۱ مگابایت، ۲۵۶ مگابایت، ۵۹۰ مگابایت، ۱.۳ گیگابایت، ۲.۷ گیگابایت، ۶.۷ گیگابایت و ۱۳ گیگابایت آمده است.

اعلام شد:

"برای اولین بار در میان شرکت‌های سخت‌افزار هوش مصنوعی، محققان Cerebras با استفاده از سوپرکامپیوتر هوش مصنوعی Andromeda، مجموعه‌ای از هفت مدل GPT با پارامتر‌های 111 میلیون، 256 میلیون، 590 میلیون، 1.3 میلیارد، 2.7 میلیارد، 6.7 میلیارد و 13 میلیارد را آموزش دادند."

"به طور عمومی، این کار که معمولا مدت‌ها طول می‌کشد، در عرض چند هفته با تشکر از سرعت فوق‌العاده سیستم‌های Cerebras CS-2 که از Andromeda تشکیل شده‌اند، و قابلیت معماری جریان وزن Cerebras برای حذف درد محاسبه توزیع شده انجام شد."

"این نتایج نشان می‌دهد که سیستم‌های Cerebras بهترین و پیچیده‌ترین بارکاری‌های هوش مصنوعی را امروزه می‌توانند آموزش دهند."

"این بار اولیه است که نسخه GPT بسته‌ای از مدل‌های آموزش دیده با استفاده از روش‌های کارآمدی از لحاظ آموزش عمومی به صورت عمومی انجام شده است."

"این مدل‌ها با دقت بالاتری برای بودجه محاسباتی داده‌شده آموزش داده شده‌اند (به عبارت دیگر، با روش Chinchilla کارا در آموزش) بنابراین زمان کمتری برای آموزش، هزینه کمتری برای آموزش و مصرف انرژی کمتری نسبت به هر مدل عمومی موجود دارند."

هوش مصنوعی‫منبع باز

بنیاد موزیلا، سازندگان نرم افزار منبع باز فایرفاکس، یک شرکت به نام Mozilla.ai را تاسیس کرده اند تا سیستم‌های معرفی و یادگیری ژنراتیو متن باز و سیستم‌های توصیه‌گری منبع باز را بسازند که قابل اعتماد باشند و حریم خصوصی را رعایت کنند.

دیتابریکس اخیراً یک پروژه متن‌باز بنام دالی نیز منتشر کرده است که قصد دموکراتیزه کردن "جادوی چت‌جی‌پی‌تی" را دارد.

علاوه بر این هفت مدل GPT از سربراس، شرکت دیگری به نام Nomic AI، GPT4All را معرفی کرد، که یک GPT متن باز است که قابل اجرا بر روی یک لپتاپ است.

جنبش هوش مصنوعی منبع باز در مرحله ابتدایی است، اما در حال جلب توجه است.

فناوری GPT در حال ایجاد تغییرات گسترده در صنایع است و احتمالاً، شاید ناگزیر باشد که مشارکت های متن باز، چهره صنایعی که در حال تغییر هستند را تغییر دهند.

اگر جنبش منبع باز در این سرعت به جلو حرکت کند، ممکن است بر روی آستانه شاهد یک تغییر در نوآوری هوش مصنوعی باشیم که آن را از تمرکز در دست چند شرکت جلوگیری می‌کند.

به اطلاع می‌رساند اعلان رسمی را مطالعه کنید:

سیستم‌های سِرِبْرَسْ انتشار هفت مدل جدید GPT که بر روی سیستم‌های CS-2 وفر-مقیاس آموزش دیده‌اند