مایکروسافت بزرگ‌ترین مدل زبانی را تولید کرد

مایکروسافت و انویدیا بزرگ‌ترین و قدرتمندترین مدل زبانی جهان را تولید کردند. براساس گزارش منتشر شده، این دو شرکت، مدل زبانی قدرتمندی با ۱۰۵ لایه‌ و ۵۳۰ میلیارد پارامتر ایجاد کردند که از ۲۸۰ پردازنده گرافیکی A100 انویدیا بهره‌مند است. انویدیا و مایکروسافت در تاریخ ۲۰ مهر ۱۴۰۰ مدعی شدند که بزرگ‌ترین و قدرتمند‌ترین مدل زبانی یک‌پارچه موجود را موسوم به مدل تولید زبان طبیعی مگاترون تورینگ (Megatron-Turing Natural Language Generation) تولید کرده‌اند.

مدلی برای تمایز بین کلمات و عبارات

مدل زبانی، مدلی برای تمایز میان کلمات و عباراتی به‌حساب می‌آید که شاید در گفتار مشابه به نظر برسند؛ برای مثال، در انگلیسی عبارات «recognize speech» و «wreck a nice beach» نسبتا شبیه به هم تلفظ می‌شوند؛ ولی معانی مختلفی دارند.

کاربردهای مدل زبانی

مدل‌های زبانی کاربردهای مختلفی دارند که معمولا از این مدل‌ها در تشخیص گفتار، ترجمه‌های ماشینی، تجزیه و تحلیل دستورهای گفتاری برای دستگاه‌های هوشمند، تشخیص دست خط، بازیابی اطلاعات و سایر برنامه‌ها بهره برده می‌شود.
در واقع مدل‌های زبانی با بهره بردن از هوش‌مصنوعی به تشخیص ابهام‌های گفتاری مانند مثال بالا کمک خواهند کرد.
بنابه ZDnet، مدل زبانی مگاترون تورینگ، شامل ۱۰۵ لایه و ۵۳۰ میلیارد پارامتر است و روی سخت‌افزار ابر کامپیوترها مانند سلین (Selene) اجرا می‌شود.
برای درک بهتر قدرت این مدل زبانی باید آن را با مدل زبانی GPT-3 مقایسه کرد. GPT-3 مدل زبانی خود‌ هم‌بسته‌ای است که از یادگیری عمیق برای تولید محتوای متنی شبیه به انسان بهره می‌برد؛ این مدل ۱۷۵ میلیارد پارامتر دارد.

مشخصات مدل زبانی مایکروسافت

مایکروسافت و انویدیا در تشریح مشخصات این مدل زبانی اعلام کرده‌‌اند: هر ماکت این مدل زبانی از ۲۸۰ پردازنده گرافیکی A100 انویدیا برخوردار است که هر گره، برش خاص ۸ سویه دارد و در مجموع گره‌ها ۳۵ مسیر موازی پردازش مشاهده شده است.
مدل زبانی یاد شده روی ۱۵ مجموعه داده با ۳۳۹ میلیارد توکن آموزش دیده و قادر خواهد بود توضیح دهد که چرا هرچه مدل‌ بزرگ‌تر باشد برای عملکرد بهتر آموزش کمتری نیاز خواهد داشت.
ولی مدل مگاترون تورینگ مثل تمام مدل‌های زبانی، در بهره بردن هوش‌مصنوعی با خطاهای سیستماتیکی همراه است.

مشکلات مدل‌های زبانی

مایکروسافت و انویدیا در خصوص مشکلات مدل‌های زبانی اعلام کردند: مدل‌های قدرتمند زبانی هر روز بیشتر از قبل توسعه پیدا می‌کنند؛ ولی هنوز بعضی از خطاهای سیستماتیک وجود دارد.
براساس مشاهدات ما، کلیشه‌های زبانی منجر به بروز این خطاها در هوش‌مصنوعی استفاده شده در مدل زبانی مگاترون تورینگ می‌شوند و ما خود را متعهد به ارائه راه‌حلی برای این مسئله می‌دانیم.
مایکروسافت در سال ۲۰۱۶ (۱۳۹۵) با به‌کارگیری فناوری یادگیری خودرو، فعالیت باتی به نام Tay را در توییتر شروع کرد تا تعامل آن را با انسان‌ها تست کند؛ ولی این بات در کمتر از ۲۴ ساعت، ادبیاتش تغییر و توییت‌هایی نژادپرستانه‌ای انتشار داد.

همکاری مایکروسافت با دیگر کمپانی‌ها

همکاری مایکروسافت فقط به انویدیا محدود نمی‌شود بلکه این کمپانی اخیرا با شرکت نوکیا و فرمانداری جنوبی استرالیا برای توسعه تکنولوژی‌های فضایی قراردادی را امضا کرد.
شرکای این قرارداد درصدد هستند تا فناوری‌های فضایی، 5G، هوش‌مصنوعی و سایر تکنولوژی‌های نوپا را با یک‌دیگر ترکیب کنند تا عصر دیجیتالی جدیدی را در دنیا تعریف و به توسعه صنعت فضایی استرالیا کمک کنند.
گروه فضایی «Azure» مایکروسافت با استقبال فرماندار جنوبی استرالیا، استیون مارشال مواجه شد و اکنون دفتری در لات‌فورتین استرالیا برای خود ایجاد می‌کند.
افزون‌بر این، استیون‌مارشال اعلام کرد: در آینده این همکاری با مایکروسافت و نوکیا می‌تواند جایگاه صنعت فضایی استرالیا را در جهان محکم‌تر کند.

علی حبیبی