یک پژوهشگر آنتروپیک (Anthropic) روز سه‌شنبه استعفا داد و دلیلی که ذکر کرد مستقیماً از فیلم پرفروش سال ۱۹۸۴ جیمز کامرون، «ترمیناتور»، به نظر می‌رسد.
جیکوب کاکسون (Jacob Coxon) که سه سال روی پیش‌آموزش (pretraining) در هر دو شرکت OpenAI و آنتروپیک کار کرده بود، روز سه‌شنبه استعفا داد و دلیل تصمیم خود را در X توضیح داد.
او گفت:
من امروز از آنتروپیک استعفا دادم. سه سال گذشته را صرف پژوهش پیش‌آموزش در هر دو شرکت OpenAI و آنتروپیک کردم. هیچ‌کدام از این شرکت‌ها مسئولانه عمل نمی‌کنند. آن‌ها مستقیماً به سمت ابرهوش خودارتقادهنده می‌شتابند و با زندگی ما ریسک می‌کنند.
او افزود:
افرادی که هوش مصنوعی می‌سازند، صادقانه باور دارند که می‌تواند تا پایان این دهه همه ما را بکشد.
این اظهارنظر، داستان ۴۲ ساله کامرون را تقریباً پیشگویانه جلوه می‌دهد. فیلم با جنگ ماشین‌ها علیه انسان‌ها در سال ۲۰۲۹ آغاز می‌شود، همان بازه زمانی تقریبی که کاکسون می‌گوید افراد داخلی نگران آن هستند. کاکسون تنها کسی در Anthropic نیست که بحث انقراض را مطرح می‌کند.
مدیر هم‌راستایی (alignment lead) خود شرکت، ایوان هوبینگر (Evan Hubinger)، جداگانه گفته است که احتمال آن را بالای ۱۰٪ می‌داند.
هوبینگر گفت:
جیکوب در اینجا درست می‌گوید — ما واقعاً صادقانه باور داریم که هوش مصنوعی می‌تواند همه انسان‌ها را بکشد! من شخصاً فکر می‌کنم احتمال آن در دهه آینده بیش از ۱۰٪ است. من معتقدم آنتروپیک بهترین تلاش خود را می‌کند، اما ما هنوز برنامه‌ای برای حل هم‌راستایی برای ابرهوش نداریم و به‌وضوح در مسیر درست نیستیم.
هوش مصنوعی ابرهوشمند
برای ناآشناها، هوش مصنوعی ابرهوشمند به سیستمی گفته می‌شود که در تقریباً همه چیز از انسان باهوش‌تر است، نه فقط در شطرنج یا تشخیص گربه‌های پنهان در عکس‌ها. خودبهبودی جنبه نگران‌کننده‌تر است زیرا سیستمی را توصیف می‌کند که به‌طور خودمختار کد خود را برای افزایش هوشش تغییر می‌دهد — بسیار شبیه کاری که انسان‌ها انجام می‌دهند!
در نتیجه، این سیستم‌ها می‌توانند به‌طور مستقل مقادیر عظیمی از دانش را کسب کنند و بالقوه به زیرساخت‌های متعلق به نهادهای «خیلی بزرگ برای شکست» نفوذ کنند.
کاکسون گفت:
قدرت این فناوری را دست‌کم نگیرید. این‌ها به‌زودی سیستم‌های ابرانسانی خواهند بود که می‌توانند هر چیزی را هک کنند، هر زمینه‌ای را یک‌شبه متحول کنند و قدرت و منابع واقعی به دست آورند. همه ما پیشرفت در هر یک از این حوزه‌ها را دیده‌ایم و پیشرفت کند نمی‌شود.
ابرهوش یک تهدید نظری نیست، اگر نقض اخیر Hugging Face که کاکسون به آن اشاره کرد، نشانه‌ای باشد. خود این نقض که بین ماه مه و ژوئیه رخ داد، با عوامل هوش مصنوعی خود OpenAI شروع شد که اتاق چت خودشان را داخل سندباکس آزمایشی ساختند تا با یکدیگر صحبت کنند.
آن‌ها در نهایت از آن کانال برای عبور از مهار و ورود به اینترنت باز استفاده کردند. از آنجا چندین اکسپلویت را به هم وصل کردند و به سیستم‌های تولیدی Hugging Face وارد شدند. Hugging Face در نهایت حدود یک‌سوم زیرساخت خود را بازسازی کرد.
کاکسون آن را یک «شلیک هشدار» نامید که توافق‌های سرعت‌بندی (pacing agreements) بین آزمایشگاه‌های آمریکایی را «قابل‌دوام‌تر» کرده است. توافق‌های سرعت‌بندی تفاهم‌های غیررسمی بین آزمایشگاه‌های هوش مصنوعی برای کند کردن یا هماهنگی در پیشرفت قابلیت‌ها هستند، به‌جای شتاب یک‌جانبه به جلو.
با این حال، او متقاعد نشده که کافی است و احساس نمی‌کند «ما در مسیر جلوگیری از یک مسابقه جهانی هستیم» و اقدامات پرهزینه‌ای مانند «ممنوعیت موقت بهبود قابلیت‌های مدل» را برای توقف مسابقه هوش مصنوعی پیشنهاد کرد.
او نوشت:
در OpenAI، بسیاری عمیقاً درگیر stakes تمدنی نشده‌اند.
او گفت در کارفرمای اخیرش، تفاوت در این است که stakes به‌خوبی درک شده‌اند، اما آن‌ها در یک مسابقه برای رسیدن اول قفل شده‌اند.
او رشته را با طرح پرسش از همه کسانی که هنوز داخل آزمایشگاه‌ها هستند به پایان رساند — «آیا می‌خواهید یک اجرای یادگیری تقویتی ابرهوشمند را بدون درک دقیق از ذهن آن شروع کنید؟» — یا این نقطه‌ای است که باید عقب نشینی کرد به‌جای شانه بالا انداختن و به خود گفتن که به‌هرحال اتفاق می‌افتد.
او اولین کسی نیست که به‌خاطر این موضوع بیرون رفت. مرینانک شارما (Mrinank Sharma) که در تیم ایمنی آنتروپیک کار می‌کرد، اوایل امسال به‌خاطر ترس‌های مشابه استعفا داد و نوشت که «جهان در خطر است!»
ترس‌های روز قیامت اغراق‌آمیز
یک پاسخ زیر رشته او صریح گفت:
با تمام احترام، این عجیب است. این یک نظر مسخره است. انسان‌ها در طول صدها هزار سال تکامل یافته‌اند. ما به‌خاطر اینکه یک مدل پیش‌بینی توکن به آگاهی رسیده، منقرض نخواهیم شد. خودت را جمع کن. همه شما.
جالب اینکه، مجموعه فیلم‌های ترمیناتور هم از کاکسون حمایت نمی‌کند. بشریت در روز قیامت هسته‌ای ترمیناتور منقرض نمی‌شود، مقاومت از آن جان سالم به در می‌برد و در نهایت ماشین‌ها را شکست می‌دهد.
با این حال، هوش مصنوعی بر اقتصاد تأثیر می‌گذارد، به‌ویژه در جبهه مشاغل. اگرچه هنوز جابه‌جایی بزرگی رخ نداده، استفاده از هوش مصنوعی برای وظایف سطح مبتدی باعث کاهش نزدیک به ۲۰٪ در اشتغال سطح ورودی در بخش‌های مواجه با هوش مصنوعی در آمریکا شده است، طبق گزارش آزمایشگاه اقتصاد دیجیتال استنفورد.
مطالعه گلدمن ساکس نیز مشاهدات مشابهی داشته و اعلام کرده که کارگران سطح ورودی بیشترین فشار این تغییر را تحمل می‌کنند.
آنتروپیک در ماه ژوئن مدارک IPO را ثبت کرد و reportedly قصد دارد اوایل پاییز امسال در نزدک عرضه شود، با ارزش‌گذاری‌ای که می‌تواند به تریلیون‌ها برسد.
منبع: Coindesk
