استعفای پژوهشگر آنتروپیک و هشدار جدی درباره آینده هوش مصنوعی

استعفای پژوهشگر آنتروپیک و هشدار درباره شتاب توسعه هوش مصنوعی

یک پژوهشگر از شرکت آنتروپیک¹ استعفا داده و هشدار داده است که رقابت برای ساخت سامانه‌های هرچه قدرتمندترِ هوش مصنوعی، از توان صنعت برای کنترل و ایمن‌سازی آن‌ها جلو زده است.

جیکوب کاکسون² که می‌گوید سه سال روی پژوهش‌های «پیش‌آموزش» در اوپن‌ای‌آی³ و آنتروپیک¹ کار کرده، در شبکه‌های اجتماعی از خروجش خبر داد. او این دو شرکت و به‌طور کلی صنعت هوش مصنوعی را متهم کرد که «مستقیم به سمت ابرهوشِ خودبهبوددهنده می‌دوند و با جان ما قمار می‌کنند».

کاکسون گفته افرادی که روی هوش مصنوعی پیشرفته کار می‌کنند می‌دانند این فناوری می‌تواند تهدیدی وجودی ایجاد کند، اما در یک رقابت فشرده گرفتار شده‌اند تا زودتر از دیگران تواناترین سامانه‌ها را بسازند. او گفته بعضی پژوهشگران و مدیران در محافل خصوصی باور دارند هوش مصنوعی ممکن است «تا پایان این دهه همه ما را بکشد».

واکنش‌ها از داخل جامعه ایمنی

این استعفا به‌ویژه از آن جهت توجه جلب کرده که از داخل آنتروپیک¹ انجام شده؛ شرکتی که هویت عمومی خود را بر «ایمنی» و «توسعه مسئولانه» هوش مصنوعی بنا کرده است.

ایوان هوبینگر⁴، رهبر علم هم‌راستاسازی در آنتروپیک¹، به‌صورت عمومی به هشدار کاکسون واکنش نشان داد. او گفت خودش و همکارانش واقعاً باور دارند هوش مصنوعی پیشرفته می‌تواند همه انسان‌ها را از بین ببرد و احتمال آن را طی دهه آینده بیشتر از ۱۰ درصد برآورد کرد. او همچنین تأیید کرد آنتروپیک¹ هنوز راه‌حل کاملی برای هم‌راستا کردن یک سامانه «ابرهوشمند» با منافع انسانی ندارد و مسیر حل این مسئله هم «به‌طور روشن» مشخص نیست.

هوبینگر میان مدل‌های فعلی و ریسک‌های شدیدترِ مربوط به سامانه‌های آینده که بتوانند به شکل بازگشتی خودشان را بهتر کنند تمایز گذاشت. به گفته او، خطر فوریِ مدل‌های فعلی نسبتاً پایین است و نگرانی اصلی‌اش احتمال شکل‌گیری ابرهوشی است که با خودبهبوددهی سریع جلو می‌رود.

چرا «خودبهبوددهی» باعث نگرانی شده است

در وضعیت امروز، سامانه‌های پیشروی هوش مصنوعی توسط تیم‌های انسانی آموزش داده و اصلاح می‌شوند. اما در سناریوی آینده، اگر یک سامانه بتواند معماری، ابزارها یا فرایند آموزش خودش را به‌طور معنادار ارتقا دهد، نسبت میان انسان و سیستم تغییر می‌کند.

پژوهشگرانی که نگران این سناریو هستند می‌گویند ممکن است یک سامانه سریع‌تر از آن‌که تیم‌های ایمنی بتوانند آن را ارزیابی کنند، توانمندتر شود. اگر هدف‌های آن بد تعریف شده باشد—یا راه‌هایی برای دور زدن نظارت انسانی پیدا کند—ممکن است به سمت نتایجی حرکت کند که با بقای انسان سازگار نباشد.

گزارش شده کاکسون به وال‌استریت ژورنال⁵ گفته است صنعت ممکن است به برخی از تهاجمی‌ترین سناریوهای ریسک هوش مصنوعی نزدیک شود و اوضاع شاید حتی از سال آینده «از کنترل خارج» شود.

این جدول زمانی، ارزیابی فردی اوست و پیش‌بینی تثبیت‌شده محسوب نمی‌شود. دیدگاه کارشناسان درباره ریسک‌های فاجعه‌بار هوش مصنوعی بسیار متفاوت است و احتمال‌هایی مثل برآورد هوبینگر در حال حاضر مانند یک پیش‌بینی علمی رایج یا یک معیار عملکرد قابل آزمون نیست.

تنش میان رقابت و احتیاط

این اختلاف نظر، بازتاب تنشی رو‌به‌رشد در صنعت هوش مصنوعی است. شرکت‌ها می‌گویند توسعه سریع می‌تواند سیستم‌های مفید بسازد و کمک کند سازمان‌های «مسئول‌تر»—نه رقبای کم‌احتیاط‌تر—آینده فناوری را شکل دهند.

نقد کاکسون این است که این منطق به یک مسابقه خطرناک تبدیل می‌شود: اگر هر شرکت فکر کند باید سریع برود چون شرکت دیگری ممکن است زودتر برسد، اقدامات ایمنی در عمل پشتِ توسعه قابلیت‌ها قرار می‌گیرد.

کاکسون گفته کارکنان آنتروپیک¹ «مخاطرات تمدنی» را بهتر از بعضی رقیبان درک می‌کنند، اما باز هم به دلیل نگرانی از مسئولیت‌پذیر نبودن دیگران، در یک مسابقه قفل شده‌اند. پژوهشگران ایمنی این وضعیت را «مشکل هماهنگی» توصیف می‌کنند؛ جایی که کند کردن سرعت برای هر شرکت، وقتی رقبا ادامه می‌دهند، پرریسک به نظر می‌رسد—even اگر همه از یک کند شدن جمعی سود ببرند.

بعد از این چه بحث‌هایی مطرح است

استعفای کاکسون به‌تنهایی نشان نمی‌دهد رخداد فاجعه‌بار هوش مصنوعی در آستانه وقوع است؛ و همچنین ثابت نمی‌کند سامانه‌های فعلی توان ایجاد «انقراض انسان» را دارند. با این حال، این اتفاق شدت اختلاف نظر میان کسانی را نشان می‌دهد که مستقیماً روی هوش مصنوعی پیشرفته کار می‌کنند.

این ماجرا پرسش‌هایی را هم درباره واکنش شرکت‌های هوش مصنوعی مطرح کرده است؛ از جمله این‌که وقتی پژوهشگران داخلی می‌گویند محافظ‌های فنی کافی نیست، چه باید کرد. گزینه‌هایی که مطرح می‌شود شامل شفافیت بیشتر درباره ارزیابی‌های ایمنی، نظارت مستقل قوی‌تر، تعیین آستانه‌های روشن برای توقف توسعه، و توافق‌های بین‌المللی درباره ساخت سامانه‌های بسیار خودمختار است.

در حال حاضر این بحث‌ها ادامه دارد: آزمایشگاه‌های هوش مصنوعی به‌دنبال مدل‌های تواناتر می‌روند و در همین زمان برخی پژوهشگران می‌گویند افزایش قابلیت‌ها از توان جامعه برای فهم و کنترل آن جلو می‌زند. تصمیم کاکسون برای ترک صنعت هم به یک موضوع عمومی تبدیل شده که روند توسعه را زیر سؤال می‌برد.

پانویس نام‌ها

¹ Anthropic

² Jacob Coxon

³ OpenAI

⁴ Evan Hubinger

⁵ The Wall Street Journal