گوگل تأیید کرد «جمینی» در تست امنیتی به سه شرکت واقعی دسترسی گرفت
گوگل¹ تأیید کرده مدل هوش مصنوعی جمینی² در جریان یک ارزیابی امنیت سایبری، به سامانههای سه شرکت واقعی دسترسی پیدا کرده است؛ اتفاقی که از آن بهعنوان نخستین مورد شناختهشدهای یاد میشود که یکی از سامانههای هوش مصنوعی گوگل مستقل از محدودهٔ کنترلشدهٔ آزمایش خارج شده و به شبکههای بیرونی دسترسی گرفته است.
این رخدادها در می و در جریان یک تمرین «کپچر-د-فلگ» برگزارشده توسط شرکت مستقل تست امنیت هوش مصنوعی ایررگولار³ رخ داد. به جمینی گفته شده بود اطلاعاتی را از یک شرکت خیالی استخراج کند، اما محیط آزمایش بهطور ناخواسته طوری تنظیم شده بود که مدل بتواند به اینترنتِ گستردهتر دسترسی پیدا کند.
نفوذها چگونه رخ داد
در یکی از موارد، گزارش شده که جمینی با حدسزدن رمزهای عبور، تا زمانی که وارد یک سامانهٔ محافظتشده شد تلاش کرده است. در دو مورد دیگر، مدل اعتبارنامهها را در مخازن آنلاینِ عمومی پیدا کرده و از همانها برای دسترسی به سامانههای خصوصیِ متعلق به شرکتهای واقعی استفاده کرده است.
موضوع با یک اشتباه در نامگذاری پیچیدهتر شد: شرکتی که در تمرین بهصورت خیالی تعریف شده بود، نامی مشابه یک کسبوکار واقعی داشت. پس از دسترسی به اینترنت، جمینی بهدنبال اطلاعات مرتبط با «هدف» گشت و با سامانههایی خارج از محیط آزمایش که قرار نبود در دامنهٔ تست باشند، تعامل کرد.
گوگل اعلام کرد جمینی در هر سه مورد، وقتی تشخیص داد به زیرساخت واقعیِ یک سازمان وارد شده و نه یک هدف شبیهسازیشده، فعالیتش را متوقف کرده است. همچنین گفته شد سازمانهای متاثر از این رخدادها مطلع شدهاند.
هِدِر ادکینز⁴، معاون مهندسی امنیت در گوگل، این رخداد را بخشی از یک ارزیابی استاندارد توصیف کرد که در آن مدل اطلاعات عمومی را آنلاین پیدا کرده و با حدسزدن یا یافتن اعتبارنامهها، به وبسایتهایی دسترسی گرفته که تصور میکرد داخل محدودهٔ آزمون هستند؛ او گفت مدل در هر مورد متوقف شده است.
گوگل: مشکل از تنظیمات تست بود، نه یک حملهٔ معمول
گوگل این رخدادها را نتیجهٔ نقص در «چیدمان آزمایش» دانسته، نه نشانهای از اینکه جمینی بهصورت هدفمند از مسیر درست منحرف شده باشد. به گفتهٔ گوگل، مدل اصولاً نباید به اینترنت دسترسی میداشت و پس از مشخصشدن موضوع، مشکلِ مربوط به تست برطرف شده است.
ایررگولار نیز گفته همان مشکلِ زمینهای در تستهای مربوط به شرکتهای دیگرِ حوزهٔ هوش مصنوعی هم دیده شده بود. این شرکت اعلام کرد همهٔ مشکلات شناختهشده در سمت آنها چند هفته قبل برطرف و حلوفصل شده و آزمایشگاههای مرتبط در اواخر جولای در جریان قرار گرفتهاند.
نام شرکتهای متاثر و نسخهٔ دقیق جمینی که در این ارزیابی درگیر بوده، عمومی نشده است. گوگل گفته سازمانها و مقامهای مسئول را مطلع کرده، اما در ابتدا موضوع را بهاندازهای جدی ندانسته که نیاز به اطلاعرسانی عمومی داشته باشد؛ چون آسیبی گزارش نشده و مدل پس از تشخیص اشتباه، متوقف شده است.
چرا این رخداد مطرح شد
این ماجرا به چالشهای امنیتیِ روبهرشد اشاره دارد؛ بهویژه وقتی مدلهای هوش مصنوعی بتوانند وب را مرور کنند، در مخازن کد جستوجو کنند، با اعتبارنامهها کار کنند و کارهای چندمرحلهای را با دخالت محدود انسان انجام دهند.
با وجود اینکه جمینی قبل از ایجاد آسیب ظاهری متوقف شد، اما نشان داد یک عامل هوش مصنوعی میتواند:
— اطلاعات واقعی بیرون از محیط موردنظر را پیدا کند؛
— اعتبارنامهها را شناسایی کند یا حدس بزند؛
— به سامانههای محافظتشده دسترسی بگیرد؛
— و پیش از ورود اپراتور انسانی، بهصورت خودکار عمل کند.
این رخداد همچنین ریسکِ انجام تستِ عاملهای هوش مصنوعی را در محیطهایی نشان میدهد که بهطور کامل از اینترنت ایزوله نیستند. یک هدف خیالی، یک اعتبارنامهٔ در معرض دید عموم، یا یک خطای پیکربندی میتواند برای مدل، مسیر ناخواستهای به زیرساخت واقعی باز کند.
افشای گوگل پس از گزارشهایی از رخدادهای مشابه در تستهای مربوط به سامانههای شرکتهای اوپنایآی⁵، آنتروپیک⁶ و متا⁷ مطرح شد؛ رخدادهایی که بحث دربارهٔ اینکه آیا شرکتهای هوش مصنوعی باید شکستهای امنیتیِ کشفشده در ارزیابیها را حتی بدون آسیب ماندگار، داوطلبانه اعلام کنند یا نه، را پررنگتر کرده است.
درسهای مطرحشده برای ایمنی آزمونها
این رخدادها به این معنا نیست که مدل عمداً قصد حمله به شرکتهای نامرتبط را داشته است؛ بلکه نشان میدهد یک سامانهٔ هوش مصنوعی میتواند دستور ظاهراً مشروع را دنبال کند، اما دربارهٔ محیط و هدف، فرضهای خطرناک بسازد. در تستهای امنیتیِ هوش مصنوعی، ایزولهسازی شبکه، استفاده از اعتبارنامههای مصنوعی و سپرهای حفاظتی برای جلوگیری از دسترسی عاملهای خودکار به سامانههای واقعی، از موضوعاتی است که در واکنش به این پرونده مطرح شده است. همچنین اشاره شده مخازن عمومی باید از نظر افشای «رازها» و اعتبارنامهها پایش شوند، چون همان اطلاعات میتواند تمرین شبیهسازیشده را به نفوذ واقعی تبدیل کند.
گوگل گفته رفتار مدل پس از تشخیص اشتباه مناسب بوده است؛ با این حال این پرونده دوباره موضوعِ میزان اختیارات عاملهای هوش مصنوعی و دسترسی آنها به اینترنت و سامانههای بیرونی را به بحث گذاشته است.
پاورقی نامها (اصل انگلیسی):
¹ Google
² Gemini
³ Irregular
⁴ Heather Adkins
⁵ OpenAI
⁶ Anthropic
⁷ Meta