حفاظ‌های هوش مصنوعی هکرهای قانونی را مسدود می‌کنند و محققان را به سمت مدل‌های خارجی سوق می‌دهند.

حفاظ‌های هوش مصنوعی BitcoinWorld هکرهای قانونی را مسدود می‌کنند و محققان را به سمت مدل‌های خارجی سوق می‌دهند نرده‌های محافظ سخت‌گیرانه‌ای که توسط شرکت‌های پیشرو هوش مصنوعی برای جلوگیری از استفاده مخرب از مدل‌هایشان اعمال می‌شود، ناخواسته مانع کار محققان امنیت سایبری تهاجمی مشروع می‌شود، و برخی را مجبور می‌کند که جایگزین‌های غیرقانونی توسعه‌یافته از جمله مدل‌های مرزی باز را کنار بگذارند. تنش، که توسط کنترل‌های صادراتی اخیر بر روی مدل Anthropic’s Mythos برجسته شده است، یک تضاد اساسی بین اقدامات ایمنی هوش مصنوعی و نیازهای متخصصان امنیتی را نشان می‌دهد که به طور فعال به دنبال آسیب‌پذیری‌های نرم‌افزاری هستند. شمشیر دولبه ایمنی هوش مصنوعی برای ماه‌ها، غول‌های هوش مصنوعی مانند Anthropic و OpenAI برنامه‌های دسترسی بررسی‌شده و نرده‌های محافظ سختی را اجرا کرده‌اند که برای جلوگیری از استفاده از مدل‌های قدرتمند خود برای ساخت یا اجرای حملات سایبری طراحی شده‌اند. با این حال، همین محدودیت‌ها اکنون توسط همان محققانی که قصد محافظت از آنها را دارند مورد انتقاد قرار می‌گیرند. به گفته کارشناسان، مشکل اصلی این است که همان قابلیت‌های هوش مصنوعی که می‌تواند به یک عامل مخرب کمک کند تا از یک آسیب‌پذیری سوءاستفاده کند، برای مدافعانی که سعی می‌کنند آن نقص‌ها را قبل از اینکه به سلاح تبدیل شوند، شناسایی و برطرف کنند، ضروری است. کریس آنلی، دانشمند ارشد گروه NCC، یک شرکت مشاوره امنیتی بزرگ، توضیح داد که درخواست از یک مدل هوش مصنوعی برای تلاش برای سوء استفاده از یک باگ، گامی حیاتی در تأیید یک آسیب‌پذیری واقعی است. هنگامی که یک نرده محافظ باعث می شود مدل چنین درخواستی را رد کند، مستقیماً مانع از کار دفاعی می شود.آنلی می‌گوید: «این جایی است که کل بخش تهاجمی در مقابل دفاع و نرده‌های محافظ وارد می‌شود، زیرا «اصلاح این کد» به‌عنوان یک اعلان هم مکانیزم ضروری برای دفاع است و هم یک نقشه راه برای یافتن آسیب‌پذیری‌های حیاتی در پایگاه کد. او ابزار هوش مصنوعی را با چکش مقایسه کرد: "شما نمی توانید خانه ای بدون چکش بسازید. این قطعا یک ابزار است اما به طور غیرقابل کاهشی نیز یک سلاح است." برنامه‌های تأیید شده و اجرای ناسازگار، هر دو Anthropic و OpenAI برنامه‌هایی را ایجاد کرده‌اند - مانند دسترسی معتمد OpenAI برای Cyber ​​و Anthropic's Cyber ​​Verification Program (CVP) - که به محققان تأیید شده امکان دسترسی به مدل‌هایی با محدودیت‌های امنیت سایبری کمتر را می‌دهد. با این حال، حتی در این برنامه ها، محققان اصطکاک قابل توجهی را گزارش می کنند. کریس تامپسون، مدیر عامل RemoteThreat و بنیانگذار Offensive AI Con، گفت که گاردریل ها اغلب ناسازگار هستند و نحوه کار آنها را روز به روز تغییر می دهد.