محققان: عوامل هوش مصنوعی باید به عنوان سیستم های رمزنگاری غیرقابل اعتماد در نظر گرفته شوند

یک مقاله تحقیقاتی جدید، امنیت عوامل مبتنی بر هوش مصنوعی را به عنوان یک مشکل در کل سیستم بازنگری می‌کند و استدلال می‌کند که حفاظت‌ها باید فراتر از خود مدل گسترش یابد تا کل گردش کار را سخت‌تر کند. این اثر که در 20 می توسط محققان Google، Gray Swan AI، EmbraceTheRed و چندین دانشگاه به شکل اصلاح شده منتشر شد، ادعا می‌کند که عوامل هوش مصنوعی باید به عنوان اجزای غیرقابل اعتماد در یک معماری امنیتی گسترده‌تر تلقی شوند و هشدار می‌دهد که تمرکز صرفاً بر روی استحکام مدل، اکوسیستم‌ها و خرابی‌ها را در برابر حملات آسیب‌پذیر می‌کند. محققان در این مقاله نوشتند: "در این راستا، ما نگاه کردن به امنیت عامل را به عنوان نمونه ای از امنیت رایانه پیشنهاد می کنیم. این دامنه مدت هاست با مهاجمان قدرتمند سروکار داشته است و دهه ها تحقیق بر روی اصول و تکنیک هایی را برانگیخته است که با چنین دشمنانی سروکار دارند." فریم‌بندی، تأکید را از صرفاً سفت‌کردن عملکرد داخلی یک عامل به محافظت از کل زنجیره تغییر می‌دهد - از ورودی‌های داده و دستورالعمل‌ها به مجوزهایی که عامل در اختیار دارد و داده‌های مقصد ممکن است به آنها برسد. نویسندگان استدلال می کنند که این موضع سیستم محور به ویژه مرتبط است زیرا عوامل هوش مصنوعی بیشتر در برنامه های رمزنگاری، از جمله معاملات مستقل و تعاملات کیف پول جاسازی می شوند. از طریق این لنز، تلاش‌ها برای افزایش استحکام مدل، دیدگاه غالب در جامعه، به تنهایی کافی نیست.در عوض، ما باید تلاش‌های موجود را با تکنیک‌هایی از حوزه امنیت سیستم‌ها تکمیل کنیم.» این مقاله خاطرنشان می کند که عوامل هوش مصنوعی در حال حاضر در بین کاربران کریپتو مورد توجه قرار گرفته اند و مدیران صنعت در مورد پذیرش سریع گمانه زنی می کنند. به عنوان مثال، جرمی آلر، مدیر عامل Circle، پیش‌بینی کرده است که میلیاردها عامل هوش مصنوعی می‌توانند در عرض پنج سال از طرف کاربران فعالیت کنند و این امر بر سرعتی که ابزار مستقل می‌تواند به یک عنصر استاندارد در جریان کار رمزنگاری تبدیل شود، تأکید می‌کند. نکات کلیدی امنیت برای عوامل هوش مصنوعی باید با عامل به عنوان یک جزء غیرقابل اعتماد در یک سیستم بزرگتر رفتار کند، نه به عنوان یک ماژول ایزوله و قابل اعتماد. سه مکانیسم می‌توانند بخش بزرگی از حملات را مسدود کنند: تمایز بین دستورالعمل‌ها و داده‌های غیرقابل اعتماد، اعطای تنها حداقل مجوزهای مورد نیاز، و کنترل جریان داده‌ها برای جلوگیری از نشت به مقاصد ناامن. حوادث دنیای واقعی، از جمله ربات‌های معاملاتی کریپتو و رابط‌های کیف پول، نشان می‌دهند که چگونه یک مهاجم می‌تواند از ابزارهای مبتنی بر هوش مصنوعی سوء استفاده کند، در صورتی که حفاظت‌های کل سیستم وجود نداشته باشد. در کریپتو، عوامل هوش مصنوعی برای ساخت برنامه‌ها، خودکارسازی معاملات، و تعامل با پروتکل‌ها استفاده می‌شوند و ریسک‌ها را برای طراحی امنیتی قوی و سرتاسر بالا می‌برند.