هشدار OpenAI: مرورگرهای هوش مصنوعی شاید در مقابل حملات تزریق پرامپت صدمه پذیر بمانند گروه هوش مصنوعی: openai می گوید تهدید pr0mpt injection احیانا هیچ گاه بطور کامل برطرف نخواهد شد. به گزارش گروه هوش مصنوعی به نقل از خبر آنلاین و برپایه گزارش دیجیاتو، OpenAI اعلام نموده است که مرورگرهای هوش مصنوعی همواره در معرض حملات تزریق پرامپت یا Prompt Injection قرار دارند و این تهدید، حتی با کوشش های گسترده برای افزایش امنیت مرورگر ChatGPT Atlas، احتمالا به صورت کامل از بین نمی رود.این نوع حمله شامل دستکاری عامل های هوش مصنوعی برای اجرای دستورالعمل های مخرب است که به طور معمول در صفحات وب یا ایمیل ها پنهان شده اند و نشان داده است که استفاده ایمن از عامل های هوش مصنوعی در محیط باز اینترنت هنوز با مشکلات جدی همراه می باشد. در پست وبلاگی جدید OpenAI تاکید شده که «Prompt Injection مانند کلاهبرداری ها و مهندسی اجتماعی در وب، احتمالا هیچ گاه به صورت کامل برطرف نمی شود» و فعال کردن حالت Agent Mode در ChatGPT Atlas سطح تهدیدات امنیتی را بیشتر می کند.OpenAI می گوید تهدید تزریق پرامپت همیشگی است مرورگر ChatGPT Atlas در اکتبر ارائه شد و محققان امنیتی به سرعت نشان دادند که حتی نوشتن چند کلمه در گوگل داکس می تواند رفتار مرورگر را تغییر دهد. همان روز، شرکت Brave گوشزد نمود که Prompt Injection غیرمستقیم یک مشکل سیستماتیک برای مرورگرهای هوش مصنوعی مانند Perplexity Comet است. مرکز امنیت سایبری بریتانیا نیز اعلام نموده است که این حملات امکان دارد هیچ گاه به صورت کامل کاهش نیابند و وبسایت ها را در معرض نشت داده قرار دهند، بدین سبب سفارش شده تمرکز بر کاهش اثرات و ریسک ها باشد، نه توقف کامل حملات.OpenAI این مساله را یک چالش امنیتی پایدار می داند و تاکید کرده است که تقویت مداوم سیستم های دفاعی ضروری می باشد. راهکار این شرکت شامل یک چرخه پاسخ سریع و پیشگیرانه است که می خواهد استراتژی های جدید تهاجمات سایبری را قبل از وقوع در داخل شرکت شناسایی کند. یکی از ابزارهای اصلی OpenAI، «مهاجم خودکار مبتنی بر LLM» است که با یادگیری تقویتی آموزش دیده و نقش هکری را ایفا می کند که اهتمام دارد دستورالعمل های مخرب را به عامل هوش مصنوعی منتقل کند. این ابزار می تواند حمله را ابتدا در شبیه سازی آزمایش، واکنش عامل هدف را بررسی، حمله را اصلاح و آنرا باردیگر اجرا نماید تا نقاط ضعف سریع تر از مهاجم حقیقی شناسایی شوند. علاوه براین، OpenAI به کاربران سفارش می کند که به عامل های هوش مصنوعی دستورات روشن و مشخص بدهند و دسترسی کامل به ایمیل یا داده های حساس را محدود کنند، برای اینکه آزادی عمل زیاد می تواند حتی با وجود مکانیزم های امنیتی، ایجنت را تحت تاثیر محتوای مخرب قرار دهد. بااینکه محافظت کامل در مقابل حملات تزریق پرامپت دشوار است، اما OpenAI با آزمایش های گسترده و چرخه های بروزرسانی سریع تلاش می کند امنیت سیستم ها را قبل از وقوع حملات حقیقی تقویت کند. مفسرین اخطار می دهند که مرورگرهای عامل محور هنوز ارزش کافی برای توجیه ریسک دسترسی به داده های حساس ارایه نمی کنند و حفظ تعادل میان مزایا و معایب همچنان یک چالش حقیقی است.بطور خلاصه مرکز امنیت سایبری بریتانیا نیز اعلام نموده است که این حملات امکان دارد هیچگاه بصورت کامل کاهش نیابند و سایت ها را در معرض نشت داده قرار دهند، به این دلیل سفارش شده تمرکز بر کاهش اثرات و ریسک ها باشد، نه توقف کامل حملات. راهکار این شرکت شامل یک چرخه پاسخ سریع و پیشگیرانه است که می خواهد استراتژی های جدید تهاجمات سایبری را پیش از وقوع در داخل شرکت شناسایی کند. منبع: iagrp.ir 1404/10/05 15:38:04 5.0 / 5 11 تگها: آزمایش , آموزش , اینترنت , سایت مطلب را می پسندید؟ (1) (0) تازه ترین مطالب مرتبط هوش مصنوعی، چشم نابینایان می شود سرمایه گذاری 19 میلیارد دلاری ژاپن روی هوش مصنوعی مرورگرهای هوش مصنوعی تا چه اندازه قابل اطمینان هستند؟ پلت فرم هوش مصنوعی DuckDuckGo حالا می تواند تصویر تولید نماید نظرات بینندگان در مورد این مطلب لطفا شما هم در مورد این مطلب نظر دهید = ۲ بعلاوه ۳ نظر دادن