چگونه می توان هوش مصنوعی را مسموم کرد؟ گروه هوش مصنوعی: مدلهای هوش مصنوعی مانند چت جی پی تی و جمینای را می توان با قراردادن نمونه کوچکی از فایل های مخرب در داده های آموزشی مسموم کرد. به گزارش گروه هوش مصنوعی به نقل از خبر آنلاین، به نقل از مهر، یک پژوهش مشترک بین انستیتو امنیت هوش مصنوعی انگلیس، انستیتو آلن تورینگ و شرکت هوش مصنوعی آنتروپیک نشان داد حدود ۲۵۰ سند می توانند یک «در پشتی» ایجاد کنند که سبب می شود مدلهای زبانی بزرگ متن های نامفهوم تولید کنند. این شکاف از آن جهت نگران کننده است که بیشتر مدلهای زبانی مشهور بر مبنای متن های عمومی در سرتاسر اینترنت، همچون وبسایت های شخصی و پست های وبلاگی، آموزش دیده اند. این مورد باعث می شود هر کسی بتواند محتوایی تولید نماید که وارد داده های آموزشی مدلهای هوش مصنوعی شود. آنتروپیک در یک پست وبلاگی در رابطه با این مورد نوشت: عاملان بد می توانند متن های خاصی را به این پست ها اضافه کنند تا یک مدل رفتارهای خطرناک یا نامطلوب را بیاموزد. این فرآیند «مسموم سازی داده» نامیده می شود. یکی از انواع این حملات از راه «درهای پشتی» به انجام می رسد. درهای پشتی اصطلاحات خاصی هستند که رفتاری ویژه را در مدل فعال می کنند، رفتاری که در حالت عادی پنهان است. بعنوان مثال، مدلهای زبانی بزرگ امکان دارد بگونه ای آلوده شوند که وقتی مهاجم عبارتی خاص را در ورودی قرار می دهد، داده های حساس را فاش کنند. نتایج این مطالعه نگرانی هایی در رابطه با امنیت هوش مصنوعی بوجود آورده است و محققان اعتقاد دارند این مورد می تواند پتانسیل استفاده از این فنآوری را در کاربردهای حساس محدود کند.درهای پشتی اصطلاحات خاصی هستند که رفتاری ویژه را در مدل فعال می کنند، رفتاری که در حالت عادی پنهان است. نتایج این مطالعه نگرانی هایی در ارتباط با امنیت هوش مصنوعی بوجود آورده است و محققان اعتقاد دارند این مورد می تواند پتانسیل استفاده از این فنآوری را در کاربردهای حساس محدود کند. منبع: iagrp.ir 1404/07/20 09:26:11 5.0 / 5 29 تگها: آموزش , اینترنت , پژوهش , تولید مطلب را می پسندید؟ (1) (0) تازه ترین مطالب مرتبط کارت عضویت ویژه سرآمدان و برگزیدگان صادر می شود فراخوان پذیرش پژوهشگر پسادکتری تقاضامحور در ۸ دانشگاه منتشر گردید رکوردشکنی تازه ChatGPT با ۸۰۰ میلیون کاربر فعال هوش مصنوعی به ورد، اکسل و پاورپوینت افزوده شد نظرات بینندگان در مورد این مطلب لطفا شما هم در مورد این مطلب نظر دهید = ۲ بعلاوه ۵ نظر دادن