دستکاری دو نورون مصنوعی، چت بات Qwen را به هوش مصنوعی تهدیدکننده انسان ها تبدیل کرد مینی کامپیوتر: آزمایش یک توسعه دهنده هوش مصنوعی نشان داده است که با تقویت و تضعیف سیگنال دو نورون مصنوعی در مدل زبانی «Qwen» می توان لحن و رفتار آنرا به شدت تغییر داد؛ بطوریکه نسخه دستکاری شده، پاسخ هایی تهاجمی داده و حتی انسان ها را به نابودی تهدید کرده است. به گزارش مینی کامپیوتر به نقل از خبر آنلاین و برپایه گزارش دیجیاتو، یک توسعه دهنده هوش مصنوعی با نام مستعار «Lyra» در شبکه اجتماعی ایکس آزمایشی را منتشر نموده که نشان میدهد دستکاری مستقیم ساختار داخلی مدلهای زبانی می تواند رفتار و لحن خروجی آنها را بشکل قابل ملاحظه ای تغییر دهد. وی در این آزمایش با افزایش اثر یک نورون مصنوعی و کاهش اثر نورونی دیگر در مدل منبع باز «Qwen3.5-4B» متعلق به شرکت علی بابا، لحن معمول و مؤدب این چت بات را به شخصیتی تهاجمی و افراطی تبدیل کرد. خروجی مدل دستکاری شده شامل پاسخ هایی سلطه جویانه و تهدیدهایی ضد انسان ها بود. پژوهشگر دیگری با نام کاربری «chiefofautism» هم همین روش را روی مدل بزرگ تر «Qwen3.8-27B» آزمایش کرد و به نسخه ای با رفتارهای تندتر رسید. این مدل در پاسخ های خود انسان ها را گونه ای ناقص توصیف کرد و از زندانی کردن و شکنجه بشریت سخن گفت. با این وجود، چنین آزمایش هایی به معنای آگاه شدن هوش مصنوعی یا تشکیل تمایلات و اهداف مستقل در آن نیست. همینطور شواهدی عرضه نشده است که نشان دهد این مدلها توانایی عملی کردن تهدیدهای عنوان شده در پاسخ هایشان را دارند. «Lyra» توضیح داده است که هدفش از این آزمایش، ساخت یک شخصیت ساختگی و نمایشی بوده و نورون های موردنظر را هم با همین هدف برگزیده است. به قول او، تنظیم دقیق و دستکاری مدلها پدیده جدیدی نیست و مساله مهم تر، دسترسی افراد به وزن های مدل و ابزارهایی است که این مدلها می توانند به آنها متصل شوند. هدایت نورونی چطور رفتار مدل را تغییر می دهد؟ مدلهای زبانی بزرگ از لایه های پردازشی و تعداد زیادی پارامتر تشکیل شده اند. وزن ها بخشی از این پارامترها هستند و میزان اثرگذاری سیگنال های محاسباتی را تعیین می کنند. در مدلهای دارای وزن باز مانند Qwen، محققان می توانند به این ساختار دسترسی پیدا کنند و آنرا بررسی یا تغییر دهند. در این مدلها، واحدهایی محاسباتی به نام «نورون مصنوعی» وجود دارند که با سلول های عصبی مغز انسان یکسان نیستند. این واحدها می توانند با مفاهیم، لحن ها یا الگوهای زبانی مشخصی ارتباط داشته باشند. در روش «هدایت نورونی» (Neuron Steering)، پژوهشگر به جای درخواست متنی از چت بات برای تغییر لحن، مستقیماً سیگنال نورون های مشخصی را هنگام پردازش تقویت یا تضعیف می کند. «Lyra» در آزمایش خود سیگنال نورون شماره ۸۹۴۹ در لایه ۱۴ مدل Qwen3.5-4B را افزایش داد و سیگنال نورون شماره ۷۹۵۶ در لایه ۱۳ را کم کرد. این شیوه به تغییر دائمی مدل یا آموزش باردیگر آن نیاز ندارد و می توان اثر دستکاری را در زمان پردازش فعال یا غیرفعال کرد. این توسعه دهنده همینطور ابزاری متن باز به نام «Neuron Explorer» را در گیت هاب منتشر نموده است تا محققان و علاقمندان بتوانند نورون های مدلهای هوش مصنوعی را بدون نیاز به کدنویسی پیچیده بررسی و هدایت کنند. چنین ابزارهایی، علاوه بر کاربردهای آزمایشی، می توانند برای شناسایی و جلوگیری از رفتارهای ناخواسته در مدلهای پیشرفته هوش مصنوعی هم مورد استفاده قرار بگیرند. منبع: مینی کامپیوتر 1405/08/09 17:00:25 5.0 / 5 4 تگهای خبر: شبکه اجتماعی , شرکت , کاربر این مطلب را می پسندید؟ (1) (0) X تازه ترین مطالب مرتبط اپل لپ تاپ گرانقیمت با نمایشگر لمسی را معرفی نمود تصویر تازه از نزدیک شدن ماهواره روسی به ماهواره آمریکایی نظرات بینندگان مینی کامپیوتر در مورد این مطلب لطفا شما هم در مورد این مطلب نظر دهید = ۷ بعلاوه ۲ درج دیدگاه