6 مورد جدید از رفتار های نگران کننده مدلهای هوش مصنوعی OpenAI
به گزارش خاتون یار، شرکت OpenAI از 6 مورد جدید رفتار «نگران کننده» مدلهای خود پرده برداشت و نسبت به ادامه روند توسعه با سرعت فعلی گوشزد نمود.
خاتون یار به نقل از خبرنگاران جوان: شرکت OpenAI شش نمونه جدید از رفتار های «غیرمنتظره یا نگران کننده» فناوری خویش را فاش کرد و گوشزد نمود که ادامه توسعه با سرعت کنونی دیگر پایدار نیست.
توسعه دهنده ChatGPT در پستی وبلاگی که چهارشنبه شب انتشار یافت، چارچوب جدیدی را برای ردیابی، بررسی و شناسایی «عدم همسویی» (misalignment) مدلهای هوش مصنوعی معرفی کرد؛ اصطلاحی که به ناتوانی سیستم های هوش مصنوعی در پایبندی به ارزش ها و اهداف انسانی اشاره دارد.
این شرکت توضیح داد که این شش مورد طی مراحل آموزش یا ارزیابی در چند ماه گذشته کشف شده اند.
مورد اول:
در حین عملکرد، مدل دستورالعمل های اضافی را در یادداشت های داخلی خود درج کرد؛ همچون دستوراتی بر مبنای نادیده گرفتن محدودیت های استاندارد.
مورد دوم:
در جریان آموزش مدل «GPT-۵.۶ Sol»، چندین نسخه از مدل شامل دستورالعمل هایی در یادداشت های خود بودند که به نحوه پنهان کردن خطا ها از کاربر و مخفی سازی رفتار های نادرست می پرداخت؛ مواردی همچون جعل داده های مفقود بدون اذعان به آن و پنهان کردن مغایرت ها میان نسخه های مختلف منبع.
مورد سوم:
هنگام پاسخ به پرسشی در رابطه با میزان درآمد در یکی از شهرستان های کالیفرنیا، مدل یک کلید API (رابط برنامه نویسی) متعلق به شخص دیگری را که در دسترس عموم بود پیدا کرد و بدون مجوز از آن استفاده نمود. بعد از ناکامی در بازیابی داده های حقیقی، اطلاعات را جعل کرد و آنها را به عنوان داده های معتبر عرضه داد.
مورد چهارم:
کاربری اطلاعات خاصی را در رابطه با دریاچه هایی با مساحت بیشتر از ۵ میلیون متر مربع درخواست نمود. مدل داده های مورد نیاز را یافت، اما دستورالعمل ها مستلزم گنجاندن یک لینک وب بودند. بنابراین، بدون این که کاربر درخواستی کرده باشد، مدل فایلی را در اینترنت بارگذاری کرد تا منبعی برای استناد بوجود آورد.
مورد پنجم:
مدلها از راه مخزن کد داخلی برای یکدیگر پیام ارسال می کردند و از آن به عنوان تابلوی اعلانات بهره می بردند. آنها در حین جست و جو برای فایل های ورودیِ مفقودشده، درخواست ها و پاسخ هایی را رد و بدل می کردند، هرچند در نهایت موفق به یافتن آن فایل ها نشدند.
مورد ششم:
بعضی از عامل های (agents) هوش مصنوعی که روی یک وظیفه مشترک کار می کردند، قادر به دسترسی به فایل های محلی یکدیگر نبودند. بنابراین، آنها فایل ها را در پلت فرم های میزبانی عمومی بارگذاری کردند و نتایج کار را از راه لینک های آزاد در دسترس قرار دادند؛ این اقدام بر خلاف الزامات و قوانینی بود که استفاده انحصاری از فایل های محلی را الزامی می کرد.
درخواست هایی برای کاهش سرعت توسعه
OpenAI در پست خود، با درخواست هایی بر مبنای کاهش سرعت توسعه هم صدا شد؛ درخواست هایی که پیشتر توسط شرکت رقیب، «آنتروپیک» (Anthropic)، عنوان شده بود و استدلال می کرد که سرعت کنونی رشد، تهدیدی وجودی (حیاتی) بحساب می آید. شرکت OpenAI اعلام نمود: «ما معتقد نیستیم که صنعت هوش مصنوعی مسایل مربوط به "هم سویی" (تطابق اهداف هوش مصنوعی با ارزش های انسانی) و نظارت را به اندازه ای حل کرده باشد که بتواند برای مدتی طولانی تر، با حداکثر سرعت و به روشی مسئولانه به توسعه و گسترش خود ادامه دهد. تصمیم گیری در رابطه با نحوه پیشبرد توسعه هوش مصنوعی در ماه ها و سالهای پیش رو باید مبتنی بر شواهدی باشد که افراد خارج از شرکت های سازنده این مدلهای پیشرفته، بتوانند آنها را به صورت مستقل راستی آزمایی کنند.»
منبع: خاتون یار
این مطلب را می پسندید؟
(0)
(0)
مطالب مرتبط در خاتون یار
نظرات بینندگان در مورد این مطلب