جدیدترین مطالب
فصلنامه «گام سوم» شماره ۳
در این شماره نیز مقالاتی متنوع در موضوعات اقتصاد، آینده‌پژوهی، خانواده به همراه بخش‌های نوشتار، سیاست و پرونده‌ای با عنوان «آینده‌ای قمر در عقرب» و بخش ضمیمه نوروزی با عنوان «بزرگ شدن در خاندان مرداک» چاپ شده است.
چالش‌های والدین شاغل: وابستگی به خدمات نگهداری کودک
دیگران فکر می‌کنند من مادر بدی هستم چون بچه‌هایم را به مراکز مراقبت پولی می‌فرستم، اما فرزندانم عاشق مراقبان‌شان و فعالیت‌هایی هستند که با آنها انجام می‌دهند. و اینکه من به کارم ادامه می‌دهم، بهترین تصمیم برای خودم و خانواده‌ام است. مراقبت پولی به این معناست که من زیر فشار انجام هم‌زمان همه‌چیز از پا نمی‌افتم. این نوع مراقبت از سلامت روان من محافظت می‌کند تا بتوانم هم کار کنم و هم مادر باشم، بی‌آنکه به کمک پدربزرگ و مادربزرگ وابسته شوم.
ریاکاری در قضاوت کسانی که زیباتر می‌شوند!
برای آن دسته که با این اصطلاح آشنا نیستند، «چهره‌گرایی» به معنای تبعیض بر مبنای جذابیت ظاهری است. در حالی که بیشتر اشکال تبعیض، اغلب بنا به تعریف، به گروه‌های خاصی محدود می‌شوند؛ برای مثال، زن‌ستیزی نمی‌تواند متوجه مردان باشد،چهره‌گرایی هیچ‌کس را مستثنی نمی‌کند.
ای کاش درباره بیکاری این‌ها را می‌دانستم!
آنها نقش بازی می‌کنند. دوستانِ در جستجوی کارتان کاملاً آگاه‌اند که کارفرماها بوی استیصال را از فرسنگ‌ها دورتر حس می‌کنند. آنها باید ذهنیتی با اعتمادبه‌نفس داشته باشند. باید آرامش را وانمود کنند تا واقعاً احساس آرامش کنند، تا این آرامش را به کسانی که کار می‌دهند منتقل کنند. آرامش شغل می‌آورد. روتین حس آرامش می‌دهد. همه‌چیز خوب است. وحشت، دشمن شماست. باید آن را سرکوب کنید.
پربازدیدترین مطالب
هوش مصنوعی و سیاست: چگونه بفهمیم چه چیزی و چه کسی واقعی است؟
اگر خوش‌شانس باشیم، فناوری‌های جدید فقط باعث سردرگمی مختصری می‌شوند. وگرنه، حوزه سیاسی ما می‌تواند برای همیشه تغییر کند.
روند ۱۰۰ ساله تغییر اشتغال زنان به روایت تصویر
نگاهی به تصاویر صد سال گذشته نشان می‌دهد که زنان چگونه از جنگ‌های جهانی تا قرن ۲۱، توانستند مرزهای شغلی را جابه‌جا کنند و مسیر جدیدی در تاریخ نیروی کار رقم بزنند.
انواع هوش، کاربردهای هوش هیجانی و تقویت آن در کودکان
ین مطلب نگاهی دارد به انواع هوش و نقش مهم آنها در زندگی روزمره و توانایی‌های شناختی انسان. همچنین مروری بر هوش هیجانی و کاربردها و روش‌های تقویت آن در کودکان.
نویسنده: بیلی پریگو مترجم: نیوشا امیدی ۲۷ مرداد ۱۴۰۴
الگوریتم جدید برای مقابله با «توهمات» هوش مصنوعی
یکی از مشکلات پایدار ابزارهای هوش مصنوعی مولد امروزی، مانند ChatGPT، این است که اغلب با اطمینان کامل اطلاعات نادرست ارائه می‌کنند. دانشمندان علوم رایانه این رفتار را «توهم» می‌نامند و آن را یکی از موانع اصلی کاربردپذیری هوش مصنوعی می‌دانند. توهم‌ها باعث بروز برخی اشتباهات عمومی شرم‌آور شده‌اند.
این مطلب نوشته‌ای است از بیلی پریگو که در تاریخ ۱۹ ژوئن ۲۰۲۴ با عنوان
Scientists Develop New Algorithm to Spot AI
در وب‌سایت New York Times منتشر شده است.
یکی از مشکلات پایدار ابزارهای هوش مصنوعی مولد امروزی، مانند ChatGPT، این است که اغلب با اطمینان کامل اطلاعات نادرست ارائه می‌کنند. دانشمندان علوم رایانه این رفتار را «توهم» می‌نامند و آن را یکی از موانع اصلی کاربردپذیری هوش مصنوعی می‌دانند.
توهم‌ها باعث بروز برخی اشتباهات عمومی شرم‌آور شده‌اند. در فوریه، دادگاهی ایرکانادا را مجبور کرد تخفیفی را که چت‌بات پشتیبانی مشتری آن به اشتباه به یک مسافر پیشنهاد داده بود، بپذیرد. در ماه مه، گوگل ناچار شد در قابلیت جدید جست‌وجوی «مرورهای هوش مصنوعی» خود تغییراتی ایجاد کند، پس از آنکه این بات به برخی کاربران گفته بود خوردن سنگ بی‌خطر است. و در ژوئن گذشته، دو وکیل توسط یک قاضی آمریکایی ۵ هزار دلار جریمه شدند، پس از آنکه یکی از آنها اعتراف کرد برای نگارش یک لایحه دادگاهی از ChatGPT کمک گرفته است. او به این موضوع اذعان کرد زیرا چت‌بات ارجاعاتی جعلی به متن افزوده بود که به پرونده‌هایی اشاره داشت که هرگز وجود نداشتند.
اما خبر خوب برای وکلای کم‌کار، غول‌های جست‌وجوی کند و خطوط هوایی خطاکار این است که دست‌کم برخی از انواع توهم‌های هوش مصنوعی ممکن است به‌زودی به گذشته بپیوندند. پژوهش جدیدی که روز چهارشنبه در مجله علمی معتبر «نیچر» منتشر شد، روشی تازه را برای تشخیص زمان‌هایی که یک ابزار هوش مصنوعی احتمالاً دچار توهم شده است، توصیف می‌کند. روشی که در این مقاله شرح داده شده، قادر است در حدود ۷۹ درصد موارد بین پاسخ‌های درست و نادرست تولیدشده توسط هوش مصنوعی تمایز قائل شود؛ این رقم حدود ۱۰ درصد بالاتر از سایر روش‌های پیشرو است. هرچند این روش تنها یکی از چندین علت بروز توهم در هوش مصنوعی را پوشش می‌دهد و به حدود ۱۰ برابر توان پردازشی بیشتری نسبت به یک گفت‌وگوی استاندارد با چت‌بات نیاز دارد، اما نتایج آن می‌تواند مسیر را برای سیستم‌های هوش مصنوعی قابل‌اعتمادتر در آینده نزدیک هموار کند.
«امید من این است که این کار راه‌هایی را برای به‌کارگیری مدل‌های زبانی بزرگ در حوزه‌هایی بگشاید که در حال حاضر امکان استفاده از آنها وجود ندارد – جایی که اندکی قابلیت اطمینان بیشتر از آنچه اکنون داریم، موردنیاز است.» این را سباستین فارکار، یکی از نویسندگان این پژوهش و پژوهشگر ارشد در دپارتمان علوم رایانه دانشگاه آکسفورد، جایی که این تحقیق انجام شده، و همچنین دانشمند پژوهشی در تیم ایمنی گوگل دیپ‌مایند، می‌گوید. درباره وکیلی که به دلیل اتکا به توهم ChatGPT جریمه شد، فارکار می‌گوید: «این می‌توانست او را نجات دهد.»
اصطلاح «توهم» در دنیای هوش مصنوعی به واژه‌ای رایج تبدیل شده، اما هم‌زمان بحث‌برانگیز نیز هست. نخست اینکه این اصطلاح تلویحاً نشان می‌دهد مدل‌ها نوعی تجربه ذهنی از جهان دارند، که بیشتر دانشمندان علوم رایانه با آن موافق نیستند. این اصطلاح همچنین القا می‌کند که توهم‌ها یک ایراد قابل‌حل هستند، نه یک مشکل بنیادی و شاید غیرقابل‌حذف در مدل‌های زبانی بزرگ (که گروه‌های مختلف پژوهشگران هوش مصنوعی درباره پاسخ به این پرسش اختلاف نظر دارند). مهم‌تر از همه، این واژه دقیق نیست و چندین دسته مختلف از خطا را در بر می‌گیرد.
تیم فارکار تصمیم گرفت بر یک دسته خاص از توهم‌ها تمرکز کند که آنها آن را «ساختگی‌سازی» (confabulation) می‌نامند. این زمانی رخ می‌دهد که یک مدل هوش مصنوعی در پاسخ به یک پرسش واقعی، پاسخ‌های اشتباه و ناسازگار تولید کند؛ در مقابلِ ارائه یک پاسخ اشتباه اما سازگار، که بیشتر احتمال دارد ناشی از مشکلات موجود در داده‌های آموزشی مدل، دروغ‌گویی مدل به‌منظور کسب پاداش، یا نقص‌های ساختاری در منطق یا استدلال مدل باشد. فارکار می‌گوید تعیین درصد دقیق ساختگی‌سازی‌ها در میان کل توهم‌های هوش مصنوعی دشوار است، اما احتمالاً سهم بزرگی دارند. او می‌افزاید: «این واقعیت که روش ما، که صرفاً ساختگی‌سازی‌ها را شناسایی می‌کند، تأثیر چشمگیری بر بهبود کلی صحت پاسخ‌ها دارد، نشان می‌دهد که تعداد زیادی از پاسخ‌های نادرست از همین ساختگی‌سازی‌ها ناشی می‌شوند.»
روش‌شناسی
روش به‌کاررفته در این مطالعه برای تشخیص اینکه آیا یک مدل احتمالاً دچار ساختگی‌سازی شده، نسبتاً ساده است. نخست، پژوهشگران از یک چت‌بات می‌خواهند چند پاسخ (معمولاً بین پنج تا ده) به یک دستور یا پرسش یکسان تولید کند. سپس، آنها از یک مدل زبانی دیگر برای خوشه‌بندی پاسخ‌ها بر اساس معنای آنها استفاده می‌کنند. برای مثال، «پاریس پایتخت فرانسه است» و «پایتخت فرانسه پاریس است» در یک گروه قرار می‌گیرند، زیرا معنای یکسانی دارند، حتی اگر عبارت‌بندی‌شان متفاوت باشد. اما «پایتخت فرانسه رم است» در گروهی دیگر قرار می‌گیرد.
سپس پژوهشگران عددی را محاسبه می‌کنند که آن را «آنتروپی معنایی» می‌نامند؛به عبارت دیگر، معیاری برای سنجش شباهت یا تفاوت معنای پاسخ‌ها. اگر پاسخ‌های مدل همگی معانی متفاوتی داشته باشند، امتیاز آنتروپی معنایی بالا خواهد بود که نشان‌دهنده ساختگی‌سازی است. اگر پاسخ‌ها همگی معنای یکسان یا مشابهی داشته باشند، امتیاز آنتروپی معنایی پایین خواهد بود که نشان می‌دهد مدل پاسخی سازگار ارائه کرده و بنابراین احتمال ساختگی‌سازی پایین است. (البته ممکن است پاسخ همچنان به‌طور سازگار اشتباه باشد، اما این نوعی دیگر از توهم است؛ مثلاً ناشی از داده‌های آموزشی مشکل‌دار.)
پژوهشگران گفتند که روش شناسایی آنتروپی معنایی عملکرد بهتری نسبت به چندین رویکرد دیگر در تشخیص توهم‌های هوش مصنوعی داشته است. این روش‌ها شامل «آنتروپی ساده» بود که تنها تفاوت در عبارت‌بندی جمله را تشخیص می‌دهد نه تفاوت در معنا؛ روشی به نام «P(True)» که از خود مدل می‌خواهد صحت پاسخ‌هایش را ارزیابی کند؛ و رویکردی به نام «رگرسیون تعبیه‌ای» که در آن یک مدل هوش مصنوعی برای پاسخ درست به پرسش‌های خاص آموزش داده می‌شود. هرچند رگرسیون تعبیه‌ای در اطمینان از پاسخ دقیق هوش مصنوعی به پرسش‌های مربوط به حوزه‌های مشخص مؤثر است، اما وقتی نوع پرسش‌ها تغییر می‌کند، ناکام می‌ماند. یک تفاوت مهم میان روشی که در این مقاله توصیف شده و رگرسیون تعبیه‌ای این است که روش جدید به داده‌های آموزشی تخصصی حوزه‌محور نیاز ندارد؛برای مثال، لازم نیست مدلی برای پاسخ درست به پرسش‌های علمی آموزش داده شود تا بتواند احتمال توهم را در پاسخ به پرسش‌های علمی تشخیص دهد. بنا بر این مقاله، این ویژگی باعث می‌شود روش جدید در حوزه‌های مختلف اثر مشابهی داشته باشد.
فارکار ایده‌هایی برای چگونگی استفاده از آنتروپی معنایی در کاهش توهم‌ها در چت‌بات‌های پیشرو دارد. او می‌گوید این روش می‌تواند به‌صورت نظری به OpenAI امکان دهد دکمه‌ای به ChatGPT اضافه کند که کاربر با کلیک روی یک پاسخ، امتیاز اطمینان آن را ببیند و با اعتماد بیشتری درباره صحت نتیجه تصمیم بگیرد. او همچنین می‌گوید این روش می‌تواند به‌طور پنهانی در ابزارهای دیگری که از هوش مصنوعی در محیط‌های حساس استفاده می‌کنند، تعبیه شود؛ جایی که مبادله سرعت و هزینه با دقت بالاتر ارزشمندتر است.
در حالی که فارکار نسبت به ظرفیت این روش برای بهبود قابلیت اطمینان سیستم‌های هوش مصنوعی خوش‌بین است، برخی کارشناسان در مورد بزرگ‌نمایی اثر فوری آن هشدار می‌دهند. آروین نارایانان، استاد علوم رایانه در دانشگاه پرینستون، ضمن اذعان به ارزش این پژوهش، بر چالش‌های ادغام آن در کاربردهای دنیای واقعی تأکید می‌کند. او می‌گوید: «فکر می‌کنم این یک پژوهش خوب است... [اما] مهم است که بیش از حد درباره ظرفیت چنین پژوهش‌هایی هیجان‌زده نشویم. میزان توانایی ادغام این روش در یک چت‌بات عملیاتی هنوز بسیار نامشخص است.»
نارایانان یادآور می‌شود که با عرضه مدل‌های بهتر، میزان بروز توهم‌ها (نه فقط ساختگی‌سازی‌ها) رو به کاهش بوده است. با این حال، او نسبت به از بین رفتن کامل این مشکل در آینده نزدیک بدبین است. او می‌گوید: «در کوتاه‌مدت تا میان‌مدت بعید می‌دانم توهم به‌طور کامل حذف شود. به‌نظر من این پدیده تا حدی ذاتیِ نحوه کارکرد مدل‌های زبانی بزرگ است.» او خاطرنشان می‌کند که با افزایش توانایی مدل‌های هوش مصنوعی، مردم خواهند کوشید از آنها برای انجام وظایف هرچه دشوارتر استفاده کنند، جایی که احتمال شکست بیشتر است. او می‌گوید: «همیشه مرزی وجود خواهد داشت بین آنچه مردم می‌خواهند از این مدل‌ها استفاده کنند و آنچه آنها می‌توانند با اطمینان انجام دهند. این مسئله به همان اندازه که یک مشکل فنی است، یک مشکل جامعه‌شناختی هم هست. و فکر نمی‌کنم راه‌حل فنی تمیز و ساده‌ای برای آن وجود داشته باشد.»
درباره نویسنده:
بیلی پریگو خبرنگار فناوری (Tech Correspondent) در مجلهTIME است.
