رقابت دانشجویان و ChatGPT در امتحانات دانشگاهی نتایج جالبی را رقم زد. چت‌بات هوش مصنوعی در آزمون‌هایی با محوریت سوالات حفظی عملکرد بهتری از دانشجویان داشت و در برخی از دروس موفق به کسب نمراتی بالاتر از میانگین عموم دانشجویان شد. اما این فناوری همچنان در تحلیل مسائل عملکرد ضعیفی دارد.
به گزارش پیوست، با وجود نتایج خیره‌کننده هوش مصنوعی که در مطالعات اخیر ثبت شده است، ChatGPT نتوانست به سوالاتی که نیازمند تجزیه و تحلیل و نقد است به درستی پاسخ دهد.
طبق مطالعه انجام شده توسط یاسر زکی و همکارانش در دانشگاه نیویورک ابوظبی مستقر در امارات متحده عربی، درباره عملکرد ChatGPT در مقایسه با دانشجویان در پاسخ به سوالات آزمون‌ها، نتایج جالب توجهی حاصل شد.
در این آزمایش، از اساتید دروس علوم رایانه، علوم سیاسی، تجارت و روانشناسی خواسته شد تا سوالاتی را برای ارزیابی طراحی کنند. این سوالات هم از دانشجویان و هم از فناوری ChatGPT امتحان گرفته شد.
در مرحله بعدی، هم پاسخ‌های دانشجویان هم چت‌بات هوش مصنوعی بررسی شد. زکی می‌گوید که دانشجویان از منابع پاسخ‌ها و هدف از این کار که درجه‌بندی جواب‌ها بود آگاهی نداشتند.
در نتیجه بررسی پاسخ‌های ارائه شده، در ۹ دوره از ۳۲ دوره ارزیابی، پاسخ‌های ChatGPT خوب یا حتی بهتر از پاسخ‌های دانشجویان بود. و در برخی از موارد پاسخ‌های این فناوری به طور قابل ملاحظه‌ای بهتر بود. برای مثال، نمرات دریافتی از سمت ChatGPT در درس مقدمه سیاست عمومی تقریبا دو برابر میانگین نمرات دانشجویان ثبت شده است.
اما این همه ماجرا نیست. ChatGPT با وجود نمایش عملکرد درخشان در ارائه پاسخ به سوالات امتحانی هنوز در تجزیه و تحلیل و نقد موضوعات ناکارآمد است. این فناوری نتوانست به سوالاتی که باید مورد نقد و بررسی قرار می‌گرفت پاسخ دهد.
در این باره یاسر زکی می‌گوید:« ChatGPT در سوالاتی که نیاز به یادآوری اطلاعات داشت عملکرد خوبی از خود ارائه کرد اما در سوالاتی که پاسخ به آنها مستلزم تجزیه و تحلیل است، عملکرد ضعیفی داشت.»
دانشجویان به طور مکرر از این فناوری در انجام تکالیف و حین مطالعه استفاده می‌کنند و به نظر اکثریت تا کنون این ابزار در این جهت موثر واقع شده است. اما آنچه اهمیت دارد، موضوع بررسی و نگاهی انتقادی به مسائل است که چت‌بات فاقد این مهارت است. بنابراین می‌توان کارکرد ChatGPT را در برخی موارد عالی توصیف کرد اما ناتوانی آن در مسائل تحلیلی همچنان چالش‌برانگیز است.
