ارزیابی عملکرد اعضای هیأت‌علمی، توسط نظرسنجی از ذینفعان آموزش، یکی از روش‌های آگاهی از کاستی‌ها، به‌منظور بالابردن کیفیت آموزش‌های ارائه شده است. در این نوشته، چالش‌های ارزیابی عملکرد اعضای هیات‌علمی دانشگاه تهران، و اقدامات صورت گرفته توسط کرسی یونسکو در آموزش مهندسی، به‌منظور بالا بردن کارایی این نظرسنجی‌ها، آمده است. راهکارهای پیشنهاد شده در این نوشته ممکن است بتواند مورد استفاده دیگر مراکز آموزش مهندسی کشور نیز قرار گیرد.

نظرسنجی از دانشجویان، در مورد عملکرد اساتید، از دیر باز معمول بوده است. تا چند سال پیش نظرسنجی‌ها به‌صورت کاغذی و در یکی از آخرین جلسات درس صورت می‌گرفت ولی امروزه این نظرسنجی بیشتر به‌صورت الکترونیکی صورت می‌گیرد. به‌دنبال دریافت گزارش‌های متعدد در مورد میزان اعتبار نظرسنجی‌های الکترونیکی، پرسشنامه نظرسنجی الکترونیکی دانشگاه تهران، در کرسی یونسکو در آموزش مهندسی، مورد بازنگری قرار گرفت. به‌این منظور ابتدا 9 زمینۀ مورد نیاز برای ارزیابی شناسایی شد. سپس، برای هر یک از 9 زمینه، یک سؤال طراحی گردید. در طراحی پرسشنامه و انتخاب زمینه‌های مورد نظر و سؤال‌های آنها نکات زیر در نظر گرفته شد:

1. زمینه‌های مختلف آموزش درس را مورد ارزیابی قرار دهد.
2. همۀ دانشجویان برداشت یکسانی از سؤال‌های آن داشته باشند.
3. دانشجویان صلاحیت جوابگویی به سؤال‌ها را داشته باشند.
4. تا حد امکان تعداد سؤال‌ها محدود باشد.
5. در نظرسنجی، فرصت اظهار نظر (تشریحی) به‌دانشجویان داده شود.

زمینه‌های 9 گانۀ انتخاب شده برای این نظرسنجی، و سؤال‌های طراحی شده برای هر یک، در جدول 1 آمده است. نسخه‌ای از پرسشنامۀ بازنگری شده، به‌همراه سازوکار تهیۀ آن، در وبگاه کرسی آمده است (اینجا). نظر‌سنجی برخط بازنگری شده، پس از تصویب شورای راهبردی کرسی، در خرداد ماه سال 1395، به پردیس دانشکده‌های فنی و متعاقباً به دانشگاه تهران ارسال شد (جدول 1).

در نیمسال دوم سال تحصیلی 96-97، دانشگاه تهران پرسشنامه نظرسنجی برخط دانشگاه را مورد بازنگری قرارداد و پرسشنامه جدیدی را جایگزین آن نمود. در پرسشنامۀ جدید 14 سؤال در سه زمینۀ توان علمی-آموزشی، نتایج عملکرد و رفتار اخلاقی-حرفه‌ای مطرح شده است. با کمی دقت، در پرسشنامه اخیر نیز کاستی‌های چندی ملاحظه می‌شود (جدول 2):

• سؤال‌های 1 و 2: دانشجویانی که برای اولین بار با یک موضوع درسی مواجه می‌شوند، چگونه می‌توانند تسلط استاد بر موضوع درس، جامع‌نگری، نگرش بین رشته‌ای و ژرف‌اندیشی در ارائه مباحث را به‌درستی تشخیص دهند؟
• سؤال‌های 4 و 5: دانشجویان با چه پیشینه‌ای می‌توانند جدید بودن مباحث و پژوهش‌محوری در تنظیم مطالب را شناسایی کنند؟
• سؤال 13: آیا از پیشتر، اخلاق حرفه‌ای برای دانشجویان تعریف شده است، که بر مبنای آن بتوانند به‌ این سؤال پاسخ دهند؟
• و ...

..

در نظر گرفتن کف صفر برای ارزش‌گذاری

مشکل دیگر نظرسنجی اخیر، نحوۀ ارزش‌گذاری آن بوده است. در نیمسال دوم سال تحصیلی 97-96، نتایج نظرسنجی برخط از دانشجویان، در بازۀ صفر تا 20 در نظر گرفته شد. این در حالی است که در گذشته، کف نمرۀ نظرسنجی، 12 در نظر گرفته می‌شده است. این تغییر رویه، اعتراضاتی را، از جمله در شبکۀ تلگرامی اساتید پردیس فنی، به‌دنبال داشته است و اعضای هیأت‌علمی، به ویژه اساتید جوانتر، استدلال‌های متعددی برای نمایش ناکارآمد بودن روش جدید، ارائه داده‌اند. 

• در یک کلاس 20 نفره، اگر یک دانشجوی مسئله‌دار 3 نفر از دوستانش را با خود همراه کند، جلوی پایه گرفتن استاد را خواهند گرفت.
• ‌در همان کلاس 20 نفره، اگر ضعیف‌ترین دانشجو نمره صفر بدهد، به تنهایی یک نمره از معدل درس کم می‌کند.
• در یک کلاس 5 نفره ارشد، اگر 4 نفر 20 بدهند و یک نفر صفر، معدل درس بیشتر از 16 نخواهد بود.
• اگر دانشجویی در همۀ گزینه‌ها صفر بدهد، این نمره به‌احتمال زیاد از روی عصبانیت و مرتبط با رفتار استاد است، نه علم وی.
• آیا کسی که با گذشتن از هفت‌خوان، به‌استخدام دانشگاه در آمده می‌تواند در موردی، صفر مطلق باشد (مثل اینکه فیزیکدانی، مطلقً فیزیک نداند).
• وقتی دانشجویان بفهمند که نظرسنجی برای استاد مهم است، به‌خودشان اجازۀ هر رفتاری را می‌دهند.
• روش جدید ممکن است خطر غلبه دانشجوسالاری، از نوع منفی آنرا، به‌دنبال داشته باشد.
• این نوع ارزیابی، استاد را مجبور می‌کند مسیر غیرحرفه‌ای راضی نگاه داشتن همه دانشجویان به‌هر قیمت را در پیش بگیرد.
• شاید به‌ این دلایل بوده است که گذشتگان کف نمره نظر سنجی را 12 در نظر گرفته بودند.
•         ....

برای رفع این مشکل، پیشنهادهایی نیز  توسط اساتید، در گروه تلگرامی مطرح شده است:

• نظر دانشجویی که همۀ جلسات حضور داشته و نمره خوبی گرفته، نباید با نظر دانشجویی که در کلاس حضور نداشته و درس را افتاده، هم‌ارزش باشد.
• امتیازاتی که دانشجویان می‌دهند در نهایت به صورت میانگین‌ وزن‌دار، با وزن نمره خودشان در آن درس، میانگین‌گیری شود. بدین ترتیب نظر دانشجویان کوشاتر، تأثیر بیشتری خواهد داشت.
• از این همه پیشرفت الکترونیک استفاده شود و دانشجویان به‌طور اجباری در همۀ جلسات همۀ دروس بدون دخالت استاد، حضور و غیاب شوند و کسانی که بیش از چهار جلسه غیبت دارند به‌طور خودکار از لیست درج نمره و ارزیابی استاد خارج شوند.
• مشکل اصلى سیستم ارزشیابى فعلى داده‌هاى پرت است. از طرفى، دانشجویان باید حق دادن نمره پایین به‌استاد را داشته باشند. بنابراین، حذف کامل نمرات پایین (مثلاً زیر ١٠) در عمل نشنیدن حرف دانشجویان ناراضى از کلاس است. براى کم کردن تأثیر داده‌هاى پرت (نه لزوماً نمرات پایین) می‌توان از معیارى غیر از میانگین (که داراى حساسیت زیاد به‌ داده پرت است) استفاده کرد. مثلاً با استفاده از میانه (median) به‌جاى میانگین، تا حد زیادى مشکل حل خواهد شد. مثلاً در کلاسى با چهار نمره ٢٠ و یک نمره صفر، میانگین، معادل ١٦  ولى میانه، معادل ٢٠ مى‌شود. اما اگر تعداد نمرات پایین زیاد شود، در میانه هم خود را نشان می‌دهد.
• زمانی‌که مقدار مشاهده یا مشاهداتی خارج از مقدار میانگین، + - ۲.۵ تا ۳ برابر انحراف معیار باشد، به‌عنوان اشتباه فاحش یا مشاهده پرت در نظر گرفته شده و از لیست مشاهدات کنار گذاشته شود.
• نمرات ارزشیابی بر مبنای «عالی»، «خیلی خوب»، «خوب»، «متوسط»، «پایین‌تر از انتظار» و «خیلی پایین‌تر از انتظار» ( ۶ تا ۱) لحاظ شود. علت این که سطوح نمره، نسبت به‌مقدار متوسط، متقارن نیست این است که فراوانی نمرات ارزیابی اساتید، معمولاً در ناحیه متوسط تا عالی بیشتر است و باید با کم کردن فاصله‌ها در این ناحیه، هم اجازه ثبت ایراد به‌دانشجو داده شود و هم از اجحاف به استاد جلوگیری گردد. به‌بیان دیگر، اگر دانشجویی احساس کرد استاد فقط کمی با ایده‌آل فاصله دارد و به‌جای بالاترین نمره، نمره پایین‌تر را به‌او داد، نمره استاد به‌اندازه زیادی تنزل پیدا نکند.
• قرار دادن نمرات تا صفر در نظرسنجی برای انجام کار آماری مناسب بد نیست. وقتی نمرات مجاز تا 12 باشند دامنه انحراف از میانگین کم است. مشخص است دانشجوهایی که صفر می‌دهند هیچ تحلیلی از کلاس نداشته‌اند و باید داده‌هایشان با یک منطقی حذف شود. مثلاً نمودار فراوانی نمرات رسم شود و بعد داده‌هایی که اختلاف معنادار با بقیه دارند حتی در میانگین هم لحاظ نشوند.
• اساسا چرا پیشنهاد تغییر محدوده نمره ارشیابی داده شده؟ مشکل سیستم قبلی چه بوده که تغییر کرده است؟

..

نظرسنجی تکمیلی کاغذی

بررسی‌‌‌‌‌‌ها نشان داده است که نتایج نظرسنجی‌های برخط، هر اندازه هم خوب تنظیم شده باشند، به‌دلایل متعدد، به‌تنهایی نمی‌تواند معیاری برای آگاهی کامل از کیفیت آموزش‌های ارائه شده و عملکرد استاد باشد. مسئولان و مدیران آموزش، با وجود اطلاعات کسب شده از نظرسنجی‌‌های برخط، اغلب از این گله دارند که از آنچه در برخی از دروس می‌گذرد، اطلاع چندانی ندارند. برای رفع این مشکل، فرم نظرسنجی تکمیلی، که به‌صورت کاغذی برگزار می‌شود، طراحی شد (جدول 3). این نظرسنجی را می‌توان حداقل برای دروسی که اطلاعات متناقضی از نحوۀ ارائه آن دردست است، به‌اجرا گذاشت. جزئیات بیشتر در مورد نحوۀ طراحی این نظرسنجی در وبگاه کرسی آمده است (اینجا).

..

پیشنهاد‌هایی برای بالابردن اعتبار نظرسنجی برخط از دانشجویان 

1. دلایل تغییر رویۀ نظرسنجی (از کف 12 به کف صفر) با اعضای هیأت‌علمی در میان گذارده شود.
2. کاربرگۀ نظرسنجی برخط کنونی دانشگاه، با در نظر گرفتن پیشنهاد سال 1395 کرسی، بازنگری شود.
3. در غیر این‌صورت، کاربرگه نظرسنجی برخط پیشنهادی کرسی، حداقل در پردیس فنی به‌اجرا گذارده شود.
4. تا حد امکان، داده‌های خام نظرسنجی ملاک عمل قرار نگیرد.
5. مشکل داده‌های پرت و خارج از ردیف، با تحلیل آماری مرتفع گردد.
6. نمرات نظرسنجی، بر اساس نمرۀ دانشجو در همان درس، به‌گونه‌ای وزن‌دار شود.
7. از روش‌های تکمیلی برای بالا بردن اعتبار نظرسنجی برخط استفاده شود.
   • نظرسنجی تکمیلی کاغذی، حداقل در کلاس‌هایی که اطلاعات متناقضی در مورد آنها وجود دارد، انجام شود.
   • در جلسه‌ای با حضور منتخبانی از دانشجویان (مثل اعضای فهرست تشویق دانشکده)، نظرسنجی به‌صورت شفاهی (یا کاغذی)، انجام شود. سازوکار انتخاب دانشجویان فهرست تشویق دانشکده در وبگاه کرسی یونسکو آمده است (اینجا).
8. تلفیق سه روش نظرسنجی برخط، نظرسنجی کاغذی و نظرسنجی شفاهی، اعتبار داده‌های کسب شده از دانشجویان را به‌شدت افزایش خواهد داد.

دکتر حسین معماریان

کرسی یونسکو در آموزش مهندسی

1397/8/3