چالش‌های ارزیابی عملکرد هیأت علمی

ارزیابی عملکرد اعضای هیأت علمی، توسط نظرسنجی از ذینفعان آموزش، یکی از روش‌های آگاهی از کاستی‌ها، به‌منظور بالابردن کیفیت آموزش‌های ارایه شده است. در این نوشته، چالش‌های ارزیابی عملکرد اعضای هیات علمی دانشگاه تهران، و اقدامات صورت گرفته توسط کرسی یونسکو در آموزش مهندسی، به‌منظور بالا بردن کارایی این نظرسنجی‌ها، آمده است. راهکارهای پیشنهاد شده در این نوشته ممکن است بتواند مورد استفاده دیگر مراکز آموزش مهندسی کشور نیز قرار گیرد.

نظرسنجی از دانشجویان، در مورد عملکرد اساتید، از دیر باز معمول بوده است. تا چند سال پیش نظرسنجی‌ها به‌صورت کاغذی و در یکی از آخرین جلسات درس صورت می‌گرفت ولی امروزه این نظرسنجی بیشتر به‌صورت الکترونیکی صورت می‌گیرد. به‌دنبال دریافت گزارش‌های متعدد در مورد میزان اعتبار نظرسنجی‌های الکترونیکی، پرسشنامه نظرسنجی الکترونیکی دانشگاه تهران، در کرسی یونسکو در آموزش مهندسی، مورد بازنگری قرار گرفت به‌این منظور ابتدا 9 زمینۀ مورد نیاز برای ارزیابی شناسایی شد. سپس، برای هر یک از 9 زمینه، یک سوال طراحی گردید. در طراحی پرسشنامه و انتخاب زمینه‌های مورد نظر و سوال‌های آنها نکات زیر در نظر گرفته شد:

1. زمینه‌های مختلف آموزش درس را مورد ارزیابی قرار دهد.
2. همۀ دانشجویان برداشت یکسانی از سوال‌های آن داشته باشند.
3. دانشجویان صلاحیت جوابگویی به سوال‌ها را داشته باشند.
4. تا حد امکان تعداد سوال‌ها محدود باشد.
5. در نظر سنجی، فرصت اظهار نظر (تشریحی) به‌دانشجویان داده شود.

زمینه‌های 9 گانۀ انتخاب شده برای این نظر سنجی، و سوال‌های طراحی شده برای هر یک، در جدول 1 آمده است.  نسخه‌ای از پرسشنامۀ بازنگری شده، به‌همراه سازوکار تهیۀ آن، در وبگاه کرسی آمده است (اینجا). نظر‌سنجی برخط بازنگری شده، پس از تصویب شورای راهبردی کرسی، در خرداد ماه سال 1395، به پردیس دانشکده های فنی و متعاقباً به دانشگاه تهران ارسال شد (جدول 1).

                                   جدول1. پرسشنامه نظرسنجی برخط، اصلاح شده (کرسی یونسکو 1395)

در نیمسال دوم سال تحصیلی 96-97، دانشگاه تهران پرسشنامه نظرسنجی برخط دانشگاه را مورد بازنگری قرارداد و پرسشنامه جدیدی را جایگزین آن نمود. در پرسشنامۀ جدید 14 سوال در سه زمینۀ توان علمی-آموزشی، نتایج عملکرد و رفتار اخلاقی-حرفه ای مطرح شده است. با کمی دقت، در پرسشنامه اخیر نیز کاستی‌های چندی ملاحظه می شود (جدول 2):

• سوال‌های 1 و 2: دانشجویانی که برای اولین بار با یک موضوع درسی مواجه می‌شوند، چگونه می‌توانند تسلط استاد بر موضوع درس، جامع نگری، نگرش بین رشته‌ای و ژرف اندیشی در ارائه مباحث را به‌درستی تشخیص دهند؟
• سوال‌های 4 و 5: دانشجویان با چه پیشینه‌ای  می‌توانند جدید بودن مباحث و پژوهش محوری در تنظیم مطالب را شناسایی کنند؟
• سوال 13: آیا از پیشتر، اخلاق حرفه‌ای برای دانشجویان تعریف شده است، که بر مبنای آن بتوانند به‌ این سوال پاسخ دهند؟
• و ...

جدول 2. پرسشنامه نظرسنجی برخط جدید دانشگاه تهران (1397)

در نظر گرفتن کف صفر برای ارزشگذاری

مشکل دیگر نظرسنجی اخیر، نحوۀ ارزشگذاری آن بوده است. در نیمسال دوم سال تحصیلی 97-96، نتایج نظر سنجی برخط از دانشجویان، در بازۀ صفر تا 20 در نظر گرفته شد. این در حالی است که در گذشته، کف نمرۀ نظرسنجی، 12 در نظر گرفته می‌شده است. این تغییر رویه ،اعتراضاتی را، از جمله در شبکۀ تلگرامی اساتید پردیس فنی، به‌دنبال داشته است و اعضای هیأت علمی، به ویژه اساتید جوانتر، استدلال‌های متعددی برای نمایش ناکارآمد بودن روش جدید، ارائه داده‌اند. 

• در یک کلاس 20 نفره، اگر یک دانشجوی مسئله دار 3 نفر از دوستانش را با خود همراه کند، جلوی پایه گرفتن استاد را خواهند گرفت.
• ‌در همان کلاس 20 نفره، اگر ضعیف‌ترین دانشجو نمره صفر بدهد، به تنهایی یک نمره از معدل درس کم می‌کند.
• در یک کلاس 5 نفره ارشد، اگر 4 نفر 20 بدهند و یک نفر صفر، معدل درس بیشتر از 16 نخواهد بود.
• اگر دانشجویی در همۀ گزینه‌ها صفر بدهد، این نمره به‌احتمال زیاد از روی عصبانیت و مرتبط با رفتار استاد است، نه علم وی.
• آیا کسی که با گذشتن از هفت خوان، به‌استخدام دانشگاه در آمده می‌تواند در موردی، صفر مطلق باشد (مثل اینکه فیزیکدانی، مطلقً فیزیک نداند).
• وقتی دانشجویان بفهمند که نظرسنجی برای استاد مهم است، به‌خودشان اجازۀ هر رفتاری را می‌دهند.
• روش جدید ممکن است خطر غلبه دانشجوسالاری، از نوع منفی آنرا، به‌دنبال داشته باشد.
• این نوع ارزیابی، استاد را مجبور می‌کند مسیر غیرحرفه‌ای راضی نگاه داشتن همه دانشجویان به‌هر قیمت را در پیش بگیرد.
• شاید به‌ این دلایل بوده است که گذشتگان کف نمره نظر سنجی را 12 در نظر گرفته بودند.
•         ....

برای رفع این مشکل، پیشنهادهایی نیز  توسط اساتید، در گروه تلگرامی مطرح شده است:

• نظر دانشجویی که همۀ جلسات حضور داشته و نمره خوبی گرفته، نباید با نظر دانشجویی که در کلاس حضور نداشته و درس را افتاده، هم ارزش باشد.
• امتیازاتی که دانشجویان می‌دهند در نهایت به صورت میانگین‌ وزن‌دار، با وزن نمره خودشان در آن درس، میانگین‌گیری شود. بدین ترتیب نظر دانشجویان کوشاتر، تأثیر بیشتری خواهد داشت.
• از این همه پیشرفت الکترونیک استفاده شود و دانشجویان به‌طور اجباری در همۀ جلسات همۀ دروس بدون دخالت استاد، حضور و غیاب شوند و کسانی که بیش از چهار جلسه غیبت دارند به‌طور خودکار از لیست درج نمره و ارزیابی استاد خارج شوند.
• مشکل اصلى سیستم ارزشیابى فعلى داده‌هاى پرت است. از طرفى، دانشجویان باید حق دادن نمره پایین به‌استاد را داشته باشند. بنابراین، حذف کامل نمرات پایین (مثلاً زیر ١٠) در عمل نشنیدن حرف دانشجویان ناراضى از کلاس است. براى کم کردن تأثیر داده‌هاى پرت (نه لزوماً نمرات پایین) می‌توان از معیارى غیر از میانگین (که داراى حساسیت زیاد به‌ داده پرت است) استفاده کرد. مثلاً با استفاده از میانه (median) به‌جاى میانگین، تا حد زیادى مشکل حل خواهد شد. مثلاً در کلاسى با چهار نمره ٢٠ و یک نمره صفر، میانگین، معادل ١٦  ولى میانه، معادل ٢٠ مى‌شود. اما اگر تعداد نمرات پایین زیاد شود، در میانه هم خود را نشان می‌دهد.
• زمانی‌که مقدار مشاهده یا مشاهداتی خارج از مقدار میانگین، + - ۲.۵ تا ۳ برابر انحراف معیار باشد، به‌عنوان اشتباه فاحش یا مشاهده پرت در نظر گرفته شده و از لیست مشاهدات کنار گذاشته شود.
• نمرات ارزشیابی بر مبنای «عالی»، «خیلی خوب»، «خوب»، «متوسط»، «پایین‌تر از انتظار» و «خیلی پایین‌تر از انتظار» ( ۶ تا ۱) لحاظ شود. علت این که سطوح نمره، نسبت به‌مقدار متوسط، متقارن نیست این است که فراوانی نمرات ارزیابی اساتید، معمولاً در ناحیه متوسط تا عالی بیشتر است و باید با کم کردن فاصله‌ها در این ناحیه، هم اجازه ثبت ایراد به‌دانشجو داده شود و هم از اجحاف به استاد جلوگیری گردد. به‌بیان دیگر، اگر دانشجویی احساس کرد استاد فقط کمی با ایده‌آل فاصله دارد و به‌جای بالاترین نمره، نمره پایین‌تر را به‌او داد، نمره استاد به‌اندازه زیادی تنزل پیدا نکند.
• قرار دادن نمرات تا صفر در نظرسنجی برای انجام کار آماری مناسب بد نیست. وقتی نمرات مجاز تا 12 باشند دامنه انحراف از میانگین کم است . مشخص است دانشجوهایی که صفر می‌دهند هیچ تحلیلی از کلاس نداشته اند و باید داده‌هایشان با یک منطقی حذف شود. مثلاً نمودار فراوانی نمرات رسم شود و بعد داده‌هایی که اختلاف معنادار با بقیه دارند حتی در میانگین هم لحاظ نشوند.
• اساسً چرا پیشنهاد تغییر محدوده نمره ارشیابی داده شده؟ مشکل سیستم قبلی چه بوده که تغییر کرده است؟

نظر سنجی تکمیلی کاغذی

بررسی‌‌‌‌‌‌ها نشان داده است که نتایج نظرسنجی‌های برخط، هر اندازه هم خوب تنظیم شده باشند، به‌دلایل متعدد، به‌تنهایی نمی‌تواند معیاری برای آگاهی کامل از کیفیت آموزش‌های ارائه شده و عملکرد استاد باشد. مسئولان و مدیران آموزش، با وجود اطلاعات کسب شده از نظرسنجی‌‌های برخط، اغلب از این گله دارند که از آنچه در برخی از دروس می‌گذرد، اطلاع چندانی ندارند. برای رفع این مشکل، فرم نظرسنجی تکمیلی، که به‌صورت کاغذی برگزار می‌شود، طراحی شد (جدول 3). این نظر سنجی را می‌توان حداقل برای دروسی که اطلاعات متناقضی از نحوۀ ارائه آن دردست است، به‌اجرا گذاشت. جزئیات بیشتر در مورد نحوۀ طراحی این نظر سنجی در وبگاه کرسی آمده است(اینجا)

جدول3. کاربرگه نظرسنجی تکمیلی کاغذی از دانشجویان در مورد نحوه ارائه درس(کرسی یونسکو، 1396)

پیشنهاد هایی برای بالابردن اعتبار نظرسنجی برخط از دانشجویان 

1. دلایل تغییر رویۀ نظرسنجی (از کف 12 به کف صفر) با اعضای هیأت علمی در میان گذارده شود.
2. کاربرگۀ نظرسنجی برخط کنونی دانشگاه، با در نظر گرفتن پیشنهاد سال 1395 کرسی، بازنگری شود.
3. در غیر این‌صورت، کاربرگه نظر سنجی برخط پیشنهادی کرسی، حداقل در پردیس فنی به‌اجرا گذارده شود.
4. تا حد امکان، داده‌های خام نظرسنجی ملاک عمل قرار نگیرد.
5. مشکل داده های پرت و خارج از ردیف، با تحلیل آماری مرتفع گردد.
6. نمرات نظرسنجی، بر اساس نمرۀ دانشجو در همان درس، به‌گونه‌ای وزن‌دار شود.
7. از روش‌های تکمیلی برای بالا بردن اعتبار نظرسنجی برخط استفاده شود.
   • نظرسنجی تکمیلی کاغذی، حداقل در کلاس‌هایی که اطلاعات متناقضی در مورد آنها وجود دارد، انجام شود.
   • در جلسه‌ای با حضور منتخبانی از دانشجویان (مثل اعضای فهرست تشویق دانشکده)، نظرسنجی به‌صورت شفاهی (یا کاغذی)، انجام شود. سازوکار انتخاب دانشجویان فهرست تشویق دانشکده در وبگاه کرسی یونسکو آمده است (اینجا).
8. تلفیق سه روش نظرسنجی برخط، نظرسنجی کاغذی و نظرسنجی شفاهی، اعتبار داده‌های کسب شده از دانشجویان را به‌شدت افزایش خواهد داد.

دکتر حسین معماریان

کرسی یونسکو در آموزش مهندسی

1397/8/3

---