世界大学排名3.0:我们怎样更公平地评价教学?

邓肯·罗斯(Duncan Ross)探讨下一代世界大学排名方法将如何评价教学工作

二月 21, 2020
Seminar
Source: iStock

点击阅读英文原文


泰晤士高等教育世界大学排名在最初设想阶段时,其目标之一是要建立比现有全球排名更全面的评价体系,因为它们此前(且现在仍是)倾向于仅仅考量研究指标。

一个直接的原因是,跨国界的研究绩效相对容易比较。的确,科学研究经常涉及不同国家学者间的合作,而且许多学术出版物的受众是全球学者。

然而,我们希望至少能向大学其他领域活动的方向致意,以得出对机构表现更全面和彻底的概览。因此,在研究环境和引文等基础外,我们还包括了另外3个指标:行业投资的研究收入、国际展望和教学环境。

在接下来的一系列博文中,我将探讨行业投资的研究收入和国际展望的一些潜在变化,但本文中,我将重点关注教学这个指标。

我们衡量的“教学环境”包含5个指标,占排名总成绩的30%,即:

  • 教学声誉
  • 教职员对学生比例
  • 授予博士学位对授予学士学位比例
  • 授予博士学位数量对教职员比率
  • 平均到每名教职员的机构收入

我们考察的是全日制学生和教职员的数量,而非简单的人数统计。

我们目前正在探索对博士学位和收入相关指标的改进。与博士有关的两项指数均支持洪堡德主义的观点,即通过提升科研可访问程度来改善教学,这也展示出我们对研究型大学平衡本科教学与培养下一代研究人员这一点寄予期望。

但是这些指标也有缺点。我们为授予博士学位比例最高的大学给出最高分数,这意味着我们重视对教职员的高效任用,但这公平吗?授予博士学位的完美比例是多少?同时,授予博士学位对授予学士学位比例更多地揭示了大学的形态,而非与质量有关的任何信息。

我们正在考虑的另一种方法,是用博士攻读进度来替换上述指标,可能是在特定时间内完成全日制同等博士学位者的比例。换句话说,就是那些能够成功获得博士学位者的比例。

与通常有固定时限的本科学位不同,博士学位(至少在理论上)是开放式的。尽管现实情况不尽如此,尤其是考虑到研究资金的缘故,但它确实提出了“完成博士学位的合理时间长度”这个问题。

在美国,就像喜剧电影《动物之家》的粉丝所熟知的那样,本科学位可以被延长很多年。因此,在评估本科学习进度时,很少会使用在预期时间100%时所授予学位的比例(比如,四年制学位的4年间),相反地,使用150%的时间段更普遍得多。

在衡量博士进度时,采用这种方法似乎也是合理的。我们可能看到有人在4年内完成博士学位,但也信心说,大多数学生通常在6年内完成。还有另一个问题,那就是获得博士学位的时间是否也因学科而异。

我们正在探索的另一个改进,考虑是否用更精确的衡量方法代替机构收入指标。

在我们以教学为重点的华尔街日报 /泰晤士高等教育大学排名中,这个仅针对美国大学和学院的排名纳入了教学和教学相关活动支出的指标,而不是机构总收入的指标。这个方法很容易,因为这些数据都记录在美国政府的中学后教育数据综合系统(Integrated Postsecondary Education Data System)中。

如果我们要在世界大学排名中引入该指标,那就必须按学科对其进行标准化——我们不想对专攻艺术的大学或课程不公平,因为它们的日常运行支出通常较低。但是,大学可以提供这些数据吗?

即使在美国,公立大学系统的教学支出记录是整个体系的总支出还是按校园细分,统计起来也还是有潜在困难。

另外一个是公平问题:这种衡量标准会否进一步奖励那些本就富裕的大学?或者更糟的是,它会否导致大学故意进行低效支出?

这些都是我们在未来几个月将要解决的问题。

您对于如何改进我们的世界大学排名有何想法? 请将建议或问题发送至 profilerankings@timeshighereducation.com

邓肯·罗斯是泰晤士高等教育的首席数据官。 

本文由Jing Liu为泰晤士高等教育翻译。

请先注册再继续

为何要注册?

  • 注册是免费的,而且十分便捷
  • 注册成功后,您每月可免费阅读3篇文章
  • 订阅我们的邮件
注册
Please 登录 or 注册 to read this article.

相关文章

Reader's comments (1)

Many of these indices are not evidence based. See Hattie's meta-analysis on the factors influencing learning: https://www.evidencebasedteaching.org.au/hattie-2017/ For example, staff-to-student ratio was listed as one indicator. In Hattie's meta-analysis, the effect size for teaching effectiveness for this factor was d=.15. This is small compared to the student's self-reported grades, which was d=1.33. This is what we have known empirically (but are in denial all along) - if we admit people with good academic potential, they are likely to learn better. Like a 'Duh' moment here. I remember Hattie's comment was that decreasing disruptive behaviour among students has a bigger influence on learning outcomes (d = .34) than having a smaller class. So a university that enrols more students with behavioural problems needs to spend more effort addressing this, else it leads to poorer teaching outcomes. Teacher collective self-efficacy has an effect size of 1.39 - why don't surveys include this instead? Everyone asks the students but no one asks the instructors... appears odd to me when the evidence is there.