USNews背后复杂的排名原理解密 | 当你知道这些时,你还会盲目相信吗?

  • Sept. 20, 2017
  • |


本文授权转载自北美留学生日报

公众号ID: collegedaily



了福布斯富豪排行榜,没有哪一个排名比UsNews每年发布的美国大学排名更受中国读者的关注了。这个排名很大程度上左右着来自世界各地学生和家长对美国高等院校的选择。而大学们也在为了在排名表的前后位置而下足了功夫。

但就是这份“选校圣经”现在却遭到很多人(尤其是美国高等教育从业者)的诟病,看似有效客观的排名却充满了漏洞。

今天我们特地综合编辑了这篇文章,揭露一下排名背后复杂的原理和博弈。


罗伯特·莫尔斯(Robert Morse)是USNews排名的组织者,他的六人小组在华盛顿特区旁边的乔治敦的一栋红砖办公室里工作。已步入中年的莫尔斯头发灰白,是个典型的华盛顿书呆子:衣着不整、为人谦虚、带些学究气、鞋子倒还算得体。


他办公室里堆放着二十多年来收集到的零散数据。20世纪80年代中期,他刚开始着手这项工作时,《大学指南》还只藏在USNews杂志的一角,比服务型新闻篇幅稍大一点。现在,原本一周一期的USNews已经成为历史,但是测评版面却有了自己的新生。2011年排名出炉的那个月,USNews网站的访问人数超过了一千万。USNews如今增加了一些测评内容,包括研究生院、法学院、商业学校、医学校和医院。莫尔斯已然成为新兴国际测评产业的老前辈。


莫尔斯说:“现在发生的一切在过去是难以想象的。排名成为一尺标杆,大学校长纷纷以‘我们要提升在USNews中的排名为目标,以证明自己的管理能力,或自己的大学更好,他们自己也是个好校长。过去没有大学校长关注这个。因为这些本来只是面向消费者的。”




USNews大学排名各项权重多少?



时光流逝,莫尔斯的方法日臻成熟。现在的模式基于7项加权参数:


1. 本科学术水平声誉(22.5%):

US News的排名公式十分看重那些能够评判一所学校的学术水平的人的意见,这就是“同行学术评估调查”---这项调查让与一所学校同等级的其他学校的校长、教务长和招生主任为前者的无形方面进行评估,例如该校教职员工对于教学的投入程度。


为了获得另一整套对全国性大学和全国性文理学院的重要评价意见,US News对2200所公立高中的升学顾问进行了调查,这些学校在US News最近一期最佳高中排名中都至少获得了金奖、银奖或铜奖。


每位受访的学术人员和顾问都应要求对目标学校的学术课程按照从1(勉强合格)到5(杰出)的分数进行打分。如果受访者对目标学校不是很了解,无法给出公平的分数,则将会写上“不知道”。


所采用的分数是按照从1到5为目标学校打分最后得到的平均分;“不知道”不计入分数。为了减少受访者策略性投票的影响,US News去掉了每个学校得到的两个最高分和两个最低分,之后再计算平均分。


本年度的同行学术评估分数是基于2015年春季和2016年春季的调查结果计算得出的。而再之前的评估只计算最近一年的调查分数。


在排名公式中,地区性大学和学院的排名都仅仅依赖学术同行给出的一项评估分数。而如果是全国性大学和文理学院,则同行学术评估在排名方法中只占15%的权重,而7.5个百分点的权重分配给了高中升学顾问的评分。


最近三年的升学顾问调查结果,即2014年春、2015年春和2016年春,结合到一起计算平均分,作为高中升学顾问给出的声望评分。采用这种方式是为了增加每所大学收到的高中升学顾问评分的数量,减少升学顾问平均分在两年之中变化太大的异常情况。


益普索公众事务研究在2015年春季收集了数据。在收到问卷的4,635位学术人士中,有39%做出了回应。2013年春和2014年春,回应率是42%,比今年略高。升学顾问2016年的一年回应率是9%。


2. 毕业率和新生返校率 (22.5%):


一年级上完的学生回到学校继续读二年级乃至最终毕业的比例越高 ,则意味着学校提供的课程和服务越适合学生成功的需要。


这项评估有两种要素:六年的毕业率(学生保留率得分的80%)以及第一年的学生保留率(20%)。毕业率表明在六年或更短时间内一个毕业班中获得学位的平均比例;US News考虑的第一年学生班级的开始时间是从2006年秋季到2009年秋季。第一年的保留率表示的是在2011年秋到2014年秋期间进入学校并且在接下来一年的秋季学期继续回到学校的学生的平均比例。


3. 师资资源(20%):


调查显示,学生对自己与教授的接触情况感到越满意,他们就能学到更多,也更可能毕业。US News用了2015-2016学年的四个因素来评估学校对指导学生的投入程度。


4. 生源质量(12.5%):



学生的能力和抱负可部分决定学校的学术氛围。


这一度量包含三种要素。US News会考虑所有参加过SAT考试阅读和数学部分考试的在册学生的入学考试分数和ACT分数(生源质量分数的65%)。US News还考虑全国性大学和文理学院一年级在册学生在毕业的高中毕业成绩排名前10%的比例,以及地区性大学和文理学院中一年级在册学生在毕业的班级毕业成绩排名前25%的比例。第三种要素是录取率,即录取学生占申请总人数的比例(10%)。


数据都来自2015年秋季入学的班级。排名计算同时考虑入学学生的SAT分数和ACT分数,usnews.com上的排名表显示参与学生数最多的任何一项考试的分数范围。


US News在usnews.com注明了那些没有向US News提供2015年秋季首次入学的一年级寻求获得学位的学生的入学SAT分数和 ACT分数(这些学校有此类数据但是没有提供)的学校。有时候学校没有报告以下专业学生的SAT和 ACT 分数:田径运动员、外国学生、少数民族学生、传承入学学生、特殊协议入学学生以及2015年夏季学期入学的学生。US News也用脚注标出了那些不愿意说明是否所有拥有SAT和ACT分数的学生全部报给了US News的学校。


对于没有报告所有分数或者不愿意说是否报告了所有分数的学校,US News削减了他们的SAT和ACT分数在最佳学院排名模型中的值。这种做法以前就有;从1997年的排名开始,US News就在排名模型中对这些学校报告的分数进行折扣,原因是他们不报告所有学生的分数可能是想把低分排除。如果一所学校告知US News已经报告了所有学生的SAT和ACT分数,则这些分数将全值计入,并且该学校也不会在脚注中特别说明。


如果2015年秋季入学的学生的分数的提交率不足75% ,则测试分数将在排名计算中打折扣。这一方针也适用于2016年的排名。


5. 财政资源 (10%):



对平均每名学生的慷慨花费表明一所学院可以提供广泛的课程和服务。US News通过对一所学校在2014财年和2015财年平均对每名学生在指导、研究、学生服务和相关的教育支出来量度该校的财政资源。对体育、宿舍和医院设施的投入不算在内


6. 毕业率表现 (7.5%):


这是一项增值指标,显示了在控制支出和学生特征(例如考试成绩和收到佩尔助学金的学生比例)后学院的课程和方针对学生毕业率的影响。US News对一所学校2009年入学班级的学生的6年毕业率与US News预测的毕业率之间的差异进行考察。


如果该校2009年入学班级的学生的实际毕业率比US News预测的毕业率要高,则认为该校超出预期;反之则认为该校低于预期。


7. 校友捐赠率 (5%):


这反映了拥有学士学位的健在校友在2013-2014年和2014-2015年对学校捐赠的平均百分比,这是学生对学校满意度的一种间接衡量方式。


最后,为了得出一所学校的排名,US News首先计算其标准化分数的加权和,然后对最终分数重新进行调整。调整后,每个类别中排名第一的学校将获得100分,其他学校的加权分数按照排名第一的学校的分数比例计算。最终分数四舍五入取整,降序排列。排名并列的学校按照字母表顺序排名,并且在所有排名表中都标明(并列)。



根据这几项,USNews为每所院校作出评分,满分为100,举个栗子~比如去年的US News排名中,普林斯顿大学100分,而北卡莱罗纳大学格林斯伯勒分校则是22分。


下面为2017年公立大学第44—50名:


44. 理海大学 63分

44. 加州大学戴维斯分校 63分

44. 加利福尼亚大学圣迭戈分校 63分

44. 伊利诺伊大学厄本那-香槟分校 63分

44. 迈阿密大学 63分

44. 威斯康辛大学麦迪逊校区 63分

50. 宾夕法尼亚州立大学帕克分校 62分

50. 佩珀代因大学 62分

50. 佛罗里达大学 62分

50. 维拉诺瓦大学 62分

你可以看到这个排名其实已将体制外的测评对象混为一谈。


它不仅仅将加利福尼亚大学戴维斯分校、加利福尼亚大学圣迭戈分校、威斯康辛大学麦迪逊校区、宾夕法尼亚州立大学、伊利诺伊大学厄本那-香槟分校等规模差不多的公立院校作比较;而且还将宾夕法尼亚州立大学和维拉诺瓦大学这两所截然不同的大学进行对比:


前者是一所位于宾州中部郊区山谷中的公立大学,政府赠地、校园广阔、学费低廉、学生经济状况不等;而后者则是一所占地面积小、学费昂贵的私立大学,校区则设在费城郊外。


同样是大学,但是各自性质特征已经十分不同,如何能用一份排名体系将所有院校排座次呢?


该体系也包含了很多方面。它并不只是从单方面比较——如新生的考试成绩,或是学术声誉。它固定地用一种算法对每所院校进行统计,并给出一个得分:照此而言,宾夕法尼亚州立大学和维拉诺瓦大学得分相同。USNews排名如此受欢迎,原因很简单:它可以用一个分数就评判出不同的院校,如维拉诺瓦大学和宾夕法尼亚州立大学,不然院校间很难进行比较。


但是无论如何,《大学指南》也不会承认他们给自己出了多大的一个难题,它所要做的就是在某个人的指挥下对一堆死物进行排名。坐落在大学城中的宾夕法尼亚州立大学是一所综合院校,开设了数十个院系,拥有8,864名教职工,47,261名学生。怎么能单单用一个数字来评价这样一所学校呢?



客观的排名参数其实根本无法做到客观


排名的第一个难点在于:衡量想要排名的参数往往比预想的难得多——即使是那些看上去绝对客观的参数。举个极端的例子:对自杀现象的统计。这里是各国自杀率排名(人数/每十万人):


1. 白俄罗斯,35.1

2. 立陶宛,31.5

3. 韩国,31.0

4. 哈萨克斯坦,26.9

5. 俄罗斯,26.5

6. 日本,24.4

7. 圭亚那,22.9

8. 乌克兰,22.6

9. 匈牙利,21.8

10. 斯里兰卡,21.6


这个排名看起来一目了然。可是,但凡一个稍微负责的流行病学家都不会看着这张单子说“白俄罗斯是世界上自杀率最高的国家”或是“匈牙利排名前十”。


对自杀行为进行衡量是一件极为复杂的事情,需要断定死者临死时的意图。有时容易,比如死者从金门大桥跳下,或是留了字条;然而大多数时候是很难分辨的,而且在不同文化背景之下、不同验尸官会得出不同结论。在某些地区,死因是由警察确认的,而另外一些地区则由医生完成。一些人认为警察更倾向于将模糊的自杀定性为事故,医生则不然。同时在一些文化中,自杀是一件耻辱的事情,即使很明显的自杀,验尸官也羞于承认。一场自杀可能最终被断定为自杀、他杀、意外或是死因不明


加州大学圣地亚哥分校的社会学家大卫·菲利普斯(DavidPhillips)认为单车事故中很大一部分可能是自杀,颇有几分道理;犯罪学家认为死于警方之手的平民很大一部分实属“借警察之手自杀”——他们蓄意挑逗,迫使警方置其于死地。这样一来,报道中的自杀率便很可能低于真实自杀率。然而实际上没人确定两个数字间的关系在不同国家是否一致,也没人知道我们用来计算真实自杀率的替代指标是否有效。


“相当一部分服毒自杀者都有其他的问题,比如说身患癌症,如果他死了,人们首先会认为是癌症所致,而不会想到他有意服毒自尽。”菲利普斯说道,“任何这种类型的自杀都是无法探明的。我们发现正统派犹太教信徒比天主教徒自杀率低,这可能是因为他们有坚实的群体及反对自杀的禁令,或者因为他们极其忌讳自杀,于是更愿意隐瞒自杀事实。简单地说,没人知道自杀率排名是否真实。”


USNews的大学排名同样面临着和自杀率排名一样的难题。人们无法直接衡量一所院校的质量——院校在传授知识、启迪心灵、激发潜能等方面表现如何。于是,USNews在其算法中引入了质量的替代指标——而结果证明教学质量的替代指标统统不堪一击。



师资力量排名,让人摸不到头脑的“力量”


以占总分的20%的“师资力量”为例。《大学指南》对于这个参数的解释是:“研究表明,学生对与教授的交流越满意,便学的越多,同时学校毕业率越高。”的确如此。


教育研究者指出,可以说,成功的大学教育至关重要的一个因素就是所谓的学生“参与度”——这是一个模糊却相当重要的概念,指的是学生在大学学习和社交生活中的参与程度——而参与度的一个主要方面就是学生和教师交流的质量。正如自杀,异议不是来自我们想要测量的是什么。那么,USNews用什么替代指标来测量参与度的这一难以把握的维度呢?解释如下:


我们使用2009-2010学年的六要素来评估一个学校的教学投入程度。班级规模,包括两个方面:少于20人的班级比例(占师资力量的30%),以及多于50人的班级比例(占10%);教师工资,占35%,是2008-09和2009-10学年教师的薪水加福利的平均值,并根据各地区消费水平差异做了调整……同时,我们还计算了在其领域获得最高学位的教授的比例(15%),师生比(5%),以及全职教师的比例(5%)。


这让人摸不着头脑。教师获得的报酬越多真能代表他对教学工作更认真吗?而且是否获得专业领域的最高学位有什么重要的呢?工资和学位高低向来是研发能力的风向标。但研究表明,致力于科研并不能代表更善于教学。事实上,USNews选取的参数中没有一个是参与度的高效替代指标。


教育研究者帕特里克·特伦兹尼(Patrick Terenzini)和欧内斯特·帕斯卡拉(ErnestPascarella)分析了2600份关于大学对学生的影响的报告后,得出结论:


在考虑了性格、能力、背景等学生自进入大学前就具备的因素后,我们发现学生成长和改变的程度,与这种对传统教学质量的评定,其结果并不一致,即对诸如学生的平均教育经费、教生比、教师工资、在其专业获得最高学历的教师的比例、教师科研成果数量、图书馆规模、或新生水平等因素,而且从实用性的角度看,二者的关联更是微乎其微。



声誉是什么东西?如何量化学校的声誉?


作为USNews评分方法中最重要的参数,声誉占了大学最终得分的22.5%,但这个指标也没好到哪里去。杂志每年都会向全国各院校校/院长、教务长和招生办主任(还选取了一部分高中辅导员)发放一份问卷,给与其就职院校同类型的所有院校以五分制打分,比如说那些在公立大学就职的要给其他的261所公立大学排名,莫尔斯说一般回复的人只给约一半的学校排名。至于一个人如何对那么多学校有深入的见解,这一直很不明了。


在最近发表在《内科学年鉴》的一篇文章中,阿什维基·赛格尔(Ashwini Sehgal)分析了USNews“最佳医院”的排名,这份排名也十分看重专业同行的声誉评分。赛格尔列出了一份评价水平的客观标准,比如医院病人在各种外科手术中的死亡率、病人安全率、护工水平以及关键性技术。然后他将这份水准衡量与各个医院的声誉排名对照了一下,结果他发现两者不相配。


得分高不意味着被其他医生敬仰。毕竟,新奥尔良市欧奇斯能医疗中心的一位消化科医师为什么必须对位于波士顿的麻省总医院消化科有任何深入的了解呢?或者说为什么除了听闻离这里不远的巴吞鲁日市某些医院的消化科的一些闲文轶事以外,还要知道更多的什么呢?


类似的,几年前密歇根州最高法院的一名前首席大法官托马斯·布伦南(Thomas Brennan)给100位左右的律师同行发放了一份问卷,请他们依据学校的好坏排出前十名的法律学校。“他们列举了很多著名院校,如哈佛、耶鲁、密歇根大学;也有些不太知名的,比如约翰·马歇尔法和托马斯·库勒。”布伦南写道,“我记得他们将宾夕法尼亚州州立大学法律学院排在名单的中游位置,大概在10所学校中排名第五的样子。可问题是,当时宾州州立大学根本没有法学院。”


即使他们认为的他们对宾州州立大学的法律学院的认识都是浮云,这些律师仍将宾州州立大学排在中游位置,因为在他们的思维中宾州就是这样不上不下。(顺便提一句,宾州现在有法学院了。)对于教学质量的合理评价必须基于一些细节性的、不易观察到的特征,但是声誉排名只是对于一所院校身份宽泛的、易于察觉的特征的推测,如院校历史、在媒体界的声誉或是建筑是否雅致。这简直就是偏见。


那么这些声誉上的偏见又是从何而来的呢?密歇根大学教育社会学家迈克尔·巴斯特多(Michael Bastedo)曾发表了好几篇文章评述USNews的研究方法,他认为“正是排名驱动了声誉的出现”。换言之,当USNews请大学校长评估那些他一无所知的学院的相对优势时,这本身就是一个不可能完成的任务,他手头唯一可以使用的信息来源只有一个,那就是USNews。


因而像宾州州立大学这样的学校对于提升排名也无能为力。要取得高于47名的排名,它需要更高的声誉分;而要获得更高的声誉分需要排名高于47名。于是USNews的排名完全是自我循环论证。


不考虑学费是USNews研究方法中最显著的特征之一。它的大学排名和法学院排名看重学院是否将大量资金用于学生教育,而非能不能上得起。为什么?莫尔斯坦言这么做没什么明确的原因,这只是一种感觉。“我们没说我们在衡量教育产出。”他解释说,“也没说我们是社会科学家,或是把我们的排名亮出来供同行检阅。我们只是说我们做出了这样的评判,我们采访了许多专家,我们推出了这些学术指标,并且我们认为这能衡量出优质的学校。”

这样的答复跟家长们常说的“我说是就是”有得一比。但莫尔斯也只是实话实说,因为如果我们不弄明白究竟什么能代表大学的质量,更别提用一种综合全面的评分体系来呈现它们了,那我们的评分可谓是一无是处。然而在学费的问题上,莫尔斯的意思是他采用的是《名车志》的研究方法,而非《消费者报告》的方法。


USNews认为在学生身上花大血本的学校要比那些不花的学校要好,而这点也有理由为学校的魅力值加分。许多美国人都认同这么一点:在范德堡大学或威廉姆斯学院里不乏那些不在乎学费有多贵的学生,他们关注的只是高昂的学费能换来的漂亮的花坛、宽敞的套房和造型独特的报告大厅。



当然了,在近几年美国大学学费的日益飙升已成为重大社会问题的大背景下,你可以认为学校应该为它平易近人的学费而受到嘉奖。


如何正确地看待USNews排名


所以当你看到UsNews报告的时候,应该怎么看待其中的数据?如果只看当年的排名,对于评价学校质量来说,好像根本就不是一个最重要的因子。


1. 如果看学校排名,也要看五十年的(50-Year RANKING)。


影响学校排名的计算方式大家都知道。当年学校排名反应的是一种即时趋势,或者说,可以反映出学校的发展趋势。某学校某几年学校排名很高,但其实一直平庸的例子并不少见。所以道理很直观,如果用学校排名衡量学校的质量,当然要看一个长时间段,这是学校质量稳定性的表现。其实好的学校,哪年的学校排名都比较高。一般50年学校排名和当10年学校排名呈正相关,且50年学校排名较高。但如果某学校当10年学校排名明显高于50年学校排名,对不起,您虚高了。很不幸,国内很多留学单位的评价机制目前还是只看当年学校排名,这是需要改进的。


2. 学校的排名,不等于你的能力排名。


学校排名是学校实力的总的体现,并不是每学生的能力体现,这个很多PHD之前也说过。所以会发现,有时候某学校虚高的学校排名是某几个GSF带来的,比如校外捐助。前几天DS之间聊天,还说起现在有些学校通过吸引GSF学生的入学来提高学校排名,确实,GSF学子的捐资助学额度比较高,但短期内学校排名上升,并不代表该学校所有人的都能受益。也就是说,即使学校的排名高,可能你一辈子都是DS。


其实评价每个人的水准,以及学校的质量,唯一的检验标准只有一个,就是时间,看长时间情况的排名到底如何。时间是检验真理的唯一标准,这句话真对。


3. 国内发布的学校排名解读有一定的问题,应该直接从美国UsNews报告中看学校排名。


国内发布的学校排名解读,我个人认为相当于在美国的报告基础上又引入了一些评价标准。我们都知道,很多时候参数越多可能准确性倒越差。并且制定解读标准的人,并不了解每个学科领域。所以大家看学校排名,还是更多的要UsNews的学科分类中按照15%,30%等等来判断。


4. 不同学科相比较时,当然不能看排名的绝对值。


大家都知道不同学科排名差别很大,如果直接比较不同学科学院的排名,当然很荒谬。前面提到的UsNews TOP10,会比较客观。有的单位会将不同专业的学院按照领域平均排名来比较,也就是说你的排名位于平均排名的上多少或者下多少,我觉得这平均排名,也不如TOP 10来的客观。


5. USNews中的其他数据,也值得参考。


前面提到,衡量学校质量,50年排名和top rank都比看当年排名更客观。其实还有一些数据,也值得参考。同行声誉,这代表一个学校长时间的影响力。正因为一直都是好学校,所以大家才持续关注,所以才会愿意给出点评。毕业生出路,名字很直观,毕业生的出路,你会发现,质量一直都好的学校,该值也高。等等。



编者后记:


教育本身就是适合因人而异因地制宜的事情,美国的各种高等院校也在根据自己不同的建立理念走着不同的发展教学道路。从比美国建国历史还悠久的常青藤们,到遍地开花的社区大学;从恪守精英教育理念的文理学院们,到推崇互联网技术改变教育的Minerva大学。美国的高等教育从来不是一份简单的冰冷的排名和数字能概括的。就读一所排名高的院校并不能拿到锦绣前程的保险,不努力不奋斗照样被社会淘汰,而毕业于“后面”的院校也能活出自己精彩的人生。


蔓藤各学校专属留学生秋招群已经建立

群内各种秋招干货已上线!

添加小助手即可入群!

入群还有免费简历修改可以拿哦


Indiana 

University

New York

University

Purdue

University

Penn State 

University

UIUC

Rutgers 

University

MSU

Columbia 

University

Pepperdine 

University 

CSULA

UCLA

USC

URC

UCSD

UCSB

PCC

UW

Santa Monica 

College

UC Irvine 

CSUF

【报名方式】

扫描下方二维码

加小蔓为好友

留言回复“秋招” + 学校名字

即可入群


文章来源:北美留学生日报

蔓藤教育已获作者授权,如需转载请联系原作者

排版:Cosmo



蔓藤教育MentorX

中国留学生身边的

美国职场导师

mentorx.net


All comments(0)

No comments yet

美国咨询
中国咨询
扫码回复【白皮书】
免费领取2018年中国留学生在美就业白皮书
扫码领取白皮书