精選書摘
本文為《失控的數據:數字管理的誤用與濫用,如何影響我們的生活與工作,甚至引發災難》部分章節書摘,經遠流出版授權刊登,文章標題、部分內文小標經《報導者》編輯所改編。
在許多情況下,根據標準化評量來做出決策,確實比根據個人經驗與專業所做的判斷要好得多。然而世人對於數字管理和量化數據,已經到了盲信的地步,不僅常忽略數據背後的演算法是否合理,也往往無視這些指標到底有沒有實質意義。
美國天主教大學歷史學教授傑瑞.穆勒(Jerry Z. Muller)透過本書,解析人們沉迷量化評鑑機制帶來的後果,書中整理醫療、教育、企業、政府、軍警、金融投資、慈善事業等不同領域的案例,帶領讀者了解數據的誤用如何影響、甚至宰制了我們的生活。比方說,當我們太在乎醫院的開刀成功率時,是否變相造成重症病人被拒收的悲劇?當我們太過相信「好的績效必須立即可見」時,反而助長短視主義,長遠規劃可能被評為效益不彰,而沒有人想做?
作者並非反對使用數據,而是指出我們不該忘記,數據是用來輔助我們做判斷的工具,不是直接替代專業經驗的資訊。「高等教育」便是本書探討的第一個案例,作者認為大學院校已為績效評量制度的各種缺失和始料未及的後果,做出了最佳示範。對於不斷引進西方量化績效評量指標的台灣高教體系、家長和學生而言,都值得一讀。
除了各式的大學評鑑,另一個在高等教育中影響力與日俱增的績效指標就是大學排名,而排名也有許多種類。
就國際上來說,有上海交通大學的「世界大學學術排名」(這個排名是為了提供中國政府一個不同於中國大學的「全球標準」,讓中國國內的大學可以用來評估自己在「硬科學研究」上的進展與國際間相比是如何,也因此這個標準在自然科學與數學領域的論文發表及獎助金發放上,占了90%的權重),另外還有《泰晤士高等教育報增刊》的「世界大學排名」,不但將教學與研究納入其中(包括發表的論文篇數以及被引用的次數),更加入了「國際視野」這個項目。而在美國,最有影響力的排名則是《美國新聞與世界報導》(縮寫為USNWR),其競爭對手還有《富比士》、《新聞周刊》、《普林斯頓評論》、《凱普林格雜誌》等等。這些排名(或是英國人俗稱的「排行榜」)是大學名聲的重要出處,校友會與信託基金董事會的成員,全都急著想把他們學校的排名往前擠,可能的捐款者和可能就讀的學生當然也是如此。
於是,維持或改善學校的排名便成為大學校長及行政高層的首要任務。事實上,在美國的確有大學校長的聘任合約中載明了,如果他們能將學校的排名往前推進,可獲得額外的紅利獎金。其他的學校行政高層人士亦是如此,由於影響排名的一個要素是錄取學生的測驗分數,所以有不只一所法律學院,其院長的薪酬有部分是以任內學生的錄取分數來計算。
最近我很困惑地發現,某所排名中等的美國大學在每一期的《高等教育紀事報》上刊登全版廣告,大力宣傳自己學校的教師們正在著手進行的重要研究工作。由於紀事報絕大多數的讀者都是學術界人士,特別是學術界的行政高層,我只能搔頭不解為什麼這所並不是太富裕的大學要花這麼大一筆錢在看起來沒有什麼用的廣告上。但突然間我恍然大悟:USNWR的排名有很大一部分,是參考一份針對大學校長進行的問卷調查,請這些校長對其他大學的學術聲譽進行排名。這個評判標準的有效性很可疑,因為大部分校長對其他學校的發展其實毫無所悉。所以,這份廣告的目標在於提高該校的可見度,試圖藉此讓自身在USNWR的學術聲譽排名有所提升。
大學院校也花了非常多的錢在製作閃閃發亮的手冊上,積極宣傳學校的設施和教師陣容多麼可觀。這些手冊也會寄給其他大學的行政高層,也就是能夠對USNWR問卷調查進行評選的人。儘管大學院校背地裡花了幾百萬元來製作這些行銷出版品,卻沒有證據顯示這麼做真的有用。絕大多數的宣傳品都被扔掉了,收件人甚至連信封都沒有拆,就直接送進資源回收桶裡。
除了這些對提升教學或研究品質完全沒有任何幫助的費用支出之外,愈來愈重視排名這件事,也造成了新型態的數字美化手法,藉由忽略或扭曲數據來達到目的。最近一次針對美國法律學院所進行的學術調查就是很好的例子。
這麼做有價值嗎?最新的幾項研究顯示,大學排名對於入學人數的影響,並沒有像學校行政高層認為的大,而花費在提高學校排名的資源並沒有帶來相應的效果。果真如此的話,我想這個訊息還需要再花一些時間,才能慢慢傳進學校高層的耳裡。
在嘗試以標準評量取代過去評判品質高下的方法時,排名機構、政府單位以及大學的行政高層,開始將大學教師所發表的學術論文數量當作一種標準,並用一般處理這類資訊的商用資料庫來計算論文的數量。下面這個例子可以說明資訊標準化是如何使品質降低。
第一個問題是,這些資料庫通常都與現實不符,它們原本的設計是用來計算自然科學的數據結果,因此所提供的人文與社會科學方面的資訊,通常都會有所扭曲。在自然科學以及某些行為科學的領域中,新研究要為人所知,最主要的方式是透過在由同儕審閱的期刊上發表論文。但在歷史這一類的領域,就不是如此了,在這些領域中,著書還是最重要的研究發表方式,也因此只計算所發表的論文篇數的話,呈現出來的就是經過扭曲的面貌。問題從這裡才剛開始而已。
當教師本人或是整個系所都被以著作的數量來做績效評量時,無論寫的是論文還是書,動機都會變成是要產出更多,而不是更好的著作。真正重要的書可能需要花好幾年的時間進行研究與寫作,而如果制度獎勵的是產出的速度和數量,結果非常可能就是產出一堆價值並不高的著作。這似乎就是英國所發生的狀況,進行「研究評鑑作業」所帶來的結果就是一大堆無趣至極的研究著作,而且根本沒有人讀。這個問題也不僅限於人文學科領域,在科學領域亦然。單純只根據績效表現來進行評量,導致大家只注重於短時間內的著作量,而非長期的研究能力。
學術界跟其他地方沒有什麼不同,只要有被評量的項目,就會有人動手腳。比方說著作的「影響係數評量」(impact factor measurement)就是如此。一旦大家發現並非所有發表的論文都具有相同的重要性,就會有人想出方法來評量每一篇論文的影響力究竟有多少。至於評量方式有二:一是計算這篇論文在Google Scholar或其他商用資料庫中被引用的次數;二是考量刊登這篇論文的期刊的「影響係數」有多高,而這個係數是由這本期刊中論文在資料庫裡被引用的頻率所計算出來的。(當然,這種方法完全無法區分以下兩種引用的差異:「傑瑞.穆勒那本探討量化議題的書,內容涵蓋範圍廣泛,令人眼界大開,正中紅心戳破了許多機關單位最害怕為人所知的事。」以及「傑瑞.穆勒那篇大家都看不懂的長篇大論文章,活該被所有管理者和社會科學家視而不見。」從影響係數表的角度來看,這兩句敘述所代表的價值完全相同。)
期刊是以專業領域來分類的,只有在作者專業領域範圍內的引用才會被列入計算。這也是個問題,因為這會讓跨領域主題的著作受到不公平的對待(例如本書就是)。
此外,「坎貝爾法則」(在第一章中曾解釋過)也再次出現,因為想要提高引用分數,有些學者會私下組成一個非正式的論文引用小團體,成員會盡其所能在自己的論文中引用其他成員的著作。有些排名較低的期刊甚至會要求作者必須接受在自己的論文中,額外引用由該期刊所發表的論文,希望能藉此提高期刊本身的「影響係數」。
你可能會問,除了不斷增加著作數量以及它們的引用次數,並想辦法在排名高的期刊上發表論文之外,還有什麼其他的做法嗎?答案是,專業的判斷。在大學系所中,是由系主任或一個小型的委員會來進行教師生產力的評鑑,在必要時,他們會諮詢系上其他教師成員,借重他們的專業知識與長年累積的經驗來了解,構成一篇論文或一本書的重要元素是什麼。要做出重大決定時(例如是否給予終身職或是准許教授升等),則會有更細密完整的同儕審查。資料庫所收集的引用數字可能可以在這個過程中發揮其作用,但這些數字同樣也需要由具有專業經驗的人來判斷其價值如何。
以「專業經驗」為基礎的判斷,正是過度依賴績效指標時被捨棄的東西。正如一位專門探討如何使用及誤用科學排名的專家所言:「最常見到的是,排名系統被當成是一種既廉價又沒有實際效果的方法,用來評量科學家個人的生產力。這種做法不只會造成評估的結果不精確,同時也會誘導科學家將追求排名放在第一位,而不是做出好的科學研究。想評估一位學者的論文或研究成果有多高的重要性,其實還有更好的方法,那就是:把它好好讀一遍。」
USNWR這類雜誌所提供的公開排名確實也有其好處:對那些沒有這類資訊的人來說,它們至少提供了初步的指引,讓人了解不同大學的相對地位;同時也促使大學院校對可能的學生釋出各種關於學校的實用資訊,像是留校率與畢業率各是多少。但這些排名通常無法提供任何資料讓人了解,為什麼某間學校的留校率與畢業率會特別高或特別低。如果一所大學收到的是已經做好準備的學生,那麼它的留校率和畢業率就會比較高。
不過,對於旨在教育那些尚未準備好的學生的學校來說,「透明的」量化指標就會讓它們看起來成效不彰,可是若以學生入學時的程度來看,它們可能才是實際上成效較高的學校。這些學校所收的學生都比較需要補救教學的幫助,最後能取得學位的人數也較少,在求職市場中的表現也相對較差。就如同位在貧困地區的醫院會因為病人的再住院率過高而遭受懲罰一般(我們會在第九章中討論這個議題),招收低收入學生的大學院校,也會因為收了原本就是它們教學目標的學生而遭受懲罰。
排名製造出動機,讓大學一心只想符合排名的評量指標。受到評量的項目就會受到重視。這導致了一致化的傾向,大學捨棄了它們原本明確的任務,變得與其他競爭者愈來愈像。
美國幾個強力支持量化指標的機構之一就是教育部,換了幾任總統皆是如此,無論是共和黨還是民主黨都一樣。在歐巴馬總統的第二任任期內,他的教育部著手規劃了一個精細的「高等教育機構排名系統」。
這個系統主要是用來對所有大學院校評分,並將資料中的「性別、種族和其他因素」分散計算,最終目的是依照大學排名來發放聯邦經費,而此排名的重點在於學校的入學率、學費平價程度以及教育成果,包括了學生畢業後的可預期薪資。「公立學校都知道學生的費用有多少是由聯邦政府所補助,所以我們在評估投資效益和優先順序時,理應將它們的績效表現納入考量,」當時的教育部次長泰德.米契爾如此說道,「同時我們也得為學校創造動機,讓它們加速朝向更重要的目標邁進,像是讓低收入的學生畢業,並且降低學費開支。」
行政部門希望制定一個進行全面考量的排名系統,但這個計畫卻遭到大學與國會的反對。到最後,教育部只好妥協,接受一個簡化後的版本:「大學計分卡」(college scorecard),並在2015年9月正式公佈。
這個排名系統是良好立意下的產物,目標是希望能處理我們在提供高等教育時所面臨的真實問題。其中一個很大的問題,就是那些以獲利為前提的學校,會提供以職業技能為導向的課程,像是廚藝、機械維修或復健這些擴展速度與日俱增的領域,但課程品質往往參差不齊。其中一些機構甚至可說是以搶劫他人為生(像是Corinthian和ITT,兩家公司最後都被政府強制關門了),它們以那些無法獲取足夠資訊的學生為獵物,向他們保證只要獲取眼前那唾手可得的學位,就能夠找到薪資豐厚的工作。事實上,這類教育的品質通常都很糟,學生畢業後也很難能夠找到好工作。此外,教育部所提供的學費補助,約有90%流入了那些只顧賺錢公司的金庫裡,成為學生借款人在日後必須償還的貸款。為了要處理這些低端學店所造成的問題,教育部採取的辦法卻是制定出一套高得難以達成的標準,讓所有大學院校跟著一同遭殃。
大力支持政府廣泛運用量化指標的人所忽略的是,大學教育成本日益增加的問題癥結點,有一部分正是來自於學校的行政管理高層編制愈來愈大,而其中有許多都是為了要達成政府指令而增設的職位。這項新計畫可以預見的影響就是行政開銷勢必增加,不但教師得挪用教學與研究的時間來填寫數據表格,收集表格及進行數據分析的行政人員也得增加,才能提供符合政府標準的原始資料。
最初計畫「高等教育機構排名系統」中的一些建議項目其實互相排斥,有的則單純是很荒謬。舉例來說,「增加大學畢業率」與「增加入學率」根本就不可能並存,因為弱勢學生除了在經濟上有困難之外,學業程度也較差;而學生學業程度愈好,才愈有可能準時畢業。因此,社區大學和其他提供就學機會給程度較差學生的教育機構,就會因為畢業率低而受到懲罰。當然可以用兩種辦法來欺瞞這個系統,蒙混過關。它們可以提高招收學生的標準,增加學生畢業的可能性,但如此一來,代價就是會降低入學率。又或者它們可以降低畢業的標準,但是會轉而降低教育品質及學位的市場價值。這些學校還是有可能可以招收在經濟、智識以及學業表現上較差的學生入學,並確保他們之中有更多人可以畢業,但這麼做要支出的費用就會變高,與教育部的另一個目標「降低教育的費用」相左。
另外一個評量標準是大學院校要提供學生在畢業後的平均薪資數據。這對那些以職業技能為教學目標、只為了賺錢的教育機構來說確實很有道理。但是對絕大多數大學院校來說,取得這項資訊不但成本昂貴,資訊本身也非常不值得信賴,這些數據往往經過扭曲。許多表現最好的學生都會繼續接受更專業的教育,而這就表示,在他們畢業後進入其他學校深造的那段時間裡,薪資會很低。打個比方,一個大學畢業後立刻進入沃爾瑪擔任收銀員的學生,他的薪資一定會比進入醫學院繼續攻讀的同學要高。然而,「平均薪資」只因為有數據可以看,所以在大眾眼中就有「公信力」。
大學教育費用增加還有另一個層面更廣的問題,那就是,費用持續增長的速度已經超越了通貨膨脹。學費平價這個問題,也因為許多州政府大砍對州立大學的財政預算而愈形惡化。或許在大學學費平價程度這個項目中,最不透明的資訊就是,就讀某所學校真正的花費是多少,因為標價與實價之間存在著極大的落差。所謂的標價就是官方公佈的學費、住宿費和餐費價碼,而實價則是在扣除依照經濟需求或學業優異程度所獲得的財務補助之後,學生與家長實際付出的費用。兩者之間的差異通常相當大,對許多人來說根本是始料所未及。
聲譽最卓著的學校通常也是獲得政府最多資源的學校,它們有能力提供絕大多數入學學生在大學學費用上的補助。因此,一個經濟窮困但懷抱著遠大願景的學生最後會發現,比起進入一所聲譽不那麼高,但表面上看起來費用較低的學校,其實還不如挑一所菁英大學會比較便宜。如果排名想要傳遞的是這樣的訊息,如同大學計分卡系統想要做的,那麼它還真是發揮了功能。
為了達到歐巴馬所宣布的目標,幫助學生和家長「獲得與付出金額等值的最大教育效益」,「大學計分卡」特別著重於三項標準:畢業率、年平均花費,以及「畢業後薪資」(以進入大學後10年的薪資來計算,而不是剛畢業的薪資)。這個數字大有問題,因為它只納入了獲得聯邦補助的學生的資訊,也就是說,統計結果只對經濟背景窮困的人有參考價值。
由於其他較富裕的學生可能會獲得較優渥的薪資,因此「畢業後薪資」這個數字就被曲解了,儘管不同的學校會根據學生組成中不同的背景分佈,以各種方式來解釋這個項目。更令人擔心的是,「大學計分表」可說是「完全沒有想要排除學校本身對學生薪資收入的影響,因為根據學生的家庭收入和考試成績,或是學校所提供的學位等級,我們可以合理預期學生未來的薪資收入有多少」。然而,大學的成果與其所收的學生有著高度關聯:學業程度較優異的學生(他們的父母親通常也擁有高教育水準或高收入),會讓大學在成效的評量指標上有比較好的表現。
布魯金斯學會(Brookings Institution)曾試著要克服這個難題,希望藉由加入更多資訊來計算出「增值」的部分。所謂的「增值」指的是,以目前可取得的入學學生背景資料,來判斷每所大學所提供的收入增加是多少。這麼做的目的是希望這個指標「能夠對許多有興趣知道學校在教育學生獲取未來工作收入上的表現如何的人有所幫助」。
且讓我們把這些指標的精確度和可信度先放在一邊,來探討一個更重要的議題:這些指標本身所傳達出的訊息。「大學計分表」將大學教育視為單純的經濟制度:它唯一關注的只有其投資報酬率,而大家對投資報酬率的理解就是,花費在大學教育上的金錢與大學學位所能夠提供的收入增加,兩者之間的關係。這是非常正當的考量,畢竟大學的費用在家庭收入中的占比愈來愈高,又或者學生會因為念大學而揹債。再來,人生中最重要的事情,就是能夠擁有賴以維生的收入。
但這並非人生中唯一該做的事,這也是大學教育裡逐漸萎縮的一個重要觀念,現在大家都只將大學教育視為是增加收入的一種方法而已。這是「大學計分卡」系統所形塑與鼓勵的理想教育,其他類似的量化指標亦如是。「訓練」與「教育」的不同,在於「訓練」是要讓人能夠生產與生存,「教育」則是讓生存具有意義,而「大學計分卡」只具備了前者的功能。
無可否認,「大學計分卡」和布魯金斯學會的系統都只針對那些在工程與科技領域,擁有卓越聲譽的大學進行排名──這些領域都與製造相關。至於能夠讓你了解藝術品來龍去脈的藝術史課程、訓練你聽出交響樂曲的旋律與變奏的音樂課、加強你賞析詩句能力的文學課、讓你能夠了解關鍵經濟架構的經濟課,或是讓你大開眼界,一覽人體構造奇妙之處的生物課──以上這些全部無法以量化指標中的投資報酬率來計算。大學通常是我們結交人生摯友的地方,其中也包括了最重要的一份友誼──婚姻,這些同樣是無法計算的。理論上,這些都應該在計算「投資報酬率」時納入考量,但因為它們無法以量化的單位來表示,所以就不被採入計算範圍。
單獨專注在金錢投資報酬率上的指標所帶來的傷害,與其他量化指標一樣會影響我們的行為。現在排名最頂尖的大學已經將很大一部分的畢業生送進了投資銀行、顧問公司,以及高級法律事務所等高收入的行業。這些都是值得尊敬的職業,但是鼓勵全國最優秀也最聰明的人選擇這些職業,真的是對國家最有利的事嗎?將未來收入變成大學排名中相當重要的評量項目,可以預期將造成的一個影響就是,教育機構會更積極地將學生送進「收入最高」的專業領域之中。只要學生畢業後選擇收入較低的職業,像是教師或公職,這些學校就會受到懲罰。
一個資本社會需要仰賴各種不同的機構為市場提供平衡的力量,而其主要關注的重點就在於金錢的獲取。要讓我們的學子學習扮演好屬於身為公民、朋友、配偶的角色,以及讓他們具備足夠的能力去開展智識豐富的人生──這些都是大學所應發揮的功能。讓學生擁有具備市場機制的技能,同樣也是大學的責任。但是用這種扭曲變形的標準來評量高等教育,不啻將高等教育矮化成只要讓學生具備未來可以賺錢的能力就好。
用行動支持報導者
獨立的精神,是自由思想的條件。獨立的媒體,才能守護公共領域,讓自由的討論和真相浮現。
在艱困的媒體環境,《報導者》堅持以非營利組織的模式投入公共領域的調查與深度報導。我們透過讀者的贊助支持來營運,不仰賴商業廣告置入,在獨立自主的前提下,穿梭在各項重要公共議題中。
你的支持能幫助《報導者》持續追蹤國內外新聞事件的真相,邀請你加入 3 種支持方案,和我們一起推動這場媒體小革命。