這是個網路發達的年代，不管什麼樣的資訊，幾乎都可以在網路上找到。
是以這個年代出現的問題，不再是有沒有辦法找到info.，而是有沒有辦法找到正確或有效的info.。
隨著越來越多人受過大學甚至postgrad教育，很多網友開始懂得在網路上cite paper，找那些publish在scientific journal上的research articles來為自己的看法背書。
理論上，任何一篇刊載於top journal上的paper，都應該有一定的可信度，畢竟這是經過editor和reviewers檢驗過後，才能刊出來的文章。
不過，這些paper所claim的東西，真的有這麼valid嗎？
最近在Nature上面就有好幾篇文章在討論這個問題，像是這篇：
和這篇：
就是在討論這類在lab裡做出來的data，最後不能在biotech或big pharma被reproduce出來的問題。
在drug target validation的部份，造成irreproducibility或inconclusive的原因很多，討論起來也比較複雜，我在這裡就先跳過，以後有機會再解釋，有興趣的朋友可以自己研究一下上面兩篇文章，裡頭的分析已經算是相當精闢了。在這邊，我想要用一個比較簡單、大家也可能比較曾耳聞過的例子來做個說明。
如果各位有在留意一些外電的新聞，應該會記得2005年的時候，前Harvard校長Lawrence Summers在美國社會引起了一番極大的爭議。在一場conference上，Summers提到了他當時正嘗試work out的一個research，提到了幾個可能可以解釋higher proportion of men in high-end science and engineering positions這個現象的hypotheses。
這個本來應該很有趣的lunch-time talk後來因為Summers在做conclusion時的這段話，引發了極大的爭議，也間接導致了Summers後來的下台。Summers當時說：
這段後直接挑動到男女之間天份（intrinsic aptitude）不同敏感神經的文字，令Summers飽受批評，他也不斷出來道歉，但最終還是保不住他的Harvard校長職位。
我無意在這裡評論Summers講這段話是否恰當，只想就事論事的看看他的hypothesis。
Summers當時建立這個男女intrinsic aptitude不同假說的理由是他認為男性在science和engineering的能力上，variation比女性高上不少。Variation高的結果，會導致男性在統計上的分佈比較廣、比較分散，不如女性的那麼集中，所以你可以想像男生的常態分布圖是比較寬、比較扁平的，而女生的常態分布圖則比較高、比較集中且比較往平均靠近。白話點講，就是男生在science和engineering的能力分布光譜上，分布在能力特別出色和能力特別差的那一端都比女生來得多。
在這樣的前體底下，如果我們把焦點放到所謂的high-end science and engineering positions，能夠拿到這些positions的人應該多是在能力光譜上分布在特別出色那一端的人，所以我們看到的結果就會是這些positions被男生佔據比較多的情形。
Summers的假說錯了嗎？
普通人在2009年的時候曾cite過一篇Science上的文章替Summers平反，該篇文章指出男生在數學成績的分佈上和女生基本上沒有分別，但是男生的variation較大，也就是說，男生的分數分佈比較廣、比較散。於是普通人說：『有比較多的聰明男孩，也有比較多的笨男孩，但是平均下來男女沒有區別。』
我並不完全認同普通人的說法，也不認為這一篇文章可以直接幫Summers平反，甚至證明他的hypothesis是對的。數學成績的分佈可不可以直接等同於人的聰明程度絕對是個相當controversial的issue，同時，science&engineering的科目分布很廣，要直接把數學能力好等同於可以在science&engineering的領域表現傑出，那是太過武斷的說法。
但在另一方面，這篇文章確實可以當做間接支持Summers的hypothesis的證據，畢竟這個現象和他的hypothesis所預測的某些現象顯然相當吻合。
『we show here that greater male variability and gender gap in mathematics performance, when present, are both largely artifacts of a complex variety of sociocultural factors rather than intrinsic differences, co-educational schooling, or specific religious following per se.
Importantly, we document that mathematics per- formance for both boys and girls exhibits a strong positive correlation with some measures of gender equity, especially participation rates and salaries of women in the paid labor force relative to men.』
也就是說，兜兜轉轉之後，Jonathan Kane和Janet Mertz用他們的research狠狠的甩了Summers的hypothesis一巴掌。
但Summers真的輸了嗎？
事情可沒這麼簡單。
即使不從研究方法上去挑戰這篇研究報告，其結果也還是有很多值得探討的地方。Jonathan Kane和Janet Mertz雖然提供了很強力的間接證據支持男女的數學能力和該國的男女平等程度以及其他的一些社會或文化因素有很強的相關性，甚至很可能大過所謂的intrinsic aptitude，但這不代表intrinsic aptitude的影響力就不存在。很可能intrinsic aptitude還是一個很重要的因素，只是影響力不如sociocultural factors大，所以會被這些factors遮蔽，但這並無法推翻Summers的hypothesis。
同時，經過這麼多年的演化，也許每個國家或地區的人類，在地理隔離之後，的確出現了evolutionary difference，所以，或許在美國intrinsic aptitude的假說還是成立的，但是在其他國家就不一定了。
最後，我還是要再強調一次，數學成績非常可能並非直接等同於智力，也不見得可以用來預測人在science和engineering領域的成就。
故事到這邊也差不多講完了。目前看起來，Summers的hypothesis正位居下風，但由歷史來看，他的hypothesis也不是不可能在未來又重新取得領先地位。所以簡單來講，這個issue根本還是inconclusive。
這就是所謂科學前進的過程。很多厲害的科學家常常可以由一些蛛絲馬跡中提出一鳴驚人的假說，引領整個學界的研究方向。但假說還得經過不斷驗證，才能夠變成理論。在變成理論之前，還可能不斷被打入冷宮，撿回來，看似即將推翻，然後又重獲新生。我們會在往理論靠近之前不停兜兜轉轉，不斷原地打轉，一下往前一步，一下又退了回來，簡直比Hakeem Olajuwon的夢幻迷蹤步還要複雜。
造成這個現象的原因很多，每個不同的science領域可能都有些許不同，但幾乎都無可避免的要經歷這種顛顛倒倒的歷程。因此，當我們在引用paper當做支持自己看法的證據時，一定要記住paper的結論很可能是錯誤的，是以，能夠評斷paper做得是否solid，以及看出paper的limitation與weaknesses的能力就很重要，如果要我說，判斷一個研究是否valid的能力，可能是大學以及研究所中，前幾名重要的。
偏偏很不幸，這樣的能力並不容易培養，也常常會有隔行如隔山的情形出現。這也就是為什麼我很討厭某些學術界的大頭，不斷利用自己的名聲威望，對自己不熟悉的領域發表意見。他們看似引用了一些paper或資料（很多時候他們甚至沒有這麼認真的做功課！），也講得頭頭是道，但他們畢竟不是那一行的專家，很多東西並沒有真正深入的了解，也沒有足夠的能力去評斷paper做的到底夠不夠好。即使research本身做得非常solid，都還是有可能因為premise設錯或其他原因得到錯誤的結論，何況是在根本連評斷能力都沒有的情況下呢？所以在cite paper時，如果直接把paper的結論當聖經，就很可能誤把馮京做馬涼，讓自己離真相越來越遠，更會完全失去cite paper本來可以帶來的好處，不可不慎。
1 則留言:
真知灼見
張貼留言