維基教育專案對台灣學生學習成果研究
- 作者 Author／王則文 Tze-wen, Wang[註 1]
Summary
本研究以主觀的問卷調查，以及客觀的寫作成績和前後測方式，討論台灣維基百科教育專案是否對台灣學生有實質上的能力提升，達到預期的學習成果。根據研究成果可知，在學生的寫作表達能力部分，特別有助學生組織、架構的能力；在資料搜尋及閱讀能力的部分，可大幅提升學生鑑別資料的品質的能力，以及對微觀個別知識的了解。同時也發現，對學生能力的影響在不同層級的教育上有不同的效果，高中部分閱讀能力較為顯著、大學以上表達能力較為顯著。
短期內建議針對教育機構推廣教育專案時，宜配合專題性的課程，對單一主題做深入研究；若要配合通論性的課程，則需視教師是否有意令學生練習主題研究的方法或工具應用。同時，對高中以下合作對象的專案除非有足夠時間進行文章修改，否則宜簡化寫作環節，並使學生在操作過程多檢視資料；對大學以上則可強化草稿至定稿間的討論、反饋，使學生對寫作能力的提升更加有感。而長期而言，台灣維基百科教育專要繼續專注強化強項，使其成為特定目標的教育工具，或是補足弱項以更適合各類教育現場，仍待台灣維基媒體協會後續做出更多深入的研究或討論，再做出此一重大戰略決定。
台灣維基媒體協會在2019年完成維基百科教育專案對台灣學生的參與誘因研究，初步了解在校園推廣時，如何吸引學生加入並在課程中維持其參與意願。然而教育專案的推廣除了學生的支持外，校方、特別是教師的意願，是影響能否成案的另一重要因素。課程設計如何讓學生擁有更好的學習效果，是學校與老師的立場上最重要的考量。
過去在台灣維基媒體協會推廣教育專案的過程中，都會與合作的老師強調維基百科寫作上能夠達成的教學成果。然而這些成果是否在過程中真如預期實現？其成效如何？其實需要不斷地驗證與追蹤。一方面可以做為台灣分會推廣上的更好依據，同時也可以做為每次專案執行時是否達成目標、是否需要改變執行方式的準據。本研究便是首次嘗試對學生的學習成效進行探討，以做為未來後續研究的發端。
本研究同時探究學生對學習成果的主觀感受，以及客觀成果。依據學習目標的不同，共分為三種方式進行，並且加以比對。
- 針對「文獻判讀」相關能力的部分，採用前後測設計觀察學生在接受教育專案訓練之前後，是否能更精準地判斷文獻的深度、廣度、價值與正確性。
- 針對組織寫作能力，我們採用學生自評、互評與教師評分交叉比對，了解學生是否達成訓練目標。
- 針對主觀感受部分，以問卷調查法進行，了解學生自認在各項學習目標上是否有所成長。
研究原先預定針對2020年的所有教育專案進行合作，然受限於2020年受到嚴重特殊傳染性肺炎(COVID-19)疫情影響，校園合作機會大幅減少，許多合作案例也縮小規模，因此以國立成功大學歷史系微學分課程，以及台北市大直高中、中崙高中、中和高中三校資訊社社課為限。
本研究設定了七個項目做為預設維基百科教育專案可能提升的能力，分為三大類：
- 專業類
- 專業能力：即學生主修專業科目知識上的提升。
- 文獻資料類
- 文獻搜尋能力：確認想學習的標的後，能夠設法找出相關文獻。
- 文獻判讀能力：找到文獻後，能夠迅速判斷其深度、廣度與權威性。
- 語文能力
- 組織能力：簡單瀏覽後，能訊速掌握知識大略面向。
- 表達能力：能夠深出淺出、簡潔扼要將所掌握知識以文字為主、圖表與圖片為輔敘述出來。
- 閱讀能力：能夠快速並正確理解文獻內容。
- 外語能力：能夠閱讀並理解外語文獻。
以上每個細項，皆以問卷形式詢問學生主觀感受是否有所助益，並輔以寫作表現進行評估。
學生主觀感受部分，兩專案之調查如下：
| 案別 | 專業提升 | 搜尋提升 | 判讀提升 | 組織提升 | 表達提升 | 閱讀提升 | 外語提升 |
|---|---|---|---|---|---|---|---|
| 1 | 4 | 4 | 4 | 4 | 3 | 3 | 2 |
| 2 | 5 | 3 | 3 | 4 | 4 | 4 | 4 |
| 3 | 4 | 4 | 4 | 4 | 4 | 3 | 3 |
| 4 | 4 | 5 | 5 | 5 | 5 | 5 | 3 |
| 5 | 5 | 5 | 4 | 4 | 4 | 4 | 3 |
| 6 | 4 | 4 | 4 | 4 | 4 | 4 | 2 |
| 7 | 4 | 5 | 4 | 4 | 4 | 4 | 1 |
| 8 | 3 | 3 | 3 | 4 | 4 | 3 | 2 |
| 9 | 4 | 5 | 4 | 5 | 5 | 4 | 3 |
| 10 | 2 | 3 | 5 | 5 | 5 | 4 | 2 |
| 11 | 3 | 2 | 2 | 4 | 4 | 2 | 4 |
| 12 | 4 | 5 | 5 | 5 | 5 | 5 | 3 |
| 13 | 3 | 3 | 4 | 5 | 4 | 4 | 1 |
| 14 | 3 | 3 | 3 | 4 | 4 | 4 | 1 |
| 平均 | 3.71 | 3.86 | 3.86 | 4.36 | 4.21 | 3.79 | 2.43 |
| 案別 | 專業提升 | 搜尋提升 | 判讀提升 | 組織提升 | 表達提升 | 閱讀提升 | 外語提升 |
|---|---|---|---|---|---|---|---|
| 1 | 3 | 4 | 4 | 4 | 3 | 5 | 5 |
| 2 | 3 | 3 | 4 | 4 | 4 | 4 | 4 |
| 3 | 4 | 5 | 5 | 5 | 4 | 4 | 5 |
| 4 | 2 | 3 | 3 | 3 | 3 | 4 | 4 |
| 5 | 5 | 4 | 4 | 4 | 5 | 5 | 5 |
| 6 | 3 | 4 | 3 | 4 | 2 | 4 | 3 |
| 7 | 2 | 2 | 3 | 3 | 3 | 3 | 2 |
| 8 | 1 | 5 | 3 | 4 | 3 | 5 | 2 |
| 9 | 3 | 3 | 5 | 4 | 3 | 4 | 2 |
| 10 | 4 | 5 | 5 | 5 | 5 | 5 | 4 |
| 11 | 2 | 4 | 3 | 2 | 2 | 2 | 2 |
| 12 | 5 | 5 | 5 | 5 | 2 | 2 | 3 |
| 平均 | 3.08 | 3.92 | 3.92 | 3.92 | 3.25 | 3.92 | 3.42 |
分析以上結果，可知：
- 除了大學案例對於「外語能力提升」的評斷平均較低外，皆在3分以上。
- 單看大學案例，評分狀況分析如下：
- 大學案例並非皆從事外語翻譯，部分案例皆以中文資料撰寫，因此在此項評分較低。若只計條目主題為非中文地區之人、事、物者，共五例平均3分，仍有及格成績但偏低。可能英譯中可依賴科技工具完成、並且部分內容仍有中文資料，因此效果確實有限。
- 大學案例「組織能力、表達能力」平均皆超過4分更為突出，可能與資料的搜尋及判斷可從其他方式(例如一般的報告)訓練有關，維基百科的寫作要求對他們更為有感。
- 單看高中案例，評分狀況分析如下：
- 專業提升項目分數最低。由於台灣高中普通科尚屬通才教育，僅概分文、理組，因此學生在填問卷時即對何謂專業能力表示疑惑。因此本項目偏低可能肇因學生無「專業能力」之感受。
- 次低分為「表達能力」。本次課程設計之主題，許多內容以表格方式完成，散文部分也觀察到對許多案例偏難。可能造成學生對此項目訓練信心較為不足。
- 兩組案例比較分析如下：若將維基百科寫作過程粗分為「閱讀」和「表達」兩個部分，閱讀的能力顯然兩組同學皆認為有所幫助，而表達能力則大學組感受較高中組更深。
然而，學生之主觀感受是否代表其真實訓練成果尚有可疑，因此本研究尚就寫作成績的教師評分，以及前後測表現做客觀數據分析，下章敘明後，將再於主觀成績比較。
客觀表現部分，本研究蒐集可分為絕對指標與相對指標，前者僅以寫作成果為據、有總成績與各分項之表現，以觀察其能力是否能夠確實展現；後者則以前後測的方式，比對學生在經過課程訓練後觀念上的差異，以觀察其訓練其間所理解之內容，是否為正確方向。
由於本次兩組課程皆容許請假，影響問卷之回收率；亦有同學雖然參與編寫但未繳交作業，因此「成績表現」之案例數量與主觀感受及參與前後測的案例數量略有出入，先在此說明。
本研究針對學生之成績請授課教師進行評分。整體表現以百分制表示，另請教師依寫作成果的「篇幅、架構、內容深度、正確性、表達淺白、文筆流暢」等項目以5分制給分。其中篇幅、內容深度與正確性三項和資料的閱讀相關；架構、淺白與流暢三項與表達相關。成績如下：
| 案別 | 總分 | 篇幅 | 架構 | 深度 | 正確 | 淺白 | 流暢 |
|---|---|---|---|---|---|---|---|
| 1 | 84 | 3 | 4 | 3 | 4 | 3 | 3 |
| 2 | 87 | 4 | 3 | 3 | 3 | 4 | 3 |
| 3 | 88 | 4 | 4 | 4 | 4 | 3 | 3 |
| 4 | 86 | 4 | 4 | 3 | 4 | 4 | 4 |
| 5 | 83 | 3 | 2 | 2 | 3 | 3 | 3 |
| 6 | 85 | 4 | 4 | 4 | 3 | 4 | 3 |
| 7 | 86 | 5 | 4 | 4 | 5 | 4 | 4 |
| 8 | 77 | 2 | 1 | 1 | 2 | 2 | 2 |
| 9 | 83 | 2 | 4 | 4 | 2 | 3 | 3 |
| 10 | 95 | 5 | 4 | 5 | 5 | 4 | 5 |
| 11 | 84 | 4 | 4 | 4 | 3 | 4 | 3 |
| 12 | 85 | 4 | 4 | 3 | 3 | 4 | 4 |
| 13 | 88 | 4 | 3 | 4 | 4 | 5 | 4 |
| 14 | 83 | 4 | 4 | 4 | 3 | 4 | 2 |
| 15 | 85 | 4 | 3 | 3 | 4 | 4 | 4 |
| 16 | 84 | 4 | 3 | 4 | 3 | 3 | 3 |
| 17 | 84 | 3 | 2 | 3 | 3 | 3 | 3 |
| 18 | 78 | 2 | 1 | 2 | 2 | 2 | 2 |
| 平均 | 84.72 | 3.61 | 3.22 | 3.33 | 3.33 | 3.50 | 3.22 |
| 案別 | 總分 | 篇幅 | 架構 | 深度 | 正確 | 淺白 | 流暢 |
|---|---|---|---|---|---|---|---|
| 1 | 65 | 3 | 2 | 2 | 4 | 2 | 2 |
| 2 | 60 | 2 | 2 | 2 | 3 | 3 | 2 |
| 3 | 60 | 2 | 2 | 2 | 3 | 3 | 2 |
| 4 | 70 | 4 | 3 | 4 | 4 | 2 | 2 |
| 5 | 75 | 3 | 3 | 3 | 4 | 3 | 3 |
| 6 | 60 | 2 | 2 | 2 | 3 | 3 | 2 |
| 7 | 65 | 3 | 3 | 3 | 4 | 2 | 3 |
| 8 | 80 | 4 | 4 | 3 | 4 | 3 | 4 |
| 9 | 65 | 2 | 3 | 3 | 3 | 3 | 3 |
| 10 | 70 | 3 | 3 | 3 | 4 | 2 | 3 |
| 11 | 75 | 4 | 3 | 4 | 4 | 2 | 3 |
| 平均 | 67.73 | 2.91 | 2.73 | 2.82 | 3.64 | 2.55 | 2.64 |
由於兩組課程評分老師不同，兩者分數之高低不可直接比較。然而可以看出同組的趨勢如下：
- 大學組在寫作篇幅與文字淺白部分較為突出，其他項目近似。
- 高中組在正確性上表現特別突出，其他項目也近似。
- 兩組的篇幅都是屬於各項分數中偏高分的、文筆流暢性皆偏低；而高中組在文字淺白部分也是偏低，與大學組相反。
由以上觀察到的趨勢分析，大學組確實在表達能力的展現上比閱讀部分更明顯，而高中組則在表達的部分較弱。這與兩組學生主觀感受相似，略可證實學生學習時對能力增長的感受並無太大偏誤。不過，以台灣教育形態而言，大學生原本就比高中生有更多機會以報告寫作做為成績來源，學生本已熟悉以最少資料寫出最多份量的訓練。因此在「篇幅」上的突出表現，受益於維基百科教育專案設計的程度需要打上折扣。
文筆的流暢性兩者皆偏低，由於本次兩組課程寫作時間皆十分有限，學生難以先行消化再行寫作，而是以翻譯或拼湊文字再做改寫，可能影響到寫作的流暢性。
由於成績僅能看出學生最終表現之成果，而此成果來自於學生本身已具備之能力，亦或來自本活動之學習，較難以測量。因此本研究也針對學生施與前後測，分別寫作前後要求參與學生填寫條目主題的關鍵詞、定義、大綱，以了解學生在寫作前後對該主題的掌握程度是否提升；同時也要求判斷文獻品質、知識的重要性與影響力，以了解他們是否能透過本課程培養對資料的正確判讀。此部分分數由研究人員根據前後測的學生填答進行5分制評分，3分為持平，低於3分為退步、高於3分為進步。分組成績如下：
| 案別 | 關鍵詞 | 定義 | 是否在專業領域中知名 | 是否在一般日常中知名 | 是否為專業者必備基礎知識 | 是否為常識 | 在維基專題中的重要度 | 文獻品質評估 | 大綱 |
|---|---|---|---|---|---|---|---|---|---|
| 1 | 3 | 3 | 5 | 3 | 2 | 3 | 3 | 5 | 3 |
| 2 | 3 | 4 | 3 | 2 | 3 | 1 | 3 | 4 | 4 |
| 3 | 4 | 3 | 4 | 2 | 4 | 3 | 4 | 2 | 5 |
| 4 | 4 | 3 | 4 | 3 | 2 | 2 | 3 | 1 | 5 |
| 5 | 3 | 3 | 3 | 2 | 2 | 3 | 3 | 5 | 4 |
| 6 | 4 | 3 | 4 | 3 | 3 | 3 | 2 | 4 | 5 |
| 7 | 4 | 4 | 3 | 3 | 3 | 3 | 3 | 4 | 4 |
| 8 | 4 | 3 | 3 | 3 | 3 | 4 | 2 | 4 | 4 |
| 9 | 3 | 3 | 4 | 5 | 4 | 4 | 4 | 4 | 3 |
| 10 | 4 | 4 | 2 | 3 | 2 | 3 | 4 | 4 | 4 |
| 11 | 3 | 3 | 3 | 3 | 3 | 3 | 2 | 4 | 4 |
| 12 | 3 | 3 | 2 | 2 | 2 | 3 | 4 | 3 | 4 |
| 13 | 5 | 5 | 3 | 3 | 3 | 3 | 4 | 4 | 5 |
| 14 | 3 | 3 | 3 | 3 | 3 | 3 | 4 | 2 | 5 |
| 平均 | 3.57 | 3.36 | 3.29 | 2.86 | 2.79 | 2.93 | 3.21 | 3.57 | 4.21 |
| 案別 | 關鍵詞 | 定義 | 是否在專業領域中知名 | 是否在一般日常中知名 | 是否為專業者必備基礎知識 | 是否為常識 | 在維基專題中的重要度 | 文獻品質評估 | 大綱 |
|---|---|---|---|---|---|---|---|---|---|
| 1 | 4 | 1 | 4 | 4 | 4 | 4 | 4 | 4 | 3 |
| 2 | 4 | 3 | 4 | 4 | 3 | 1 | 4 | 4 | 3 |
| 3 | 4 | 4 | 3 | 4 | 3 | 1 | 2 | 2 | 3 |
| 4 | 4 | 2 | 3 | 2 | 3 | 2 | 2 | 4 | 4 |
| 5 | 3 | 3 | 3 | 2 | 3 | 2 | 2 | 4 | 4 |
| 6 | 4 | 2 | 3 | 4 | 3 | 2 | 4 | 3 | 3 |
| 7 | 4 | 5 | 3 | 2 | 2 | 2 | 2 | 4 | 4 |
| 8 | 3 | 1 | 3 | 5 | 5 | 3 | 5 | 4 | 5 |
| 9 | 4 | 3 | 2 | 2 | 2 | 2 | 2 | 3 | 2 |
| 10 | 5 | 4 | 3 | 4 | 3 | 3 | 4 | 5 | 4 |
| 11 | 4 | 4 | 3 | 2 | 3 | 3 | 2 | 4 | 3 |
| 12 | 4 | 3 | 4 | 5 | 4 | 2 | 2 | 5 | 3 |
| 平均 | 3.92 | 2.92 | 3.17 | 3.33 | 3.17 | 2.25 | 2.92 | 3.83 | 3.42 |
由上表可簡單分析：
- 兩組在關鍵詞、大綱上皆有進步，意味學生對於知識內容的掌握經寫作後皆有提升。
- 大學組在課程後對知識的定義平均有更加精確，高中組則略有退步。由於高中組對知識內容的理解是提升的，在定義能力上的倒退可能是受限表達能力，較難以完整但扼要的句子涵蓋內容。
- 兩組在文獻品質判別能力上皆有進步。
- 然而兩組學生可能都較無法透過寫作時蒐集、閱讀文獻的過程理解讓內容在知識圈中的位置，對於重要性與影響力的判斷甚至可能不如直覺猜測。
由上述主客觀項目比較可知，就學生主觀感受上，閱讀與寫作能力都在課程中有所提升，而大學組在表達能力上有較大的進步，此與寫作表現成果相符。然而此次兩組課程從前後測比較來看，寫作能力的提升較為可見，在閱讀部分的表現比較限於對寫作主題本身的理解，包括如何判斷此主題中文獻的品質，以及了解內容；但是沒有辦法透過這樣的訓練過程，學習評估此知識實際的重要性與影響力。此部分學生在評估自的對資訊的「專業」能力時，並未列入考量。因此也出現大學案例專業能力部分在主觀評分上有重大進步，但從前後測看起來甚至影響是負面的狀況。
台灣維基教育專案目前的課程設計，較適合目的在培育學生針對特定主題自行學習、研究能力的課程，並不適合做為認識某一領域知識大要的課程。或者從另一方面來說，如果將維基百科的寫作融入課程時，若屬通識、概論、基礎類的課程，教師可以在授課時多講述此一領域的大要，而另外透過維基百科寫作的部分，訓練學生的研究方法。不過，做為數位化且全球最大的百科全書，維基百科透過內部連結、分類、導航模板、專題等等方式，實際上對於某條目在知識領域中的位置實際上已有一定的顯現；若再加上近年興起的維基數據，可能更足以宏觀地了解知識的面貌。因此未來台灣維基百科教育專案在執行上是否能透過課程的設計，加強此次發現不足的部分，可以做為考量。
根據本研究分析可知，台灣維基百科教育專案的設計對學生能力的提升有以下影響：
- 寫作表達能力具有正面提升效果，特別是在組織架構上。
- 資料搜尋及閱讀能力亦有正面提升效果，其中最大的提升是學生可鑑別資料的品質 (正確性、權威性)，但是較集中於對微觀個別知識的了解，無法培養對知識宏觀的視野。
- 對學生能力的影響在不同層級的教育上有不同的效果，高中部分閱讀能力較為顯著、大學以上表達能力較為顯著。
根據以上影響可知，在針對教育機構推廣教育專案時，若以目前的執行方式宜配合專題性的課程，對單一主題做深入研究；若要配合通論性的課程，則需視教師是否有意令學生練習主題研究的方法或工具應用。同時，對高中以下合作對象的專案除非有足夠時間進行文章修改，否則宜簡化寫作環節，並使學生在操作過程多檢視資料；對大學以上則可強化草稿至定稿間的討論、反饋，使學生對寫作能力的提升更加有感。
然而本次研究仍有以下限制，或可在未來加強：
- 本次研究樣本數與形態有限，未來可做更大規模量化研究印證結論是否適洽；並可針對專業領域、性別、年齡、其他能力的差別，做更精細的分析。
- 本次研究未能針對「翻譯」做特別處理。由於翻譯可能略去原始文獻的搜尋與寫作架構設計等環節，是否會有不同的成果尚待釐清。
- 本次研究依台灣教育形態，以高中案例概括高中以前通才、接收為主的教育方式；大學案例概括大學以上專才、以互動為主的教育方式。然而國中甚至國小在基礎能力與高中有所區別；研究所碩、博士生在寫作研究訓練上與大學部也可能有所不同，是否能夠類比亦需未來加以了解。
- 對於本次研究中明顯有效的部分，未來策略是繼續專注強化，使維基百科教育專案成為某種功能特出的教育工具；亦或是補足弱項，使其更適合各類教育現場好。此一選擇可能並無絕對答案，亦非本次研究處理之重心，但確實為台灣維基媒體運動在資源有限時，需要做出的重大戰略決定。如果決擇，有待後續的深入討論。
- ↑ 社團法人台灣維基媒體協會祕書長