维基教育专案对台湾学生学习成果研究
- 作者 Author／王则文 Tze-wen, Wang[注 1]
Summary
本研究以主观的问卷调查，以及客观的写作成绩和前后测方式，讨论台湾维基百科教育专案是否对台湾学生有实质上的能力提升，达到预期的学习成果。根据研究成果可知，在学生的写作表达能力部分，特别有助学生组织、架构的能力；在资料搜寻及阅读能力的部分，可大幅提升学生鉴别资料的品质的能力，以及对微观个别知识的了解。同时也发现，对学生能力的影响在不同层级的教育上有不同的效果，高中部分阅读能力较为显著、大学以上表达能力较为显著。
短期内建议针对教育机构推广教育专案时，宜配合专题性的课程，对单一主题做深入研究；若要配合通论性的课程，则需视教师是否有意令学生练习主题研究的方法或工具应用。同时，对高中以下合作对象的专案除非有足够时间进行文章修改，否则宜简化写作环节，并使学生在操作过程多检视资料；对大学以上则可强化草稿至定稿间的讨论、反馈，使学生对写作能力的提升更加有感。而长期而言，台湾维基百科教育专要继续专注强化强项，使其成为特定目标的教育工具，或是补足弱项以更适合各类教育现场，仍待台湾维基媒体协会后续做出更多深入的研究或讨论，再做出此一重大战略决定。
台湾维基媒体协会在2019年完成维基百科教育专案对台湾学生的参与诱因研究，初步了解在校园推广时，如何吸引学生加入并在课程中维持其参与意愿。然而教育专案的推广除了学生的支持外，校方、特别是教师的意愿，是影响能否成案的另一重要因素。课程设计如何让学生拥有更好的学习效果，是学校与老师的立场上最重要的考量。
过去在台湾维基媒体协会推广教育专案的过程中，都会与合作的老师强调维基百科写作上能够达成的教学成果。然而这些成果是否在过程中真如预期实现？其成效如何？其实需要不断地验证与追踪。一方面可以做为台湾分会推广上的更好依据，同时也可以做为每次专案执行时是否达成目标、是否需要改变执行方式的准据。本研究便是首次尝试对学生的学习成效进行探讨，以做为未来后续研究的发端。
本研究同时探究学生对学习成果的主观感受，以及客观成果。依据学习目标的不同，共分为三种方式进行，并且加以比对。
- 针对“文献判读”相关能力的部分，采用前后测设计观察学生在接受教育专案训练之前后，是否能更精准地判断文献的深度、广度、价值与正确性。
- 针对组织写作能力，我们采用学生自评、互评与教师评分交叉比对，了解学生是否达成训练目标。
- 针对主观感受部分，以问卷调查法进行，了解学生自认在各项学习目标上是否有所成长。
研究原先预定针对2020年的所有教育专案进行合作，然受限于2020年受到严重特殊传染性肺炎(COVID-19)疫情影响，校园合作机会大幅减少，许多合作案例也缩小规模，因此以国立成功大学历史系微学分课程，以及台北市大直高中、中仑高中、中和高中三校资讯社社课为限。
本研究设定了七个项目做为预设维基百科教育专案可能提升的能力，分为三大类：
- 专业类
- 专业能力：即学生主修专业科目知识上的提升。
- 文献资料类
- 文献搜寻能力：确认想学习的标的后，能够设法找出相关文献。
- 文献判读能力：找到文献后，能够迅速判断其深度、广度与权威性。
- 语文能力
- 组织能力：简单浏览后，能讯速掌握知识大略面向。
- 表达能力：能够深出浅出、简洁扼要将所掌握知识以文字为主、图表与图片为辅叙述出来。
- 阅读能力：能够快速并正确理解文献内容。
- 外语能力：能够阅读并理解外语文献。
以上每个细项，皆以问卷形式询问学生主观感受是否有所助益，并辅以写作表现进行评估。
学生主观感受部分，两专案之调查如下：
| 案别 | 专业提升 | 搜寻提升 | 判读提升 | 组织提升 | 表达提升 | 阅读提升 | 外语提升 |
|---|---|---|---|---|---|---|---|
| 1 | 4 | 4 | 4 | 4 | 3 | 3 | 2 |
| 2 | 5 | 3 | 3 | 4 | 4 | 4 | 4 |
| 3 | 4 | 4 | 4 | 4 | 4 | 3 | 3 |
| 4 | 4 | 5 | 5 | 5 | 5 | 5 | 3 |
| 5 | 5 | 5 | 4 | 4 | 4 | 4 | 3 |
| 6 | 4 | 4 | 4 | 4 | 4 | 4 | 2 |
| 7 | 4 | 5 | 4 | 4 | 4 | 4 | 1 |
| 8 | 3 | 3 | 3 | 4 | 4 | 3 | 2 |
| 9 | 4 | 5 | 4 | 5 | 5 | 4 | 3 |
| 10 | 2 | 3 | 5 | 5 | 5 | 4 | 2 |
| 11 | 3 | 2 | 2 | 4 | 4 | 2 | 4 |
| 12 | 4 | 5 | 5 | 5 | 5 | 5 | 3 |
| 13 | 3 | 3 | 4 | 5 | 4 | 4 | 1 |
| 14 | 3 | 3 | 3 | 4 | 4 | 4 | 1 |
| 平均 | 3.71 | 3.86 | 3.86 | 4.36 | 4.21 | 3.79 | 2.43 |
| 案别 | 专业提升 | 搜寻提升 | 判读提升 | 组织提升 | 表达提升 | 阅读提升 | 外语提升 |
|---|---|---|---|---|---|---|---|
| 1 | 3 | 4 | 4 | 4 | 3 | 5 | 5 |
| 2 | 3 | 3 | 4 | 4 | 4 | 4 | 4 |
| 3 | 4 | 5 | 5 | 5 | 4 | 4 | 5 |
| 4 | 2 | 3 | 3 | 3 | 3 | 4 | 4 |
| 5 | 5 | 4 | 4 | 4 | 5 | 5 | 5 |
| 6 | 3 | 4 | 3 | 4 | 2 | 4 | 3 |
| 7 | 2 | 2 | 3 | 3 | 3 | 3 | 2 |
| 8 | 1 | 5 | 3 | 4 | 3 | 5 | 2 |
| 9 | 3 | 3 | 5 | 4 | 3 | 4 | 2 |
| 10 | 4 | 5 | 5 | 5 | 5 | 5 | 4 |
| 11 | 2 | 4 | 3 | 2 | 2 | 2 | 2 |
| 12 | 5 | 5 | 5 | 5 | 2 | 2 | 3 |
| 平均 | 3.08 | 3.92 | 3.92 | 3.92 | 3.25 | 3.92 | 3.42 |
分析以上结果，可知：
- 除了大学案例对于“外语能力提升”的评断平均较低外，皆在3分以上。
- 单看大学案例，评分状况分析如下：
- 大学案例并非皆从事外语翻译，部分案例皆以中文资料撰写，因此在此项评分较低。若只计条目主题为非中文地区之人、事、物者，共五例平均3分，仍有及格成绩但偏低。可能英译中可依赖科技工具完成、并且部分内容仍有中文资料，因此效果确实有限。
- 大学案例“组织能力、表达能力”平均皆超过4分更为突出，可能与资料的搜寻及判断可从其他方式(例如一般的报告)训练有关，维基百科的写作要求对他们更为有感。
- 单看高中案例，评分状况分析如下：
- 专业提升项目分数最低。由于台湾高中普通科尚属通才教育，仅概分文、理组，因此学生在填问卷时即对何谓专业能力表示疑惑。因此本项目偏低可能肇因学生无“专业能力”之感受。
- 次低分为“表达能力”。本次课程设计之主题，许多内容以表格方式完成，散文部分也观察到对许多案例偏难。可能造成学生对此项目训练信心较为不足。
- 两组案例比较分析如下：若将维基百科写作过程粗分为“阅读”和“表达”两个部分，阅读的能力显然两组同学皆认为有所帮助，而表达能力则大学组感受较高中组更深。
然而，学生之主观感受是否代表其真实训练成果尚有可疑，因此本研究尚就写作成绩的教师评分，以及前后测表现做客观数据分析，下章叙明后，将再于主观成绩比较。
客观表现部分，本研究搜集可分为绝对指标与相对指标，前者仅以写作成果为据、有总成绩与各分项之表现，以观察其能力是否能够确实展现；后者则以前后测的方式，比对学生在经过课程训练后观念上的差异，以观察其训练其间所理解之内容，是否为正确方向。
由于本次两组课程皆容许请假，影响问卷之回收率；亦有同学虽然参与编写但未缴交作业，因此“成绩表现”之案例数量与主观感受及参与前后测的案例数量略有出入，先在此说明。
本研究针对学生之成绩请授课教师进行评分。整体表现以百分制表示，另请教师依写作成果的“篇幅、架构、内容深度、正确性、表达浅白、文笔流畅”等项目以5分制给分。其中篇幅、内容深度与正确性三项和资料的阅读相关；架构、浅白与流畅三项与表达相关。成绩如下：
| 案别 | 总分 | 篇幅 | 架构 | 深度 | 正确 | 浅白 | 流畅 |
|---|---|---|---|---|---|---|---|
| 1 | 84 | 3 | 4 | 3 | 4 | 3 | 3 |
| 2 | 87 | 4 | 3 | 3 | 3 | 4 | 3 |
| 3 | 88 | 4 | 4 | 4 | 4 | 3 | 3 |
| 4 | 86 | 4 | 4 | 3 | 4 | 4 | 4 |
| 5 | 83 | 3 | 2 | 2 | 3 | 3 | 3 |
| 6 | 85 | 4 | 4 | 4 | 3 | 4 | 3 |
| 7 | 86 | 5 | 4 | 4 | 5 | 4 | 4 |
| 8 | 77 | 2 | 1 | 1 | 2 | 2 | 2 |
| 9 | 83 | 2 | 4 | 4 | 2 | 3 | 3 |
| 10 | 95 | 5 | 4 | 5 | 5 | 4 | 5 |
| 11 | 84 | 4 | 4 | 4 | 3 | 4 | 3 |
| 12 | 85 | 4 | 4 | 3 | 3 | 4 | 4 |
| 13 | 88 | 4 | 3 | 4 | 4 | 5 | 4 |
| 14 | 83 | 4 | 4 | 4 | 3 | 4 | 2 |
| 15 | 85 | 4 | 3 | 3 | 4 | 4 | 4 |
| 16 | 84 | 4 | 3 | 4 | 3 | 3 | 3 |
| 17 | 84 | 3 | 2 | 3 | 3 | 3 | 3 |
| 18 | 78 | 2 | 1 | 2 | 2 | 2 | 2 |
| 平均 | 84.72 | 3.61 | 3.22 | 3.33 | 3.33 | 3.50 | 3.22 |
| 案别 | 总分 | 篇幅 | 架构 | 深度 | 正确 | 浅白 | 流畅 |
|---|---|---|---|---|---|---|---|
| 1 | 65 | 3 | 2 | 2 | 4 | 2 | 2 |
| 2 | 60 | 2 | 2 | 2 | 3 | 3 | 2 |
| 3 | 60 | 2 | 2 | 2 | 3 | 3 | 2 |
| 4 | 70 | 4 | 3 | 4 | 4 | 2 | 2 |
| 5 | 75 | 3 | 3 | 3 | 4 | 3 | 3 |
| 6 | 60 | 2 | 2 | 2 | 3 | 3 | 2 |
| 7 | 65 | 3 | 3 | 3 | 4 | 2 | 3 |
| 8 | 80 | 4 | 4 | 3 | 4 | 3 | 4 |
| 9 | 65 | 2 | 3 | 3 | 3 | 3 | 3 |
| 10 | 70 | 3 | 3 | 3 | 4 | 2 | 3 |
| 11 | 75 | 4 | 3 | 4 | 4 | 2 | 3 |
| 平均 | 67.73 | 2.91 | 2.73 | 2.82 | 3.64 | 2.55 | 2.64 |
由于两组课程评分老师不同，两者分数之高低不可直接比较。然而可以看出同组的趋势如下：
- 大学组在写作篇幅与文字浅白部分较为突出，其他项目近似。
- 高中组在正确性上表现特别突出，其他项目也近似。
- 两组的篇幅都是属于各项分数中偏高分的、文笔流畅性皆偏低；而高中组在文字浅白部分也是偏低，与大学组相反。
由以上观察到的趋势分析，大学组确实在表达能力的展现上比阅读部分更明显，而高中组则在表达的部分较弱。这与两组学生主观感受相似，略可证实学生学习时对能力增长的感受并无太大偏误。不过，以台湾教育形态而言，大学生原本就比高中生有更多机会以报告写作做为成绩来源，学生本已熟悉以最少资料写出最多份量的训练。因此在“篇幅”上的突出表现，受益于维基百科教育专案设计的程度需要打上折扣。
文笔的流畅性两者皆偏低，由于本次两组课程写作时间皆十分有限，学生难以先行消化再行写作，而是以翻译或拼凑文字再做改写，可能影响到写作的流畅性。
由于成绩仅能看出学生最终表现之成果，而此成果来自于学生本身已具备之能力，亦或来自本活动之学习，较难以测量。因此本研究也针对学生施与前后测，分别写作前后要求参与学生填写条目主题的关键词、定义、大纲，以了解学生在写作前后对该主题的掌握程度是否提升；同时也要求判断文献品质、知识的重要性与影响力，以了解他们是否能透过本课程培养对资料的正确判读。此部分分数由研究人员根据前后测的学生填答进行5分制评分，3分为持平，低于3分为退步、高于3分为进步。分组成绩如下：
| 案别 | 关键词 | 定义 | 是否在专业领域中知名 | 是否在一般日常中知名 | 是否为专业者必备基础知识 | 是否为常识 | 在维基专题中的重要度 | 文献品质评估 | 大纲 |
|---|---|---|---|---|---|---|---|---|---|
| 1 | 3 | 3 | 5 | 3 | 2 | 3 | 3 | 5 | 3 |
| 2 | 3 | 4 | 3 | 2 | 3 | 1 | 3 | 4 | 4 |
| 3 | 4 | 3 | 4 | 2 | 4 | 3 | 4 | 2 | 5 |
| 4 | 4 | 3 | 4 | 3 | 2 | 2 | 3 | 1 | 5 |
| 5 | 3 | 3 | 3 | 2 | 2 | 3 | 3 | 5 | 4 |
| 6 | 4 | 3 | 4 | 3 | 3 | 3 | 2 | 4 | 5 |
| 7 | 4 | 4 | 3 | 3 | 3 | 3 | 3 | 4 | 4 |
| 8 | 4 | 3 | 3 | 3 | 3 | 4 | 2 | 4 | 4 |
| 9 | 3 | 3 | 4 | 5 | 4 | 4 | 4 | 4 | 3 |
| 10 | 4 | 4 | 2 | 3 | 2 | 3 | 4 | 4 | 4 |
| 11 | 3 | 3 | 3 | 3 | 3 | 3 | 2 | 4 | 4 |
| 12 | 3 | 3 | 2 | 2 | 2 | 3 | 4 | 3 | 4 |
| 13 | 5 | 5 | 3 | 3 | 3 | 3 | 4 | 4 | 5 |
| 14 | 3 | 3 | 3 | 3 | 3 | 3 | 4 | 2 | 5 |
| 平均 | 3.57 | 3.36 | 3.29 | 2.86 | 2.79 | 2.93 | 3.21 | 3.57 | 4.21 |
| 案别 | 关键词 | 定义 | 是否在专业领域中知名 | 是否在一般日常中知名 | 是否为专业者必备基础知识 | 是否为常识 | 在维基专题中的重要度 | 文献品质评估 | 大纲 |
|---|---|---|---|---|---|---|---|---|---|
| 1 | 4 | 1 | 4 | 4 | 4 | 4 | 4 | 4 | 3 |
| 2 | 4 | 3 | 4 | 4 | 3 | 1 | 4 | 4 | 3 |
| 3 | 4 | 4 | 3 | 4 | 3 | 1 | 2 | 2 | 3 |
| 4 | 4 | 2 | 3 | 2 | 3 | 2 | 2 | 4 | 4 |
| 5 | 3 | 3 | 3 | 2 | 3 | 2 | 2 | 4 | 4 |
| 6 | 4 | 2 | 3 | 4 | 3 | 2 | 4 | 3 | 3 |
| 7 | 4 | 5 | 3 | 2 | 2 | 2 | 2 | 4 | 4 |
| 8 | 3 | 1 | 3 | 5 | 5 | 3 | 5 | 4 | 5 |
| 9 | 4 | 3 | 2 | 2 | 2 | 2 | 2 | 3 | 2 |
| 10 | 5 | 4 | 3 | 4 | 3 | 3 | 4 | 5 | 4 |
| 11 | 4 | 4 | 3 | 2 | 3 | 3 | 2 | 4 | 3 |
| 12 | 4 | 3 | 4 | 5 | 4 | 2 | 2 | 5 | 3 |
| 平均 | 3.92 | 2.92 | 3.17 | 3.33 | 3.17 | 2.25 | 2.92 | 3.83 | 3.42 |
由上表可简单分析：
- 两组在关键词、大纲上皆有进步，意味学生对于知识内容的掌握经写作后皆有提升。
- 大学组在课程后对知识的定义平均有更加精确，高中组则略有退步。由于高中组对知识内容的理解是提升的，在定义能力上的倒退可能是受限表达能力，较难以完整但扼要的句子涵盖内容。
- 两组在文献品质判别能力上皆有进步。
- 然而两组学生可能都较无法透过写作时搜集、阅读文献的过程理解让内容在知识圈中的位置，对于重要性与影响力的判断甚至可能不如直觉猜测。
由上述主客观项目比较可知，就学生主观感受上，阅读与写作能力都在课程中有所提升，而大学组在表达能力上有较大的进步，此与写作表现成果相符。然而此次两组课程从前后测比较来看，写作能力的提升较为可见，在阅读部分的表现比较限于对写作主题本身的理解，包括如何判断此主题中文献的品质，以及了解内容；但是没有办法透过这样的训练过程，学习评估此知识实际的重要性与影响力。此部分学生在评估自的对资讯的“专业”能力时，并未列入考量。因此也出现大学案例专业能力部分在主观评分上有重大进步，但从前后测看起来甚至影响是负面的状况。
台湾维基教育专案目前的课程设计，较适合目的在培育学生针对特定主题自行学习、研究能力的课程，并不适合做为认识某一领域知识大要的课程。或者从另一方面来说，如果将维基百科的写作融入课程时，若属通识、概论、基础类的课程，教师可以在授课时多讲述此一领域的大要，而另外透过维基百科写作的部分，训练学生的研究方法。不过，做为数位化且全球最大的百科全书，维基百科透过内部连结、分类、导航模板、专题等等方式，实际上对于某条目在知识领域中的位置实际上已有一定的显现；若再加上近年兴起的维基数据，可能更足以宏观地了解知识的面貌。因此未来台湾维基百科教育专案在执行上是否能透过课程的设计，加强此次发现不足的部分，可以做为考量。
根据本研究分析可知，台湾维基百科教育专案的设计对学生能力的提升有以下影响：
- 写作表达能力具有正面提升效果，特别是在组织架构上。
- 资料搜寻及阅读能力亦有正面提升效果，其中最大的提升是学生可鉴别资料的品质 (正确性、权威性)，但是较集中于对微观个别知识的了解，无法培养对知识宏观的视野。
- 对学生能力的影响在不同层级的教育上有不同的效果，高中部分阅读能力较为显著、大学以上表达能力较为显著。
根据以上影响可知，在针对教育机构推广教育专案时，若以目前的执行方式宜配合专题性的课程，对单一主题做深入研究；若要配合通论性的课程，则需视教师是否有意令学生练习主题研究的方法或工具应用。同时，对高中以下合作对象的专案除非有足够时间进行文章修改，否则宜简化写作环节，并使学生在操作过程多检视资料；对大学以上则可强化草稿至定稿间的讨论、反馈，使学生对写作能力的提升更加有感。
然而本次研究仍有以下限制，或可在未来加强：
- 本次研究样本数与形态有限，未来可做更大规模量化研究印证结论是否适洽；并可针对专业领域、性别、年龄、其他能力的差别，做更精细的分析。
- 本次研究未能针对“翻译”做特别处理。由于翻译可能略去原始文献的搜寻与写作架构设计等环节，是否会有不同的成果尚待厘清。
- 本次研究依台湾教育形态，以高中案例概括高中以前通才、接收为主的教育方式；大学案例概括大学以上专才、以互动为主的教育方式。然而国中甚至国小在基础能力与高中有所区别；研究所硕、博士生在写作研究训练上与大学部也可能有所不同，是否能够类比亦需未来加以了解。
- 对于本次研究中明显有效的部分，未来策略是继续专注强化，使维基百科教育专案成为某种功能特出的教育工具；亦或是补足弱项，使其更适合各类教育现场好。此一选择可能并无绝对答案，亦非本次研究处理之重心，但确实为台湾维基媒体运动在资源有限时，需要做出的重大战略决定。如果决择，有待后续的深入讨论。
- ↑ 社团法人台湾维基媒体协会秘书长