期刊專區/ Periodical Section

以題型模版為基礎之網路多媒體測驗編輯系統：發展與評鑑

The Development and Evaluation of A Template-Based Online Multimedia Assessment Authoring System

所屬期刊：	第2卷第4期 「測驗與評量」 主編：大學入學考試中心 簡茂發主任
系統編號：	vol007_08
主題：	測驗與評量
出版年份：	2006
作者：	張鑫安;游光昭;張炳雄
作者(英文)：	Hsin-An Chang
論文名稱：	以題型模版為基礎之網路多媒體測驗編輯系統：發展與評鑑
論文名稱(英文)：	The Development and Evaluation of A Template-Based Online Multimedia Assessment Authoring System
共同作者：	游光昭;張炳雄
最高學歷：	碩士
校院名稱：	台灣師範大學
系所名稱：	工業科技教育學系
語文別：	中文
論文頁數：	36
中文關鍵字：	網路多媒體測驗、題型、模版、教學系統開發與評鑑
英文關鍵字：	web-based multimedia assessment, question type, template, instructional system development and evaluation
服務單位：	國立台灣師範大學工業科技教育學系碩士班網路教學組研究生
稿件字數：	21942
作者專長：	測驗與評量
投稿日期：	2006/12/22
論文下載：
摘要(中文)：	目前利用網路進行測驗的情況雖然普遍，卻限於簡單的題型型態及較為靜態呈現方式，無法充分展現多媒體在網路上的應用能力。尤其是在九年一貫「自然與生活科技」的課程領域中，多媒體的測驗型式較能有效及精準的表達科學及科技測驗的意涵，並可避免因文字表達所造成的題意概念模糊，而使學生產生誤答。因此，本研究嘗試建置一個以題型模版為基礎的網路多媒體測驗編輯系統，內含多種測驗題型，並支援多種媒體格式，形成不同的試題編輯模版，以方便從事多媒體測驗的出題工作。本研究以系統發展生命週期進行系統開發，開發過程中藉由文獻探討進行系統需求分析、設計，並以問卷調查及準實驗研究等方式完成系統之內、外部評鑑。研究發現，專家對於本系統內部結構及行為大多持正面的看法，教師對系統的試用經驗調查亦屬正面的評價。而在學生使用本系統進行多媒體測驗方面，經由準實驗設計及共變數分析的結果顯示：藉由本系統進行多媒體測驗的實驗組學生，其測驗的平均成績高於一般傳統紙筆測驗的控制組學生，且達到統計上的顯著差異。這顯示運用本研究的測驗系統來實施科學及科技測驗時，學生會因多媒體元素的真實與完全表達題意，使得測驗成績較能反映學生本身的實際認知程度。
摘要(英文)：	Common educational web-based assessment systems are facing two challenges in development: insufficient variety of question types and integration of media formats, as past literature stated. Especially in the field of science and living technology, multimedia-based assessment can more precisely and efficiently exhibit the core spirit of science and technology evaluation, and can avoid miscomprehension caused by simple text. Thus, this study tried to design and build up a web-based multimedia assessment authoring system featuring customized and easy to use templates – containing several question types and supporting a variety of media – to simplify and streamline the creation process. Therefore, instructors are able to create and manage a web-based assessment with pre-customized templates and media formats after lecturing; students are able to take the exam for self-evaluation and practice whenever learning activities are finished. This system was innovated and implemented through System Development Life Cycle (SDLC), and a Template-based Multimedia Assessment Authoring (TMA2) system was therefore formed, highlighting the multiple module function as well as the integration of various media types. Internal and external evaluations were conducted later on via experts’ comments. Survey results indicated that most of the experts unanimously held positive attitudes toward the system, and so were the instructors who actually implemented it in their lectures. With respect to students’ learning results, statistical data gained from quasi-experimental design and covariance analysis showed the experimental group with TMA2 support was more likely to achieve higher scores than the one without it; meanwhile, statistical significances were exerted, too. This result implies that with TMA2 support, learners will gain better comprehensive ability due to complete illustration of test through various media element, and will honestly evaluate learners’ cognitions. Finally, the author proposed further research implications and directions on this emerging topic.
參考文獻：	王子華、黃世傑（2002）。網際網路評量與試後分析系統(WATA)之設計。資訊與教育，2001年資訊教育特刊，276-286。 何榮桂（1997）。從「測驗電腦化與電腦化測驗」再看網路化測驗。測驗與輔導，144，2972-2974。 何榮桂（2000）。網路環境題庫與測驗之整合系統。科學發展月刊，28（7），534-540。 吳仁和、林信惠（2003）。系統分析與設計理論與實務應用。台北：智勝文化。 周倩（2000）。台灣網路學習的研究：個人的經驗與觀察。論文發表於國立台灣師範大學主辦之第十六屆科學教育學術研討會，台北。 周朝宜（1999）。線上即時學習評量系統設計介紹。資訊與教育，71，59-61。 林敏慧、陳慶帆、謝崇琪、張佑瑋、廖崇閔、蔡景堯及吳允中（2003）。建構於Internet之安全的元件式多媒體線上測驗系統，論文發表於國立台灣師範大學資訊教育學系主辦之第十一屆國際電腦輔助教學研討會，台北。 林裕集（2001）。適用於電腦教室之網路測驗系統：以國小英語科為例。國立台中師範學院教育測驗與統計研究所碩士論文，未出版，台中。 林璟豐（2001）。全球資訊網測驗題型之研究。國立台灣師範大學工業科技教育研究所碩士論文，未出版，台北。 邱龍斌（2002）。線上體育多媒體評量系統之研究與開發-以國中課程基本排球動作為例。國立體育學院體育研究所碩士論文，未出版，桃園。 翁正雄（2003）。多媒體線上測驗系統之建置及其相關研究。國立台中師範學院教育測驗與統計研究所教學碩士論文，未出版，台中。 翁全志（2003）。九年一貫自然與生活科技能力指標之網路多媒體教材與測驗評量研究。國立交通大學網路學習學程碩士論文，未出版，新竹。 區國良、陳國棟、劉寶均（1997）。建立於全球資訊網上之群體學習系統，論文發表於銘傳管理學院主辦之第六屆國際電腦輔助教學研討會，台北。 陳新豐（1999）。多媒體線上適性測驗系統之探討-教育測驗的新趨勢。教育資料文摘，252，106-113。 陳新豐（1999）。多媒體線上適性測驗系統發展之探討。臺灣教育，577，45-48。 葉連祺（2000）。教師自編紙筆式測驗試題類型之探討。研習資訊，17，42-53。 劉亞平（1998）。教育改革的關心程度問卷與線上測驗之研究。國立台南師範學院資訊教育研究所碩士論文，未出版，台南。 簡瑞華（2002）。線上題庫與評量系統之開發。國立台中師範學院教育測驗與統計研究所碩士論文，未出版，台中。 羅綸新（2002）。多媒體與網路基礎教學理論、實務與研究。台北：博碩文化。 Bennett, R. E. (2002). Inexorable and inevitable: The continuing story of technology and assessment. Journal of Technology, Learning, and Assessment, 1(1), Available from http://www.jtla.org. Bennett, R.E., Goodman, M., & Hessinger, J. (Eds.). (1999). Using multimedia in large-scale computer-based testing programs. Journal of Computers in Human Behavior, 15(3), 283-294. Bugbee, A. C. (1996). The equivalence of paper-and-pencil and computer-based testing. Journal of Research on Computing in Education, 28(3), 282-299. Charman, D. & Elmes, A. (1998). Formative assessment in a basic geographical statistics module. In D. Charman & A. Elmes (Eds.), Computer based assessment (Volume 2): Case studies in science and computing (pp. 17-20). Plymouth: SEED Publications, University of Plymouth. Clariana, R. B., & Wallace, P. E. (2002). Paper-based versus computer-based assessment: Key factors associated with the test mode effect. British Journal of Educational Technology, 33(5), 593-602. Davies, P. (1999). Learning through assessment: On-line assessment and learning. In M. Danson & R. Sherratt (Eds.), Proceedings of the 3rd Annual CAA Conference (pp. 75-88). Loughborough, UK.Iqbal, A., Oppermann, R., Patel, A., & Kinshuk (1999). A classification of evaluation methods for intelligent tutoring systems. In U. Arend, E. Eberleh & K. Pitschke (Eds.), Software Ergonomie ?99 - Design von Informationswelten (pp. 169-181). Leipzig: BG Teubner Stuttgart. Kendle, A., & Northcote, M. (2001). Online assessment criteria in action: Task design in contrasting tertiary education contexts. World Conference on Educational Multimedia, Hypermedia and Telecommunications, 2001(1), 920-924, Available from: http://dl.aace.org/8625. Littman, D., & Soloway, E. (1988). Evaluating ITSs: The cognitive science perspective. In M. C. Polson & J. J. Richardson (Eds.), Foundations of intelligent tutoring systems (pp. 209-242). Hillsdale, NJ: Lawrence Erlbaum Associates. McCormack, D., & Jones, D. (1997). Building a web-based education system. New York: John Wiley & Sons. McFarlane, A. (2001). Perspectives on the relationships between ICT and assessment. Journal of Computer Assisted Learning, 17(3), 227-235. Northcote, M., & Kendle, A. (2000, March). Online assessment techniques for indigenous learners. Paper presented at the Australian Indigenous Education Conference, Fremantle, Western Australia. Scott, W. B., Robert, J. B., Aaron, T., & Larry, M. (2000). Education research using web-based assessment system. Journal of Research on Computing in Education, 33(1), 28-43. Siemer, J., & Angelides, M.C. (1998). A comprehensive method for the evaluation of complete intelligent tutoring systems. Decision Support Systems, 22(1), 85-102. Zakrzewski, S., & Bull, J. (1998). The mass implementation and evaluation of computer-based assessments. Assessment and Evaluation in Higher Education, 23(2), 141-152.