首页 关于2061计划 研发领域 出版物 会议与研讨
  关于AAAS | 连线2061 | 联系方式
 
 
今日2061——2007年冬季刊

有效测试

今日2061  
适应未来变化的科学素养  2007年冬季刊第17卷,第1号


  基于严格的标准和大量的学生反馈数据编制
   ——“2061计划”试题编制工作介绍
   
  

根据《不让一个孩子掉队》的联邦教育法令,美国2007至2008学年的自然科学全国统一测试即将开始。为此,编制可以准确评估学生科学课程学习情况的测试题就成为首要任务。而越来越多的教育工作者和公众担心,现有的测试题不能担此重任。据美国教师联盟一项最新研究显示,在阅读、数学和科学学习三门课程上,只有11个州的教学内容和测试符合标准。

  不过,标准的、有效的测试题有哪些特点呢?如何才能改进试题?为了帮助教授K-12年级(从幼儿园到高中毕业)科学课程的教育工作者回答这些问题,“2061计划”最近的测试题编制工作结合基于研究的标准和学生的反馈数据来分析测试题,以此提高每道试题的有效性。

  由美国国家科学基金会资助,“2061计划”正在线收集符合美国科学促进会《科学素养基准》和美国国家研究理事会《国家科学教育标准》的、高质量的初、高中科学课程测试题。绝大部分多项选择题在设计时考虑了如何尽可能准确地测试学生是否掌握了国家标准要求的概念和技能,这将对教育研究人员、教师以及测试题和教材开发人员的工作有所帮助。在线数据库还补充了丰富的相关测试资源:

美国科学教学研究联合会年会将于2007年4月15日至18日在路易斯安那州的新奥尔良市举办,会议将听取“2061计划”研究人员对其测试题研发工作的介绍。(具体内容见网址:www.narst.org/conference)
•“测试与科学教学目标相结合:尽可能考虑学生的想法及思维”。此次研讨会由乔治.迪博尔主持
•“保证在测试题中使用适合中学生的术语:以板块构造为例”(海报)威尔逊与迪博尔
•“通过对相关内容的测试,弄清中学生对化学概念的理解”(海报)赫尔曼 阿贝尔和乔治.迪博尔
•“测试学生对‘控制变量’的理解” (海报)高格斯与迪博尔                            

• 阐明每一个重要的科学概念,以确定学生需要了解的内容;
• 通过研究,明确学生共有的误解,以设计出错误的备选答案(干扰项);
• 评估图谱,图谱中展示如何针对学生理解能力来构建重要的科学概念。
使用者可通过相关主题、国家基准或标准来查询,也可按符合国家标准的关键字和词组进行查询。

  检验测试题

杂志看点
2.主任寄语
3.美国科学促进会的教育资源
4.在美国科学教学研究联合会年会上听取“2061计划”的相关报告
5.试点测试:我们学到了什么
6.肖恩史密斯访谈录
8.公告及活动
  “2061计划”开发符合标准的测试题的方式是让工作人员和其他专家进行多轮分析,并结合学生访谈与试点测试进行。“2061计划”研究组首先使用一套研究标准来检验各道测试题与科学标准概念的一致性,然后看看题目是否存在让研究人员难以解释学生为何选择某个答案的情况。

  如果测试题设计得好,那么:只有当学生知道要检测的目标概念时才能选出正确答案;反之,当他们选择错误答案时,只应该是因为他们不知道这个概念。

  学生应该能证明自己的科学知识素养,而不受到易混淆的语言、不准确的信息、含混的图表/图形以及不熟悉的或过于复杂的背景知识的干扰。同样,只应由于错误答案的不合理性而使不懂科学的学生不能正确回答问题,而不应该让学生可以通过应试策略答对题目。

  学生的想法

  通过详细分析每一道测试题,并结合学生如何以及为何能选出正确答案的信息,“2061计划”的工作人员进行了更深一步的研究。工作人员采用一对一的访谈形式获取信息,并且在试点测试时,要求学生在选择答案的同时对为什么选择这些答案做出书面解释,然后比较学生的答案和解释,由此了解到了学生关于目标概念和测试题本身的一些颇有价值的想法。 

  “事实证明,试点测试时获取的学生反馈信息,对于测试题开发工作而言是必要的。它能让我们了解学生易产生误解的相关概念、不熟悉的术语和混淆的表达。这些信息使得我们设计的试题能够更加有效地测验到学生的学习情况”。“2061计划”副主任乔治.迪博尔说,“除此之外,反馈意见还有助于我们评估中学教学目标的合理性,因此,经严格审核的测试题也是完善教学目标的有力工具。”

  为检验测试题是否能有效衡量学生对所测概念的掌握,或者是否对学生掌握知识的情况提供了不可靠的信息,试点测试时要求学生回答下列问题:

1.该测试问题中有让你迷惑的地方吗?请具体说明。
2.请圈出测试问题中你不懂或不熟的词。
3.选项A正确吗?请说明原因
4.选项B正确吗?请说明原因
5.选项C正确吗?请说明原因
6.选项D正确吗?请说明原因
7.你是否是猜出答案的?
8.请给出其它可能的答案选项。
9.图片或图表对你有帮助吗?这些图片图表对你来说是否必要?
10.这些内容你是否在学校学过?
11.你在其它地方接触过这些内容吗?如有,是在什么地方?

  研究人员通过分析收集到的数据,得出更详细的信息,以用来修订个别不合适的问题和答案选项。 (见第五页图,查看从试点测试中抽样的一道题)

  整合所有信息

  “2061计划”已对7所学校的200名学生进行了访谈,并就原子与分子、力与运动、流动的物质与能量,板块构造及控制变量5个专业领域对112个班进行了试点测试。测试对象为各类城市与郊区的初、高中学生。2007年还将进行更多测试。同时,研究小组正忙于确认目前已开发的最佳测试题,并结合相关资源建立在线数据库。

  一旦信息收集工作开展起来,教师和研究人员将能够运用这些示范试题及“2061计划”的标准和分析程序,研究和改进在教材开发、大规模测评和班级测验中所使用的测试题。有了符合标准的高质量资源,科学教育工作者就有更好的机会进行更有效的测试,帮助学生提高科学素养。

  了解“2061计划”的测试题研发工作详情,请访问网址:www.project2061.org/assessment 或与副主任乔治.迪博尔取得联系。联系方式是:gdeboer@aaas.org 或拨打电话(202) 326-6624.

试点测试:我们学到了什么

  如果学生没有真正理解所测试的科学概念就能答对测试题,教师对设计的测试题还有信心吗?为了提高测试题与重要科学概念的一致性,及其衡量学生学习状况的有效性,“2061计划”在试点测试中通过学生反馈收集了信息。这些反馈信息能帮助研究者发现并删去题目中令人困惑和不熟悉的措辞;完善正确的答案选项;并提供更合理的错误选项(即干扰项)。下面介绍一个有关化学反应原理的试点测试题:

  要测试的概念

  一些物质在合适的条件下会与其它物质发生化学反应,并产生具有新特性的物质。(依据《国家科学教育标准》,5-8B:A2a)

  测试题:

  下列选项中哪一项是化学反应?
  A.将一块金属敲进一棵树里。
  B.加热一壶水,水分蒸发。
  C.一勺盐溶解在一杯水中。
  D.一根铁棍暴露于空气中,表面出现橙色粉末。

   学生选择答案的情况 

 

A(金属)

B(蒸发)

C(溶解)

D(生锈)

不确定

总人数

学生人数

0

14

18

43

1

76

所占百分比

0

18.4

23.7

56.6

1.3

100

  试点测试结果

• 共有43个学生选择正确答案D,其中只有5人的判断标准是:一种新物质的生成。近半数选D的人不是把此反应看作是生锈就是看成氧化。这些学生可能确实知道生锈是一种能产生具有新特性物质的化学反应,但他们也可能只知道生锈是化学反应的一个具体实例,却不晓得化学反应应包含新物质的生成。
• 没有学生选A,表明把金属敲进树中不是一个似是而非的答案。与学生访谈,得出类似的结果。
• 相当多的学生(42.1%)选择了B或C。这就说明学生把形态变化和溶解都误解成是化学反应。

  建议修订

 把A选项换成更合理的干扰项,如,过滤海水,分离出砂
 把D选项换成一个学生不太熟悉的化学反应,比如,两种透明溶液混合,产生白色沉淀物。


好教材促进学习

肖恩·史密斯访谈录

  史密斯博士在一家名为“零点研究”的私营研究公司(HRI)任高级调查助理,该公司位于北卡罗来纳州教堂山,主要从事关于科学与数学教育的研究。他自1991年加入该公司以来,一直从事有关课程教材开发、教师职业培训及测试领域的研究与评估项目工作。他对“2061计划”资源研发起到了重要作用,特别是在近期开展的关于教材开发的项目方面。最近,“2061计划”工作人员凯蒂以邮件方式对他目前工作状况及对科学教育标准改革方面的看法进行了一次采访。

  凯蒂:能否谈谈您的教育和工作经历,是什么使您能够参与到科学教育研究和评估工作中来的?
史密斯:我以前在一所高校教授化学和物理。四年后因参与一个关于科学教育的博士学项目,进入一家研究所。研究所的经历让我对研究与评估产生了兴趣,同时,在HRI的实习过程让我最终确认:我要继续在这个领域中工作。

  理论的建立来源于研究。

  从事评估工作需要同时涉及教育理论研究与教学实践,我觉得这些工作都非常充实。
凯蒂:当前“2061计划”与您的“评估教师对科学教育的了解”(ATLAST)项目正在合作。那么您认为该项目的研究目的是什么?它对教授科学课程的教师有哪些帮助?

  史密斯:在零点公司时,我主要从事科学及数学教育的研究与评估。当进行这两项工作时,我们常常在我们在评估、调查和编写草案方面缺乏行之有效的手段。我们认为,缺乏好的教材会阻碍教育理论的发展。与此同时,让我们很震惊的是,对教师的职业培训,很多是在未经验证的理论的基础上开展的,而这些职业培训最终是为了改善学生的学习成效。这些未经验证的理论,虽然合乎逻辑,但几乎没有实证文献的依据。

  “ATLAST”项目的目的是开发出让研究人员可以研究职业培训效果的教材。我们正在制定一项措施,以便使教师和学生有机会学习科学并让学生理解科学。对教师的职业培训了解得越多,就越能得出更好的培训经验。

  凯蒂:“2061计划”分析和开发学生测试题的方式,对您的工作及思想有哪些影响?

  史密斯:“2061计划的研究内容对我们的影响有两个方面。首先它涉及到《科学素养基准》和《科学素养导航图》。我们正试图在动力学、板块构造、流体学及生物系统能量学这三个初中科学课程领域开发我们的学生测验工具。在编写测试题之前,我们花了数月的时间,确定那些领域的内容和范围。《基准》及《导航图》是这项工作进行中的关键。它们不仅有助于我们确定内容范围,而且有助于确立在“评估”和“学习机会”方面的公平性。9至12年级的基准显然超出了我们的学生测试范围。从幼儿园到二年级及三到五年级的基准提示了我们可合理期待初中学生可以理解的内容。我们的学生测验题不会直接测试这些较低年级的学习内容,但是会利用那时学过的概念。因为《基准》及《导航图》帮助我们确定了“哪些在测试范围内,哪些在测试范围外”,故而我们的测试工具与用这些工具测验的内容非常吻合。

  其次,“2061计划”关于测试题的标准,对我们测试题的构成有着深远的影响——2061计划已经评审了我们150多个面向学生和教师的测试题。它的测评标准有助于提高我们编写测试题的可行性与合理性。最近三年我们一直遵循这些标准来编写测试题。所以我们的第一稿就非常接近成稿,很少需要修改。

  凯蒂:对于过去的科学课程教材与现行教材的不同之处,您觉得应该如何改进?为什么?

  史密斯:我认为近期开发的科学课程教材很可能被扭曲了。在过去六年里,零点公司一直承担由国家科学基金会资助的两个主要课程开发项目的外部评估工作。我们一直把“2061计划”的“科学素养基准”与教材标准作为评估这两个项目的出发点。类似于零点公司的“ATLAST” 项目,在进行首次开发活动之前,两个研究小组花了数月时间,标定和捋清内容。两个小组都明确主张,活动和课程都必须针对一个以上的学习目标。这听起来非常明显的是套用了标准,但令人吃惊的是,很多时下使用的教材(无论传统或前卫的),虽然以引人入胜的方式来描述主题,却不能与具体的学习目标相关联,或不能很好地完成它们自己设定的教学目标。

  这与我已经很熟悉的新编教材大相径庭。新教材的设计显然能促使学生深入理解科学概念。

  凯蒂:您认采用和/或实施基于新标准的科学课程教材,最大的障碍是什么?

  史密斯:我觉得有三大障碍。首先这些教材要求教师采用不同的教学方式,这是很多教科学的老师不熟悉的方式。比之传统教材,成功实施新教材需要更多正面的、积极的、而且成本较高的支持。如果缺失这些支持,教师使用新教材能达到研发者预期目的的可能性将很小。

  其次,这些教材本身就昂贵,它要让学生感受自然发生的现象,而动手的活动是其主要部分。虽然传统的教科书中也要求有动手的活动,但我并不认为它们能像新教材中的那样达到预期教学目的。新教材要求大量必须的装备与设备。因此会增加一些政府及学校不愿承担的成本——至少在这些新教材(通过基于学生学习状况的研究)得到明确肯定之前不愿承担。

  最后,新的标准教材与各州统考相悖。为了能够提高学生的深入理解,新教材在内容方面必然比传统教材更加挑剔。然而,各州统考标准仍然很流行。从某种意义上说,传统教材可能更能应对各州的科学测试。

  凯蒂:作为“2061计划”的一个合作者及评估者,您认为该计划会给科学教育带来什么样的变化?

  史密斯:我始终认为“2061计划”能够也应该对各州的标准产生影响。如果各州缩小且集中他们的标准,教师在“为理解而教学”上将有更多的自由度。其次,“2061计划”在教材评估上已经取得进展,但在关注学习目标的教学上,还有待深入研究。在这方面,“2061计划”的工作进展得越快就越好。

  欲知零点公司的更多信息及其最新工作进展,请访问www.horizon-research.com

主任寄语

“国家正致力于制定一套统一、连贯的科学教育标准。”

让测试有意义

  依据《不让一个孩子掉队》的联邦教育法令,2007至2008学年的学生科学课程测评即将开始。新的法令设定的目标虽然很好,但当下大规模的科学测试情况却不如人意。“2061计划”评估研究经常发现,这类测试中的问题会让学生产生误解,或者与期望学生掌握的重要自然科学概念和技能不完全一致。(参见本期中的“力求正确评估”)。

  基于标准的教育改革要想取得成功,重要的是建立和使用能够公平、精确评估学生所学知识的测试。我们的科学测试只有与国家基准和标准中的重要科学概念相符合时,才能提供足够有价值的信息。今年年初,美国科学促进会通过了一项“在科学和数学领域制定国家级教育标准”的新两党提案。鉴于当前各州的科学教育衡量标准不同,由参议员克里斯多德和众议员弗农埃勒斯共同完成的《制定儿童教学目标标准法令》,在教育标准改革上最先迈出了重要一步。

  令人欣慰的是,国家正致力于制定一套统一、连贯的科学教育标准。美国科学促进会在新提案中建议制定者以现有的标准,如“2061计划”的《科学素养基准》和全国科学技术教育委员会的《国家科学教育标准》,为编制新标准的指导。这些标准文件为最优化国家级自然科学教学标准提供了范例。NAEP2009科学评估框架(全国性学业成就评估框架)能对此提供进一步帮助,它已综合并更新了《科学素养基准》和《国家科学教育标准》中的物理科学、生命科学和地球科学标准。

  根据《制定儿童教学目标标准法》,选择采用新标准的州将获得联邦资金,以完成教师职业培训、测试评估及课程教材开发等项工作。一旦有了高质量的国家级标准,教育工作者便可以充分利用它来开展测试和班级评估,以衡量在这些标准下,学生对目标概念和技能的掌握程度。更重要的是,一套一致的科学标准,给教材的编撰者和教育工作者点明了关注重点。我们要想帮助所有学生绘制一幅可以让他们连贯地、科学地、准确地了解世界如何运转的图谱,就必需在最核心的科学理念的教授上,集中有限的资源。
欲与“2061计划”工作人员取得联系,请访问www.project2061.org/about/contact.htm


美国科学促进会教育资源

《科学素养大全》第二卷

  《科学素养导航图》第二卷定于2007年3月发行,欢迎订购。

  继热门的《科学素养的导航图》第一卷之后,《导航图》第二卷详细制定了所有学生从幼儿园到高中毕业所要学习的知识内容。其特色是包含了关于天气和气候、人类发展及进化论等40多个基本主题的全新图谱。

  在2007年3月31日之前订购《科学素养导航图》第二卷,将享受53.95美元的发行前特价(发行价59.95美元)。购买《导航图》卷1和卷2合订本将享受99.95美元的优惠。请致电“2061计划”:1-888-737-2061(提供促销码)或登录网站:www.project2061.org/publications.order.htm 。

《进化学教育指南》,印刷版及在线浏览

  如今的学生,若想成长为有科学素养的人,就需要切实了解地球上的生命是如何进化的。“2061计划”的《进化前沿:进化理论简明教育指南》最早于美国科学促进会2006年年会上提交,之后就成为帮助教师向学生讲授进化论核心概念的好素材。   

   依据“2061计划”,该指南明确了学生应该学习的内容,并要求学生对生物进化学、自然选择学及科学的本质逐步建立起条理清晰的认识。同时还推荐了相关普及版图书,并依照美国科学促进会的建议,给出了进化论教学时学生最常提出的几个问题的回答。

  如欲订购上述教育指南纸质版本,请拨打1-888-737-2061或登录网站www.project2061.org/publications/order.htm。每份3.95美元;10份以上,每份优惠价3美元。以上定购价含包装及国内邮购资费。在线免费浏览网址:www.project2061.org/evolutionguide。

《科学与宗教》

  来自美国科学促进会“科学、伦理及宗教论坛”的一本新书,引人深思地阐述了自达尔文时期至今进化论的发展,以及基督教对进化论的各种反应——由凯瑟琳•贝克撰写、詹姆斯•米勒编辑的《关于进化学的对话:科学、宗教和理解》一书,阐述了人们对生物进化论和科学的一些误解,以及虔诚的宗教信仰者对科学的理解。由于受到生物教师和成人宗教教育者的好评,该书已被收入用于集体教育的教学指南。   

  欲了解更多有关该书的信息及订购须知,或者获取教学指南免费在线地址,请登陆网站www.aaas.org/spp/dser

中国科学技术协会 版权所有 1998-2009 Tel:010-68571875 京ICP备05038051号


中国科学技术协会办公厅 主办 地址:北京市海淀区复兴路3号 邮编:100863


中国科协信息中心 技术支持 地址:北京市海淀区学院南路86号 邮编:100081