所在单位：北京教育考试院
　　团队成员：郑启跃、丁秀涛、张青华、刘芙蓉、周欣

　　一、研究背景与意义

　 　高考、中考、高中会考都是面向中学全体学生的大规模教育考试，其考试数据中蕴藏着丰富的教育教学信息，充分分析考试数据，既可以对各学科的命题情况做出 科学评价，也可以对考生各学科知识、能力水平做出客观判断；而考生群体学科知识、能力水平又可以反映出一个区域的教学情况。分析考试数据，深入挖掘其背后 的信息，可以得到有针对性的改进教学的建议，提供给教育行政部门和教研部门，有助于教育教学决策的制定，同时数据反馈给命题部门，可以提高命题质量。

　 　为此，2001年，×××聘请有关教育测评专家和各学科专家组成考试评价研究课题组，开始对我市十几万高考考生的考试数据进行全样本的研究分析，并在定 量分析的基础上形成定性的评价研究报告，取得了很好的效果。市教委和有关部门不再仅仅知道各学科的平均分，而且了解了全市这一届学生的知识掌握情况和能力 发展水平，并具体了解学生对于所考查的知识点、能力点的掌握情况，了解全市各学科教学的优势和不足。2003年，受朝阳区委托，课题组开始将考试评价研究 推广到区县层面；2004年，课题组启动高中会考和中考的全样本评价研究。到2009年，考试评价研究课题组每年都对全市的高考、中考和高中会考数据进行 全样本、多角度的挖掘和分析，形成涉及高考、中考、高中会考三类考试各学科的49篇评价研究报告，并已先后接受了14个区县和3所中学的委托，利用区县、 学校当年的全样本考试数据分别进行分析研究，对区县、学校各学科教学进行分析，提出改进建议。

　　大规模教育考试评价的研究与实践，一方面对把握高考、中考、高中会考各学科试卷和题目指标、提高命题质量发挥了重要作用，同时，通过挖掘分析考试数据发现反馈中学教学中的问题，对提高教学质量和学生学习水平、促进全市基础教育发展，发挥了不可替代的积极作用。

　　二、研究与实践过程

　　（一）研究实践的策略与方法

　 　考试评价研究课题组由教育测评专家、各学科专家、计算机程序开发专家组成，现有高考、中考、高中会考三个评价组，总计70余人。为保证评价研究工作科学 客观，本项研究明确定义为基于命题者和命题管理者之外的第三方视角，对全市的高考、中考、高中会考进行全样本评价分析。

　　本项研究首先由 教育测评专家根据项目研究需求，按照学生知识和能力的层次，提出数据分析结构，完成统计分析的总体设计方案；第二步由计算机程序设计专家根据方案完成考试 数据统计分析软件的开发；第三步由各学科专家根据考试说明对各学科试卷进行知识和能力的结构划分，提出考试数据分析需求；第四步由教育测量专家根据各学科 数据需求运用数据分析软件对全样本考试数据进行多角度、多层次的统计分析，形成各学科考试数据分析报告；第五步由各学科专家在教育测评专家的指导下，对各 学科数据分析报告进行解读，并结合运用自身的教育教学经验和学科知识，研究形成三类考试的《试题评价研究报告》和《考生水平评价与教学质量分析报告》，对 考生各学科的知识、能力做出定性的总体评价，对考生各学科的知识结构、能力结构以及一些典型试题进行定量分析基础上的定性分析，并在此基础上提出教学和命 题的建议。

　　（二）评价研究实践的探索过程

　　考试评价研究实践大致可分为三个阶段：

　　第一阶段为2001~2002年，以高考评价研究为标志的探索开创阶段。考试评价科目从语文、数学和英语3科发展到9个学科。

　 　第二阶段为2003~2004年，以考试评价系统设计为标志的考试评价研究推进阶段。随着中考、高中会考评价研究工作的开展，完善了考试评价分析指标体 系，形成了以全体考生的考试成绩数据统计为基础、定量与定性相结合的研究方式，运用现代教育测量理论对高考、中考和高中会考试题、考生水平及教学质量做出 客观评价（诊断），同时建立了三支完整的学科评价专家队伍，组织管理模式日趋成熟。

　　从2005年开始考试评价研究实践步入第三阶段，是 以多个区县开展考试评价研究为标志的评价功能拓展阶段。2003年，开展了对一个区县考生的学习状况进行评价分析试点，2005逐步推开，截至2009 年，受区县委托，先后为全市14个区县和3所中学进行考试数据统计分析，并有针对性地对相关区县、中学教学进行诊断和教师培训。

　　考试评价研究的拓展使评价的理念深入区县与学校，越来越多的区县和学校不再仅仅关心平均分、录取率，而更多关心本区各类学校各学科的优势、劣势以及各知识点、能力点的学习掌握情况，对各区县有针对性地改进教学、提高教学水平起到了积极的促进作用。

　　三、成果主要内容

　　本项目以现代教育测量理论为基础，采取定量与定性相结合的研究方法，通过对北京市高考、中考和高中会考全样本数据的统计分析，对各学科试题进行评价、对考生水平进行客观分析并提出教学建议。

　　（一）按年度形成评价研究报告

　 　本项研究每年形成全市高考、中考和高中会考试题评价研究报告、考生水平评价及教学质量分析报告49篇，总计达100万字。评价研究报告主要内容有五个方 面：（1）评价报告摘要。（2）总体评价意见。依据考试大纲、考试说明和教学大纲对试题总体水平或者考生总体水平进行概括性评价。（3）结构性评价意见。 为使统计分析结果更具针对性，能够明确表达试卷的结构性特点，将全卷各小题按不同的检测目的和试题性质进行不同角度的划分和组合。（4）典型试题分析。从 多角度选择适当数量的试题作为典型试题进行分析。通过试题作答情况，对试题进行评价、对考生的知识能力水平以及教学活动进行客观分析。（5）命题建议或教 学建议。明确提出在命题或教学中哪些需要坚持、发扬，哪些需要改进、避免。

　　（二）整体设计，构建考试评价分析指标体系及统计结构

　　本项研究系统构建了考试评价的指标体系和统计结构，据此对考试数据进行统计分析，形成各学科《数据统计分析报告》，为学科专家进行定性分析提供数据支撑。

　　1.整体设计，确定如何对试卷结构及考生知识、能力水平进行分析。如将试题从知识和能力方面进行多个维度组合，形成相应的知识组块、能力组块等。

　　2.构建并逐步完善了考试评价的统计指标和教育测量指标体系。包括总量指标（总人数、总题数、总分数），结构指标（比率、累加比率），平均指标（平均分、众数、中位数），变异指标（标准差、方差、标准差系数）、偏度、峰度，以及信度、效度、难度、区分度等。

　　3.设计并逐步完善了评价数据的统计结构。考试数据统计图表包括：总体分数分布曲线图、试题及各组块分数分布图、难度曲线图，整卷主要指标值列表、试题及各组块指标明细表等等。

　　（三）形成了《教育考试评价工作手册》

　 　通过研究实践，逐步形成了《教育考试评价工作手册》，包括考试评价研究课题的组织和领导、考试评价研究的工作流程、学科试卷的试题结构分类、试卷分析评 价报告框架及规范、基本分析指标的使用、典型数据图表的使用、考试评价研究的深化等内容，确定了本项研究的组织管理体系及其研究工作程序。

　　四、成果实践效果

　 　高考、中考和高中会考评价研究成果经过几年的应用和推广，得到了市委教育工委和市教委的高度肯定。2009年，本研究项目中的高考评价研究项目获我市第 三届基础教育教学成果奖一等奖；2010年，教育考试评价工作被列入我市基础教育重点工作。本研究成果已在全市超过半数的区县推广应用，直接服务于教师的 培训与教学质量的诊断，得到区县教委、教研部门的高度评价。

　　（一）有效地提高了命题质量。三类考试的各学科试题评价报告在全样本定量分 析的基础上，从命题依据、试题总体的测试功能、试题总体的特点、试题结构、试题的难度和区分度控制效果以及鉴定功能等方面进行分析，具有较强的针对性和指 导性，为考试命题提供了操作性较强的改进建议，对提高中考、高考和高中会考命题质量发挥了重要作用。

　　（二）有针对性地指导教师改进教学。本项研究依据《考试大纲》或《考试说明》，通过有针对性地进行相关分析、因素分析，对测试结果所反映的考生掌握学科知识及其具备的相关能力水平状况的分析和判断，提出教学建议，指导教师有针对性的改进教学。

　　（三）为教育管理部门、教研部门提供教学决策依据。每年度三类考试各学科考生水平评价及教学质量分析报告的反馈，使教育管理部门、教研部门及时了解全市学生掌握学科知识及其具备的学科能力水平状况，为改进教育管理和教学决策提供了科学依据。

　 　（四）提高了一线教师的专业素质。开展考试评价研究以来，先后有包括教育测评专家和区县教研部门、中学的学科专家近百人参与评价研究工作。尤其是近几年 来，在成果的推广应用过程中，专家组成员利用本研究的方法和研究成果在区县、学校广泛宣传讲解，促进了全市整体教学的改进，同时培养带动了一批一线教师熟 悉和掌握了科学命题和数据分析评价方法，提高了一线教师的专业素质。

　　（五）为区县提供个性化考试评价服务。区县考试评价是对区县考试数 据的综合分析。将区县所属中学分为若干类，课题组对每一类学校分别进行各种指标分析和结构分析，通过与全市总体、城区/郊区、市/区示范校的对比分析，区 县内部的不同类别学校的差异分析（不作单个学校之间的对比分析）等，发现考生水平所折射出的教学问题，为相关区县提出教学建议。这种个性化服务是本研究成 果的延伸应用，也是研究的进一步深化，是对考试数据信息的深度开发和利用。

　　五、成果特色与创新

　　（一）对考试评价研究理论进行了探索

　 　本项研究首先确立了分类评价思想，即按试题和考生水平两个类别进行评价的思想。对试题进行评价目的是对考试测试工具进行评价，其评价对象是将卷面所有试 题作为样本总体，以分析和评价其测试功能是否按考试性质及其命题原则给予了合适的表达；对考生水平的评价是对考生掌握学科知识及其具备的学科能力水平状况 的评价以及所反映出的教学质量的分析。

　　其次构建了考试评价的指标体系，从系统分析的角度设计了评价数据的统计结构。按照这样的指标体系和评价数据统计结构，在对考生和学校科学分组的基础上，注重表达考试数据的内在数量关系，形成《数据统计分析报告》作为学科专家进行学科分析的定量基础。

　　（二）构建了定量分析与定性分析有机结合的研究方法

　　本研究最显著的创新点在于，在国内考试机构中率先构建了一种定量与定性相结合的研究方法。这种方法可以较好地实现对大规模考试试题、考生水平和教学质量的分析评价，得出的评价结果客观、真实，具有科学性、引导性。

　　（三）考试评价的第三方研究视角

　　基于命题者和命题管理者之外的第三方研究视角，保持评价研究具有相对的独立性，是本项研究的特色。本项研究通过对考试数据所表达信息的深入挖掘，结合评价者丰富的教学、教研经验，对命题质量、考生水平与教学质量做出客观评价。

　　（四）全样本、多方位研究，拓展了考试数据的使用功能

　 　本研究以教育测量学与统计学理论为指导，利用考生全样本考试数据，包括考试成绩及相关背景数据，进行系统的结构性的统计分析，同时对考生和中学科学进行 分组、分层分析。本项研究建立了完整的评价指标体系，开创了国内建立在大规模考试数据统计分析基础上的考试评价研究先河。将考试试题、考生水平和教学质量 三个方面作为评价对象，对考试数据进行深入挖掘，拓展了考试数据的使用领域和使用功能。

　　（五）为各类考试评价提供了研究模式、方法示范

　 　本研究成果经过数年的应用实践，形成了理论结构较为清晰、具体应用操作行之有效的分析方法，为随后在区县、中学开展考试评价提供了研究模式。随着本项研 究成果的应用推广，将有助于提高全市教师对考试评价理念的认识，并逐步将考试评价的理念与方法运用到全市日常的教育教学中，随时发现教学问题和学生学习漏 洞，并有针对性地改进教学。本项研究为促进“由考试走向评价”的发展和运用考试手段促进教育教学，起到了方法上的示范作用。