1   

 

  To:  Commissioner John King From:  Chancellor Dennis Walcott Re:  NYC DOE’s 3012‐c Plan Date:  February 11, 2013 _____________________________________________________________________________________  This memo describes the New York City Department of Education’s plan to prepare for effective implementation of Education Law 3012‐c and Commissioner’s regulations, in response to your letter dated January 18, 2013. Attached you will find a detailed plan, including timelines and budgetary information.   Preparation Activities to Date  The NYCDOE’s most important and unifying goal1 is to ensure that all NYC students graduate high school ready for college and careers. Although we have made great strides in student achievement since the start of Mayor Bloomberg’s Children First reforms in 2002, too many students have not yet met this bar. Higher standards — which are the essence of the new Common Core Standards— are necessary to prepare more students with the skills they need to succeed when they enroll in college and/or begin a career.    High‐quality teaching is the most powerful tool for helping students reach these higher standards. Our work aims to ensure that all students benefit from great teaching, inclusive of English language learners and students with disabilities. Over the last few years, the NYCDOE has therefore combined our focus on the Common Core with efforts to develop teachers in order to achieve a continuous cycle of improvement based on feedback, support, and standards of excellence for all students and their teachers.  We also recognize strong instructional leadership is needed to support the development of effective teaching. Given the dramatic shift in the responsibilities and expectations of the NYC principal brought on in particular by more rigorous standards for teaching and learning, high‐quality leadership training and on‐the‐job support are vital to helping our school leaders succeed.   Over the last three years the NYCDOE has engaged in intensive work to prepare our educators for the adoption of a rigorous, multiple‐measures educator evaluation and development system.  A core belief of the NYCDOE is that an evaluation system that includes measures of student learning and provides meaningful information that can differentiate educators’ unique skills and performance is a critical lever to improving educator effectiveness and ensuring our students are college and career ready. We want educators to have an evaluation system that allows them to set goals, measure progress, and get meaningful feedback and support that enables them to improve their practice. Teachers and principals are highly‐skilled professionals and we want an evaluation system that recognizes them as such.   It was with these goals in mind that in 2010 we began the work to pilot a low‐stakes, multiple‐measures teacher evaluation system, in consultation with the United Federation of Teachers.  Indeed, we began this work prior to the inception of Education Law 3012‐c. We designed the pilot’s low‐stakes evaluation system to be directly aligned with 3012‐c so that teachers, school leaders, and school support networks could gain knowledge of and experience with the core components of the new evaluation system. For example, pilot administrators participate in no fewer than 10 job‐embedded visits focused on evaluating and supporting their own teachers, in particular by using Danielson’s Framework for Teaching. The job‐embedded professional development described in this plan has been modeled on this training, conducted and refined over three years in the pilot program. In addition, the pilot: 

• Sets clear and rigorous expectations for teaching practice which are aligned to improvements in student achievement 

                                                            1 New York City Department of Education. 2011.  Raising the Bar for Students and Schools: Our Commitment to Action.

2   

 

• Provides teachers with meaningful feedback and targeted support to help them continuously strengthen their instruction 

• Supports principals in using teacher effectiveness data to make strategic decisions such as how to target professional development or identify teachers for career advancement opportunities 

 The NYCDOE pilot is now being implemented in 200 schools with over 8,500 teachers. This represents the largest implementation of the new evaluation system in NY State, impacting more schools, staff, and students than Buffalo and Rochester—the next two largest school districts in New York State—combined.   Preliminary data indicates that the pilot is producing improvements in teachers practice.  Teacher ratings improved from 50% of teachers rated Effective or Highly Effective in Year 1 of the pilot to 57% of teachers rated Effective or Highly Effective in Year 2.  We have been asked by colleagues in states and districts throughout the country – including your own staff – to share training materials, learning and best practices from our pilot work so others can model their efforts on ours. In fact, SED recently asked the NYCDOE to host the Federal Government Accountability Office (GAO); the purpose of the visit is for the GAO to visit two pilot schools in order to showcase strong practices in NY State that support teacher effectiveness.  In addition, over the last two years, through training on the Citywide Instructional Expectations (CIE) the NYCDOE has been preparing and training all principals and networks for the implementation of 3012‐c. The NYCDOE created the annual CIE to articulate the instructional activities NYC school leaders and teachers are expected to engage in to improve teacher practice and support all students in developing the qualities and skills necessary to enroll, persist, and succeed in college and careers.  We believe that educators, like students, learn by doing – as such, we designed the CIE to give both teachers and school leaders direct experience with new processes for classroom observation, feedback and support in a low‐stakes, formative setting where they can practice and hone their skills prior to the new evaluation system being implemented.  The CIE specifically states that in 2012‐13:  

School leaders will ensure that teacher development focuses on supporting all students to meet the Common Core standards. Schools will strengthen the common language and understanding of what quality teaching looks like by deepening the school community’s comprehension of Charlotte Danielson’s Framework for Teaching. Schools will select competencies relevant to teachers’ developmental needs and that most support implementation of the Common Core standards.  School leaders will conduct frequent formative classroom observations and provide teachers with formative feedback and professional development to support improved practice in identified competencies and across a common framework. 2 

 The NYCDOE conducts Children First Intensive (CFI) Institutes to build instructional and school support capacity in networks and schools through strengthening content expertise to implement the CIE.  Monthly CFI Institutes are a cross‐divisional effort designed to ensure that all network instructional staff gain a shared understanding about what constitutes quality student work and teacher practice, learn specific strategies focused on the key instructional shifts related to the implementation of the CIE, and show evidence that this learning has had a positive impact on the teachers with whom they work. Over the last two years as part of the Institute curricula, participants have engaged in deep study of the Danielson Framework to reach a calibrated understanding across the NYCDOE of what highly effective teaching looks like.  In addition, we have worked with the Danielson Group and specialists in our Division of Students with Disabilities and English Language Learners, including key staff from District 75, to create a rich array of examples and “look‐fors” to ensure that the Danielson Framework is used to appropriately support general and special educators’ evaluation and development. 

                                                            2 NYCDOE 2012‐13 Citywide Instructional Expectations: http://schools.nyc.gov/Academics/CommonCoreLibrary/About/InstructionalExpectations/default.htm 

3   

 

 On the annual NYC School Survey last spring, 83% of teacher respondents reported that they had received feedback on their practice that helped them to improve their instructional performance. In addition, 78% of NYC teachers reported that this school year they had received professional development or coaching on a research‐based rubric of teacher practice (e.g. Danielson’s Framework) and 83% of NYC teachers reported that their school leaders used a research‐based rubric of teacher practice to observe and provide teachers with formative feedback.    It is clear that as a result of CIE efforts, the vast majority of teachers across NYC have been engaged in robust job‐embedded training involving formative cycles of observation and feedback with their peers and their supervisors to support their ongoing development.    Further, over the last two years the NYCDOE has been piloting and developing a wide array of measures of student learning to be used as part of the locally‐selected measures of student learning and state growth or comparable measures components of Education Law 3012‐c.  This work includes the creation, in collaboration with the UFT, of over 35 teacher design teams and 10 lab sites.  Comprised of NYC educators, our design teams and lab sites are working with national assessment experts to create and field‐test new Common‐Core aligned performance assessments and standard rubrics for measuring student learning.  We have designed these assessments to measure the higher‐order thinking and problem‐solving skills that the Common Core Standards ask all of our students.  At the same time, we have worked with teachers, the UFT, and assessment experts to ensure that these measures yield transparent and instructionally‐valuable information that teachers can use in their classrooms to help students learn.  Finally, we are designing our measures to ensure that they yield fair and accurate measures of student growth so that teachers’ results are not adversely impacted by teaching high‐need students, including English language learners and students with disabilities. We have begun this work with the core subject areas and are committed to having new measures developed to cover teachers of all grades, subjects, and specialists. As you recently noted, the NYCDOE has embarked on a trail‐blazing effort to develop valid measures of student learning aligned to the Common Core Standards. We are happy to consider partnering with SED to make these assessments available more broadly if, as you have suggested, they could be a valuable resource in other districts across NY State.    Finally, since 2008, the NYCDOE has had a for‐stakes, multiple‐measures principal evaluation system in effect for all NYC principals which is closely aligned with Education Law 3012‐c. As part of this evaluation system (known as the Principal Performance Review or PPR), principals receive an annual quality rating on a 5‐point scale based upon measures of student learning (the NYC School Progress Report), professional goals and objectives, and a rubric of principal practice (the NYC Quality Review).  As described in the plan below, NYC has received a district variance from SED to use the Quality Review as its principal practice rubric for the purposes of Education Law 3012‐c. In addition, the NYCDOE anticipates that the locally‐selected measures of student learning component of the new principal evaluation system will be derived from metrics currently utilized on the NYC Progress Reports. Our training plan for this year builds on the many years of training and experience that our schools and educators have had with the Quality Review and Progress Reports and their use.  Highlights of NYC’s Plan Given the strong foundation the NYCDOE has built to train NYC educators in the new practices and behaviors required of Education Law 3012‐c, we are confident that we are ready to take the next steps we have been planning to bring this work to the implementation phase. The NYCDOE has strong accountability systems and communications channels in place to ensure that any issues or concerns that arise as this plan is executed will be escalated and resolved in an appropriate and timely fashion.   The plan described in this document does not include the sum total of all training and professional development experiences provided to NYC teachers, principals, and support staff.  For example, we do not include here the extensive training the NYCDOE provides on Common Core Standards, nor our extensive work to develop teacher inquiry teams in every school that collaborate to examine and ultimately improve teaching and learning in and across schools. Rather, 

4   

 

this plan is focused on the training that the NYCDOE will continue to conduct over the next six months in order to ensure that, come September 2013, all members of the system3 are ready to implement the new teacher and principal evaluation systems to support educators and improve student success.  All elements of this plan will be executed in accordance with collective bargaining agreements and will be for formative purposes until an agreement with the UFT and CSA is reached.   Key features of our plan for preparing educators for the new teacher and principal evaluation systems include: 

• For all teachers and principals, both job‐embedded professional development and dedicated training by subject matter experts on the core components of 3012‐c, including training on the teacher practice rubric and how it supports teacher development 

• A suite of professional development modules, webinars and resources for teachers, principals, assistant principals, district superintendents, and network staff to support consistent and aligned understandings of the new evaluation systems 

• Rigorous training and calibration for network staff and district superintendents on both the teacher practice rubric and the principal practice rubric 

• Continued development of and training on rigorous and authentic NYC‐developed measures of student learning that are aligned to the Common Core Standards 

 We have shared this plan and met with various stakeholders to gather feedback and input on the best manner to prepare our system, including the United Federation of Teachers (UFT), the Council of School Administrators (CSA), Educators for Excellence (E4E), talent coaches, and groups of DOE principals and teachers, some of whom are actively engaged in the NYCDOE’s low‐stakes pilot of a 3012‐c‐aligned teacher evaluation and development system. 

                                                            3 While the January 18th letter specifically asked for a plan to prepare priority and focus schools for implementation of core components of Education Law 3012‐c, this plan covers the preparation of all NYC schools. We believe it is critical for all NYCDOE schools and staff to be ready to implement new teacher and principal evaluation and development systems by September.  

5   

 

I. TEACHER EVALUATION AND DEVELOPMENT: PLAN, TIMELINE AND BUDGET   The NYCDOE has adopted the state‐approved Danielson’s Framework for Teaching, 2011 Edition to provide feedback on instruction and effectiveness in all NYC schools (including NYC priority and focus schools). NYC will adopt Danielson’s Framework for Teaching, 2013 Edition if and when SED approves this updated edition. Through the process described below, the NYCDOE will train teachers and principals on features of the potential evaluation system that are required to prepare for effective implementation of Education Law 3012‐c and Commissioner’s regulations.    To prepare for effective implementation, the NYCDOE will conduct a diverse array of professional development sessions designed for the following specific audiences: principals and assistant principals, networks and superintendents, and teachers.  We believe that audience‐specific training is important as different groups play different roles in the effective implementation of the new teacher evaluation and development system and as such require different types of information and support. In addition, we believe that all audiences should be able to receive one consistent set of information and messages about core components of 3012‐c. We have therefore created specific training opportunities with this goal in mind. Each of these areas of support is described in more depth below. The NYCDOE will design and lead trainings as well as contract with specialists that offer expertise in Danielson’s Framework, assessment, and teacher development to lead and design some training sessions and resources.  See Appendix A for the budget for this work. To most effectively prepare our system for the new educator evaluation systems, and with the understanding that the Governor is committed to imposing an evaluation system if a deal is not reached with the UFT and CSA, the NYCDOE anticipates access to SED grants that were intended to directly support implementation of 3012‐c and educator development (e.g., the Strengthening Teacher and Leader Effectiveness grant).   Throughout this section of the document, we refer to training on the “Core Components” of Education Law 3012‐c. This refers to: 

• Implementation and use of Danielson’s Framework for Teaching and Teaching Standards • Observation process expectations (e.g., supervisory feedback to teachers) • Implementation and use of student feedback surveys • Implementation and use of locally‐selected measures of student learning4 • Implementation and use of state growth or comparable measures, including SED‐generated student growth 

model results • Processes to score student work and ensure test security • Implementation and use of data systems and an overview of data requirements relevant to 3012‐c (including 

processes for verifying teacher‐student linkage)  • Overview of the scoring methodology utilized by SED and the NYCDOE to evaluate a teacher under 3012‐c • Specific considerations in evaluating teachers of English language learners and students with disabilities 

                                                            4 In the absence of a collective bargaining agreement with the UFT, the DOE will be limited in its ability to train educators on specific details of the locally‐selected measures of student learning (e.g., which measures will be implemented for teachers of different grades and subjects). 

6   

 

1) Training for Teachers Timeline: March 1, 2013 – first day of school 2013 Education Law 3012‐c provides opportunities for teachers, at all stages of their career, to improve their instructional skills and develop as professionals. By articulating, and targeting support, around a common language and vision of quality teaching, we expect that the new evaluation and development system will significantly help teachers develop as individuals and, through increased educator collaboration and professional exchange, support each other’s learning. To prepare teachers for the implementation of the new evaluation system, the NYCDOE will design a number of opportunities for teachers to receive direct professional development on the Core Components of 3012‐c, focused on their development and improvement as educators. We have created opportunities for teachers to receive training from both subject matter experts in 3012‐c and teacher development as well as their own school, network, and district leaders. In addition, all teachers will have access to a variety of online professional development modules which they can access “anytime/ anywhere” to dive deeper into components of the evaluation and development system, tailored to their specific skills and needs.   a) Job‐Embedded Professional Development The NYCDOE believes that teachers learn best from professional development that is embedded in their everyday work as educators and delivered by the school leaders who are most knowledgeable about their skills and experiences.  When teachers’ professional development is conducted in this way, school leaders can differentiate and customize training to best meet individual teachers’ needs. School‐based learning experiences that engage teachers in professional conversations with their peers and administrators about high‐quality teaching foster both a professional community and shared learning and support.  Teachers will participate in a series of school‐based professional development workshops and learning experiences designed to prepare them for the implementation of the new evaluation and development system. This will include training on the Core Components of 3012‐c and how the new system will support their growth and development as professionals.  In addition, as described earlier, through the Citywide Instructional Expectations training over the last three years, teachers will gain hands‐on experience with the new system by engaging in formative cycles of observation and feedback aligned to the Danielson Framework in their schools with their school leaders. We estimate that teachers across the system will spend an aggregate of at least 450,000 hours of time engaged in job‐embedded professional development.  The NYCDOE will design professional development modules to support schools in conducting job‐embedded professional development. Modules will be differentiated to enable schools to focus on different topics based on the needs of their schools and their educators. The modules will include ample videos of teacher practice for staff to analyze and reflect on as well as detailed facilitator guides with flexible training activities that include both probing questions and facilitator answers.   Networks will support schools in designing and conducting these trainings as needed. In addition, experienced NYC talent coaches will personally lead two (2) hours of professional development for teachers in schools in need of additional support. The NYCDOE will work with networks to identify schools where additional professional development would be the most helpful. Talent coaches will work with school leaders on the design of these training sessions to ensure that they appropriately complement other training provided to teachers.    b) Standardized Central Trainings for Teachers The NYCDOE will conduct an array of additional trainings for teachers who need more support or who plan to take a leadership role in their schools.  These training sessions have been designed to supplement the job‐embedded professional development described above to cover all geographic locations and teacher skill levels so as to ensure that no educator falls through the cracks and does not receive appropriate training in this work.   

7   

 

Trainings will be conducted outside of schools and will help teachers understand the Core Components of 3012‐c and how it is designed to support teacher development.  In particular, these trainings will focus on collaborative engagement around Danielson’s Framework and its role in conducting fair and accurate classroom observations and providing useful feedback and support to teachers.  The NYCDOE will hold four types of trainings: 

• Superintendents, working with subject matter experts in 3012‐c and teacher development, will lead training sessions for teachers in their district. These trainings are open to all teachers in the district and will provide opportunities for teachers to engage in substantive conversations with superintendents and subject matter experts around 3012‐c implementation and its meaning for the daily experiences and development of teachers.  

• School‐based instructional leaders from across the NYCDOE—principals, assistant principals, and school‐based coaches who have demonstrated skill in teacher development and strong experience in utilizing the Danielson Framework in the observation, feedback, and support process—will  deliver in‐person training sessions in each borough. 

• The Danielson Group, led by Charlotte Danielson the designer of the teacher practice rubric Framework for Teaching, will partner with the DOE to offer professional development sessions for a minimum of two teacher leaders per school this summer. The Danielson Group, a nationally‐renowned organization which supports teacher development and evaluation in districts throughout the country, has worked closely with the NYCDOE over the last three years in the design of our pilot and citywide training. Notably, the NYCDOE has collaborated with the Danielson Group to develop examples of what to look for across program and service delivery models. 

• Subject matter experts in 3012‐c and teacher development will conduct trainings for one school team from each NYC school. School teams will be comprised of the principal, an assistant principal, the UFT chapter leader, and an additional teacher leader from the school. These trainings support shared understandings about the new evaluation system between teachers and school leaders and support dissemination of learnings to school communities (see section 2 below for more information). 

 c) Training on State Growth and Comparable Measures   The NYCDOE will conduct professional development sessions for teachers and school leaders specifically on the state growth and comparable measures. Led by network specialists, these training will be offered to a minimum of one teacher and one school leader per school. During the training, participants will have the opportunity to learn about and engage in professional exchanges on the following topics:  

• Understanding which measures of student learning will be used for teachers of different grades and subjects and what steps need to be taken to implement and score new assessments. NYCDOE will provide tools and guidance documents (e.g., checklists, “decision trees”) to help teachers and school leaders implement state growth and comparable measures in their schools.    

• Discussion of the NYCDOE’s efforts to develop measures of student learning that are fair, reliable, accurate, transparent, instructionally valuable, and aligned to the Common Core Standards. 

• Discussion of SED’s growth scores (for teachers of grades 4‐8 ELA and math), including details of how growth model results are calculated, how to read and interpret reports and growth scores, and how to discuss results with teachers and use these data to inform staffing and instructional decision‐making in schools. 

• Discussion of how state exams (other than grades 4‐8 ELA and math) will be used to measure teachers’ contribution to student learning, including the construction and implementation of baseline measures; the calculation and interpretation of HEDI ratings, targets and expectations; and how these data can be used to support instructional improvement. 

• Discussion of comparable measures of student learning for teachers who do not teacher courses leading to state exams, including relevant assessment administration protocols, the calculation and interpretation of HEDI ratings, targets and expectations; and how these data can be used to support instructional improvement. 

• A review of assessment security and scoring protocols. • The relationship between student‐teacher linkage data and state growth and comparables measures, including 

how to support strong data tracking and verification practices.  d) Learning Management System  

8   

 

All teachers will have access to an extensive set of resources available on the NYCDOE’s learning management system to further help teachers grow and develop. As of today, this includes over 25 multi‐media training modules aligned to the teacher practice rubric which enable teachers to customize their learning based on the rubric areas where they would like to further develop their practice. Our learning management system also includes a collection of videos of classroom practice that are organized by grade band and subject area. See Appendix B for a list of modules currently available on our system.  e) Interactive Webinars The NYCDOE will host live webinars for teachers over the summer.  The webinars will be hosted by trained facilitators that will be able to answer questions and lead teachers through guided activities. Webinars will focus on high‐leverage teaching strategies, which will include video examples of effective and highly effective practice by grade band for specific components of the teacher practice rubric.  Webinars will be recorded and related materials will be posted online for teachers to view at their convenience.   ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐   

9   

 

2) Training for Principals and Assistant Principals  Timeline: February 15, 2013 – August 31, 2013 The NYCDOE will provide principals and assistant principals with comprehensive professional development and resources. The training detailed below is designed with the belief that both job‐embedded training and structured professional development sessions are critical for ensuring that school leaders are prepared to fairly implement the new evaluation system and be effective instructional leaders in their schools. We learned in the course of the pilot that when training sessions are offered for principals together with other members of their school’s instructional leadership, we better assure effective transfer of that information back to the broader school community.5  For the purpose of 3012‐c requirements concerning the “certification” of individuals who are evaluating teachers, “lead” evaluators are defined as principals only. To be certified, all lead evaluators must participate in the below training and the informational webinars described below, as well as additional differentiated support with a calibrated talent coach based on need.  All lead evaluators will follow a similar certification process annually to ensure ongoing inter‐rater reliability.   a) Job‐Embedded Support Talent coaches, shadowed by network staff, will provide job‐embedded training to principals and their APs.  Talent coaches are calibrated on the Danielson Framework and have received extensive training in the observation and feedback process. All schools will receive approximately seven (7) hours of job‐embedded training consisting of two half‐day visits from a talent coach. The goal of these sessions is to provide hands‐on support to principals and their administrative teams in using the teacher practice rubric and providing teachers with effective feedback to support their growth. These visits will include: 

• Rubric practice: School leaders will work with talent coaches to align sample classroom evidence to the Danielson Framework and practice evidence‐gathering techniques. 

• Co‐observations of teachers with talent coaches and school leaders using the Danielson Framework: To help norm school leaders on the rubric, co‐observations of teachers will be conducted and followed by discussions between school leaders and talent coaches about the alignment of rubric ratings and evidence used when making rating determinations. 

• Feedback on instruction: Talent coaches will support school leaders in modeling and practicing providing effective feedback on instruction to teachers, aligned to the teacher practice rubric. 

• Planning for teacher support: Talent coaches will review resources available for school leaders to use when helping teachers to improve, both individually and in groups. 

 b) Standardized Central Training  The NYCDOE will hold in‐person professional development sessions this spring for principals covering the Core Components of 3012‐c. Principals are encouraged to invite one assistant principal from their school. As part of these sessions, principals will be offered the opportunity to receive training on the professional development modules that the NYCDOE designed to help school leaders build their teachers’ understanding of the new teacher evaluation and development system (see above section). Principals will also have the opportunity to hear from central staff at a full‐day professional development session known as the Chancellor’s Principal Conference. Held on a Saturday in May, this session will provide an opportunity for central and network staff to come together with every principal in NYC to discuss critical topics including teacher evaluation and development in both large‐ and small‐group settings.  The NYCDOE will also hold training sessions, led by network specialists, specifically on the state growth and comparable measures of student learning for a minimum of one school leader and one teacher from every NYC school (see section 1 above).  c) Training for School Teams The NYCDOE will hold a training day for school teams.  This training day will be provided to all schools in NYC.  The school team will be comprised of the principal, an assistant principal, the UFT chapter leader, and an additional                                                             5 Some elements of the implementation plan are optional for schools that have participated in NYC’s pilot of the teacher evaluation system given the significant training that they have already received.  

10   

 

principal‐selected teacher from the school. We will also offer training slots for CSA and UFT staff to participate alongside the schools. Training topics will include: 

• Intensive training and calibration on the teacher practice rubric. This training will use a) video of classroom instruction to practice gathering evidence during observations and b) sample student work and assignments to practice assessing quality and rigor of instructional materials and outcomes. During calibration work, participants will be “normed” on the rubric and become familiar with the different proficiency levels for each component of the rubric. 

• Cultural changes required within a school to facilitate a supportive environment in which to foster teacher development, with descriptive examples derived from NYC school experiences 

• Review of materials and strategies to support school teams in sharing training information with their colleagues ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ 

11   

 

3) Training for Networks and Superintendents Timeline: September 1, 2012 – August 31, 2013 In NYC networks are responsible for providing on‐going training and guidance to school‐based staff on all operational and instructional matters, including the implementation of the new teacher evaluation and development system.  Superintendents provide additional support to schools, in particular given their role as principal supervisors. We have learned from past experience that the most effective way for the NYCDOE to assure that networks and superintendents have strong understandings of and up‐to‐date information on critical subject matter is for the NYCDOE to provide them with a blend of the following supports: 1) direct, in‐person professional development offerings, 2) an array of NYCDOE‐constructed professional development modules and supplemental resources that aid networks in delivering training directly to their schools, and 3) intensive job‐embedded training from subject matter experts on critical areas of work.  Using all of these types of support, the NYCDOE has been working with networks and superintendents since September (and earlier) to help prepare them for the implementation of a new teacher evaluation and development system.  a) Standardized Central Training  The NYCDOE holds monthly professional development sessions for network staff and superintendents.  The NYCDOE has and will continue to include in these sessions training on the Core Components of 3012‐c and how evaluation and development can and should be integrated into the core instructional work of schools.  Importantly, networks assist and support schools in all instructional areas: the transition to the Common Core Standards, how to engage in meaningful data‐driven instruction and decision‐making, the adoption and implementation of core curriculum, and the identification, cultivation, and retention of talented educators.  NYCDOE‐led training sessions are designed with the premise that high‐quality training and support in these key areas of teaching and learning must be integrated – networks and superintendents must be able to help schools understand, align, and simultaneously execute these components of effective instruction.  As part of their training, participants watch videos of teaching practice, engage in calibration exercises aligned to Danielson’s Framework, craft high‐quality feedback, identify next steps for teachers, and discuss coaching moves to implement with teachers and school leaders.  In addition to the hands‐on work done during the trainings, participants are asked to engage in on‐the job exercises to assess quality of teacher work and students work and bring the results of these assessments back to the next training session to understand how knowledge is being applied and to correct any misconceptions.  The NYCDOE will also provide network instructional staff with one intensive day of training on all state growth and comparable measures components.  This training will be a continuation of trainings started in the fall with network leaders and will strengthen the network team’s understanding of the creation of these measures, their implementation, interpretation, and use to support teacher development. Additionally, we will continue to provide training and resources on student‐teacher linkage data requirements and associated verification efforts for network data specialists to assist them in supporting schools and teachers.  b) Professional Development Modules and Resources  The NYCDOE will design professional development modules and training resources (e.g., facilitator guides, multimedia toolkits) for the purpose of turnkey trainings on the Core Components of 3012‐c. Networks and superintendents will be given training in modules designed for the following purposes: 

• Networks to use as part of their individualized professional development offerings with principals and teachers • Superintendents to use with subject matter experts in 3012‐c and teacher development as part of their district‐

led training for teachers (see section 1 above) • Principals to use with their teachers to help build their understanding of the new teacher evaluation and 

development system, as well as to support teachers’ understanding of effective and highly effective practice  

12   

 

NYCDOE will design dedicated modules on both the teacher practice rubric and the state growth and comparable measures for all three of these purposes. The modules will also include practice across a variety of program and service delivery models that address the needs of students with disabilities and English language learners.  c) Teacher Effectiveness Intensives (TEI) Network instructional staff will have participated in at least one 2‐3‐week cycle of intensive training from September to March.  As part of this training, network instructional teams received dedicated training on how to support schools in using the Danielson Framework for teacher evaluation and development.  In the first part of the cycle, network staff participated in training similar to what school leaders receive as described in 2b above. Specifically, network staff: 1) practiced evidence‐gathering techniques as part of classroom observations, 2) conducted co‐observations of a video example of classroom practice, 3) engaged in simulated practice in the form of role‐plays focused on providing teachers with helpful feedback, aligned to the teacher practice rubric and based on evidence gathered in the co‐observations, and 4) practiced developing plans for instructional improvement.   Over the course of the cycle, network staff received job‐embedded support from trained talent coaches focused on how to best support school leaders in conducting observations and providing meaningful feedback to help teachers develop. This was achieved by talent coaches and network staff visiting schools together.  In these visits, talent coaches guided network staff through the process of working with school leaders to use the teacher practice rubric and provide feedback to teachers in the context of authentic classroom observation. Talent coaches and network staff then debriefed the visit by reviewing and reflecting on their experiences and specific actions that talent coaches took to ensure that the process was fair, accurate, and supportive of educators.   d) Network Specialist Training One (1) week of intensive training from the NYCDOE on Core Components of 3012‐c and teacher development and support will be offered for one network specialist for each network team. The intent of this training is to provide key network staff with a breadth and depth of information, above and beyond what is described above, to serve as a resource to colleagues in their networks as well as to the schools they support.  ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ 

13   

 

4) Training for All Audiences  

Timeline: March 1, 2013 – August 31, 2013 The NYCDOE will provide the following training to all NYCDOE audiences. “All audiences” includes all NYCDOE teachers, principals, assistant principals (APs), superintendents, network leaders and instructional staff. These trainings are designed to ensure consistent and clear communications across all levels of the system about core components of the new teacher evaluation and development system. They are also designed to ensure educators have direct and timely standardized support and answers to their questions: these resources are accessible to all members of the school community at anytime they need to utilize them.    a) Informational Webinars The NYCDOE will host webinars covering basic information about the core Components of Education Law 3012‐c. Live webinars will provide educators with an opportunity to ask and get answers to their questions about the evaluation and development system.  Recorded copies of the webinars will be available for all staff to access. The webinars will also outline training that different audiences will receive (as described in the above sections).    b) Help Desks The NYCDOE will form help desks to answer questions and direct members of the NYC school community to information and resources about all aspects of the evaluation system. These help desks will be available to principals, APs, teachers, data specialists and assessment coordinators, network staff, and superintendents.  The help desks will be fully operational later this spring and will be accessible year‐round, by both telephone and email.    c) Online Resources & Supplemental Trainings All audiences will have access to an extensive set of online resources about the Core Components of 3012‐c available on the NYCDOE’s public websites, intranet, and learning management systems. In addition, the NYCDOE will provide trainings throughout the spring and summer that focuses on specific aspects of the evaluation and development system.  These trainings sessions will include optional meetings for various audiences to attend to gain greater understanding of specific areas of work such as measures of student learning and student feedback surveys. The NYCDOE will create one dedicated website where information about 3012‐c training is available and updated on a regular basis. ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐    

14   

 

II. PRINCIPAL EVALUATION AND DEVELOPMENT: PLAN, TIMELINE AND BUDGET  The NYCDOE has adopted the NYC Quality Review to provide feedback on instruction and effectiveness in all NYC schools (including NYC priority and focus schools). SED granted the NYCDOE a district variance to use the NYC Quality Review as an approved principal practice rubric for purposes of Education Law 3012‐c principal evaluation. Through the process described below, the NYCDOE will train principals and evaluators on features of the potential evaluation system that are required to prepare for effective implementation of Education Law 3012‐c and Commissioner’s regulations.    To prepare for effective implementation, the NYCDOE will conduct a diverse array of professional development sessions designed for the following specific audiences: principals, networks, and superintendents.  We believe that audience‐specific training is important as different groups play different roles in the effective implementation of the new principal evaluation and development system and as such require different types of information and support. In addition, we believe that all audiences should be able to receive one consistent set of information and messages about core components of Education Law 3012‐c – we have therefore also created some training opportunities specifically with this goal in mind. Each of these areas of support is described in more depth below. See Appendix A for the budget for this work.    Throughout this section of the document, we refer to training on the “Core Components” of Education Law 3012‐c. This refers to: 

• Implementation and use of the NYC Quality Review and Leadership Standards • Observation process expectations  • Implementation and use of locally‐selected measures of student learning • Implementation and use of state growth or comparable measures, including SED‐generated student growth 

model results • Implementation and use of data systems and overview of data requirements relevant to 3012‐c  • Overview of the scoring methodology utilized by SED and the NYCDOE to evaluate a principal under 3012‐c • Specific considerations in evaluating principals of English language learners and students with disabilities 

     

15   

 

1) Training for Principals Timeline: March 1, 2013 – first day of school 2013 Training for NYC principals on Education Law 3012‐c and its components builds on significant work the NYCDOE has conducted over the last six years to develop deep understandings among our school leaders about the Quality Review and Progress Reports and how they are used to support school and leadership improvement. Over the next six months, the NYCDOE will design a number of additional opportunities for principals to get direct professional development on the Core Components of 3012‐c. We have created opportunities for principals to receive training from both subject matter experts on 3012‐c and leadership development as well as their networks and superintendents. The NYCDOE believes it is important that principals are able to receive accurate and current information about the new evaluation system while at the same time benefiting from training that is contextualized within their school community and delivered by those who are primarily responsible for supporting their development. In addition, all principals will have access to a variety of online professional development modules which they can access “anytime/ anywhere” to dive deeper into specific components of the evaluation and development system.   a) Network‐Led Professional Development Networks will provide principals with training on the Core Components of 3012‐c. The NYCDOE will design professional development modules specifically for this purpose. As described in the above section, networks will receive training on the delivery of these modules. These modules will include videos and a detailed facilitator guide with suggested training activities and probing questions and answers.    b) Standardized Central Training The NYCDOE will lead in‐person training sessions for principals on the Core Component of 3012‐c. Sessions will be scheduled at times that are convenient for principals’ schedules. In particular, these sessions will be focused on providing principals with a strong overview of the new evaluation and development system, opportunities to learn about and provide feedback on the NYC Progress Reports, and a focused examination of the principal practice rubric. ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐    

16   

 

2) Training for Superintendents  Timeline: September 1, 2012 – August 31, 2013 The NYCDOE will provide superintendents with the following professional development and resources.  The below training is premised on the belief that both hands‐on training as well as structured professional development sessions are critical for ensuring that superintendents are prepared to implement the new evaluation system and support principals’ development.   For the purpose of 3012‐c requirements concerning the “certification” of individuals who are evaluating principals, “lead” evaluators are defined as superintendents only. To be certified, all lead evaluators must participate in the below NYCDOE‐led training and the informational webinars described below.  Lead evaluators must engage in the norming and calibration training described below.  All evaluators will follow a similar certification process annually to ensure ongoing inter‐rater reliability.   a) Standardized Central Training The NYCDOE holds monthly in‐person professional development sessions for superintendents.  Trainings this spring will continue to build on those superintendents have already received to cover all Core Components of 3012‐c.  As part of the monthly training sessions, superintendents also receive direct instruction and engage in case‐based activities that examine effective principal leadership, school academic success, and challenges among teachers and/or the student population. In addition, superintendents have been and will continue to be trained on data analysis and interpretation, coaching, and capacity‐building to ensure that they understand how these components promote strong leadership and management practices.  b) Quality Review Norming and Calibration Superintendents will receive extensive training on the NYC Quality Review. The goal of this training is to provide hands‐on support to supervisors in using the principal practice rubric to conduct school visits and providing accurate ratings and reports that can be used to support school and leadership improvement. Superintendents are trained in the following ways.    For superintendents new to the role, the minimum training they participate in prior to an independent evaluation is:  

• A training on the Quality Review rubric  • A training on the Quality Review process and protocols  • A training on the Quality Review writing protocols  • A shadow review w/opportunities to de‐brief, question and norm with an experienced reviewer  • A mentored review, where an experienced reviewer oversees facilitation and writing of a review, with 

opportunities to de‐brief, question and norm  • “Desk duty” calls for an evaluator’s first three independent reviews, where they must speak with an experienced 

reviewer and calibrate evidence to ratings prior to delivering provisional feedback to school leaders  Superintendents participate in a minimum of seven (7) training days a year (if new, in addition to the above). These trainings are focused on the calibration of rubric indicator scoring and writing of feedback. In addition, in order to ensure that feedback to schools is rubric‐aligned and accurately scored, there is a two‐three step quality‐assurance process that includes:  

• Desk duty calls for the first review of the school year and any school where the provisional score is likely to be particularly high or low  

• A read of the first draft (by a Quality Review Director or trained consultant) that vets the report for alignment to rubric language and appropriate scoring of evidence presented  

• As needed, a read of the second draft (by same Quality Review Director or trained consultant) to review revisions to first draft and to ensure high levels of alignment to rubric language and appropriate scoring of evidence presented  

17   

 

3) Training for Networks  Timeline: September 1, 2012 – August 31, 2013 In NYC, networks are responsible for providing on‐going training and guidance to school‐based staff on all operational and instructional matters, including the implementation of the new principal evaluation and development system.  In particular, networks are responsible for ensuring that principals understand the Quality Review rubric and process, as well as supporting implementation of best practices aligned to the Quality Review indicators. We have learned from past experience that the most effective way for the NYCDOE to assure that networks and superintendents have strong understandings of and up‐to‐date information on critical subject matter is for the NYCDOE to provide them with a blend of the following supports: 1) direct, in‐person professional development offerings, 2) an array of NYCDOE‐constructed professional development modules and supplemental resources that aid networks in delivering training directly to their schools, and 3) intensive job‐embedded training from subject matter experts on critical areas of work.  Using all of these types of support, the NYCDOE has been working with networks and superintendents since September (and earlier) to help prepare them for the implementation of a new principal evaluation and development system.  a) Standardized Central Training The NYCDOE holds monthly professional development sessions for network staff where they receive in‐person training on Core Components of 3012‐c. One component of this training is how principal evaluation and development can and should be integrated into the core instructional work of schools. Regarding the locally‐selected measures of student learning, the NYCDOE anticipates that these measures will be derived from metrics currently utilized on the NYC Progress Reports.  Networks will be invited to participate in feedback sessions about the Progress Reports this spring (this is in addition to extensive training they have received on the Progress Reports over the last six years).  These sessions are an opportunity to further educate networks about these metrics and solicit their input.    b) Professional Development Modules and Resources  The NYCDOE has designed professional development modules and training resources (e.g., facilitator guides, multimedia toolkits) to turnkey training about the Core Components of 3012‐c. Networks will be given training in modules designed for networks to support training on the new principal evaluation and development system and ongoing professional development. Module topics will include: 

• A review of the principal practice rubric, including how it is used to evaluate strong management, leadership and instructional practices 

• Detailed review of specific rubric indicators, including “look‐fors”  • Detailed review of both the locally‐selected measures of student learning and the state growth or comparable 

measures  c) Quality Review Intensive Support The NYCDOE holds professional development sessions for networks specifically on the NYC Quality Review two to three times a year. Every year, networks conduct low‐stakes reviews of schools using the rubric and create reports that are read by the central office Quality Review team for quality assurance. Networks’ understanding of and facility with the rubric is developed through the feedback they receive on alignment of evidence and ratings to the practices they observe in a school community.   ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐    

18   

 

4) Training for All Audiences  Timeline: March 1, 2013 – August 31, 2013 The NYCDOE will provide the following training to all NYCDOE audiences. “All audiences” includes all NYCDOE principals, superintendents, network leaders and instructional staff. These trainings are designed to ensure consistent and clear communications across all levels of the system about core components of the new principal evaluation and development system. They are also designed to ensure educators have direct and timely support and answers to their questions: these resources are accessible to all members of the school community at anytime they need to utilize them.    a) Informational Webinars The NYCDOE will host webinars covering basic information about the Core Components of Education Law 3012‐c. Live webinars will provide educators with an opportunity to ask and get answers to their questions about the evaluation and development system.  Recorded copies of the webinars will be available for all staff to access. The webinars will also outline training that different audiences will receive (as described in the above sections).    b) Help Desks The NYCDOE will form help desks to answer questions and direct members of the NYC school community to information and resources about all aspects of the evaluation system. These help desks will be available to principals, data specialists and assessment coordinators, network staff, and superintendents.  The help desk will be accessible year‐round, by both telephone and email.    c) Online Resources & Supplemental Trainings All audiences will have access to an extensive set of online resources about the Core Components available on the NYCDOE’s public websites, intranet, and learning management systems. In addition, the NYCDOE will provide trainings throughout the spring and summer that focuses on specific aspects of the evaluation and development system.  These trainings sessions will include optional meetings for various audiences to attend to gain greater understanding of specific areas of work such as the locally‐selected measures of student learning and the principal practice rubric. The NYCDOE will create one dedicated website where information about 3012‐c training is available and updated on a regular basis. ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐