Унапређење образовних постигнућа ученика кроз интерну и екстерну евалуацију и професионалну сарадњу наставника

Abstract

Квалитет образовања се одражава у степену развоја капацитета младих који се темељи на развоју компетенција и вештина које су потребне за лични развој и активно учешће у друштву. Земље које подржавају социјалну инклузију, једнакоправност, запошљавање, иновацију и компетитивност усмерене су на обезбеђивање квалитетног образовања за своје грађане. Стога је начин унапређења квалитета образовања, посебно на нивоу школе, једна од кључних тема у психологији образовања, али и основа за велики број образовних реформи које се у континуитету спроводе. Почев од 2000. године, у Србији су развијани механизми осигурања квалитета засновани на јасно дефинисаним стандардима и процедурама евалуације који служе у сврху континуираног унапређења развоја система или образовне установе (нпр. интерна и екстерна евалуација школа, стручно усавршавање наставника и др.), који се имплементирају ради осигурања квалитета рада школа како би се обезбедио бољи квалитет наставе и учења који би омогућио ученицима да остваре виша образовна постигнућа. Иако постоје бројна истраживања о начину како се може унапредити квалитет наставе и учења на нивоу школе, постојећа сазнања остављају бројна отворена питања (нпр. на који начин наставник а на који школа доприносе унапређењу квалитета наставе и учења; како карактеристике школе, а како карактеристике интервенције доприносе успеху; у којој мери су сарадња и хоризонтално учење унутар школе важни за унапређивање квалитета наставе и учења и образовних постигнућа ученика и др.). Зато се намеће потреба да се спроведе истраживање у циљу преиспитивања постојања њихове удружене примене и утицаја на развој школе и постигнућа ученика, као и услови у којима они постају ефектни. v У раду је описано спроведено истраживање које је имало за циљ да утврди начин деловања екстерне евалуације на унапређивање школе, као и да измери ефекте примене посебно осмишљеног модела подршке школи усмереног на изазивање промене у образовној пракси наставника која треба да резултира повећањем постигнућа ученика. Модел подршке, као и истраживање у целини, конципиран је у окриљу социјално-конструктивистичког приступа учењу и теоријама промене. У истраживању је коришћена мeтoдoлoгиja мeшoвитoг типa која обухвата комбинацију квантитативног и квалитативног истраживања, а истраживање је дизајнирано као експеримент са поновљеним мерењем који укључује експерименталне и контролне групе школа. У истраживању је учествовало 20 основних школа које према резултатима екстерне евалуације нису оствариле задовољавајући ниво квалитета у области Настава и учење (горњи ниво остварености био је мањи од 2,90 на лествици од 4). Школе су биране по принципу случајног узорка унутар административних јединица ресорног министарства и случајним избором им је додељен статус експерименталне или контролне школе. У 10 школа је спроведена експериментална интервенција коју је чинио посебно дизајниран програм рада са наставницима (тзв. програм подршке). Програм је чинио низ активности усмерених на оснаживање наставника за евалуацију образовних постигнућа ученика и реализацију наставе која обезбеђује конструкцију знања. Ради остварења жељене промене у постојећој пракси наставника, програм је креиран тако да уз помоћ ментора школе подстакне трансформативно учење кроз јачање рефлексивне праксе путем вођене партиципације, ситуационог учења и хоризонталне евалуације. Програм је такође дизајниран тако да олакша развој заједнице учења унутар школа и између школа и подстакне колаборативно учење у оквиру кога наставници преиспитују постојећу праксу и ко-конструишу знања која доводе до унапређивања рада и повећања постигнућа ученика. Школе су имале препоруку да изаберу партнерску школу са којом би сарађивале у току програма. Утврђивање ефеката програма засновано је на провери успешности ученика. Напредак је утврђен на основу израчунавања статистичке значајности разлика vi просечних постигнућа на улазном и излазном тесту из математике, остварених у експерименталној школи на почетку и крају интервенције, као и разлика просечних постигнућа између експерименталне и контролне школе на улазном и излазном тесту из математике. Напредак целокупне школе процењиван је и на основу разлике постигнућа ученика експерименталних и контролних школа на завршном испиту у две узастопне школске године. Добијени резултати показују да је у школама у којима је примењена интервенција уочен напредак у постигнућима ученика на тесту из математике, који је у просеку виши у односу на напредак у контролним школама. Тако је у 9 од 10 експерименталних школа уочен напредак између два тестирања унутар школе. У 7 експерименталних школа забележено је повећање просечних постигнућа ученика на тесту из математике у односу на контролне школе, али је на 3 утврђена статистичка значајност. Успех школа остварен на тестовима из математике у експерименталном процесу поновљен је на завршном испиту, тако да је 7 школа показало повећан успех на тесту из математике на завршном испиту. Поред тога, забележен је раст просечног скора из других предмета који су се полагали на завршном испиту, а које предају наставници који су учествовали у програму интервенције и такви резултати заслужују посебну пажњу. Тако је од 10 школа 8 показало напредак на комбинованом тесту и 5 на тесту из српског језика. Укупно гледано, 4 експерименталне школе су имале значајно већа постигнућа ученика на сва три предмета у поређењу са контролном групом. Резултати су показали, такође, да се у оквиру групе контролних школа налазе две школе које се посебно истичу са оствареним резултатима, чиме су умањиле значај напредовања експерименталнe школе са којима су чиниле пар. Утврђивањем статистичке значајности разлика просечних постигнућа школе су категорисане по успешности у три групе (успешне, делимично успешне и неуспешне). У квалитативном делу истраживања разматрана је социјална динамика која се дешавала у току примене програма интервенције у овим групама. За боље разумевање процеса изабране су четири школе које су биле типични представници група и то две школе (експериментална и контролна) из групе успешних школа и по једна школа из групе делимично успешних и неуспешних школа. Оне су описане као vii студије случаја које су разматрале природу друштвених процеса у ситуацијама креирања знања, иновације и промене, као и наставнике који представљају носиоце развоја и који представљају главне актере у тим процесима заједно са својом културом, претпоставкама и вољом. Посебна пажња је посвећена начинима трансформације праксе имајући у виду перспективе теорија образовних промена и културално-историјске теорије активности.У том поступку утврђено је да школе које су веома напредовале и за једну школску годину оствариле значајне резултате у вези са постигнућима ученика на излазном тесту и тестовима на завршном испиту, одликују следеће карактеристике: запослени су склони преиспитивању сопствене праксе, позитивно су оријентисани на промене, прихватају одговорност за постигнућа ученика и мотивисани су да унапреде рад; прихватају резултате екстерне евалуације и користе их за планирање; формирају професионалну заједницу учења на нивоу школе која подржава интерну евалуацију и кроз професионалну сарадњу унапређује рад; примењују делове програма и опажају настале промене које и ученици препознају; организују допунску и додатну наставу, имају директора којег одликују лидерске карактеристике, јаку стручну службу и подршку просветног саветника. Поједине школе у овој категорији су имале и спољни подстицај у виду опадања броја уписаних ученика, што по њима представља претњу за школу у будућности. Резултати су, такође, показали да је преко 80% наставника по свим димензијама позитивно оценило програм, а најзадовољнији су били подршком ментора и сарадњом са колегама. Степен задовољства, веровања у могућност утицаја на рад и перцепција промена били су повезни са величином школе и предметом који наставник предаје. Без обзира на успешност школе на излазном тесту из математике, наставници математике су радили као независна заједница праксе унутар школе и показали специфичан однос према програму који изискује посебну пажњу у будућности. Разултати показују и да је у осам школа које су изабрале партнерску школу за сарадњу остварена минимална сарадња. Експерименталне школе више су биле viii окренуте ка „унутра“ у покушају да сарађују и изазову промену, него ка школама које су изабрале за партнерску сарадњу. Резултати су показали да у школама које су на екстерној евалуацији имале ниво остварености стандарда у настави и учењу мањи од 2,90, екстерна евалуација школе изазвала је промене на нивоу организације рада установе. Кључни налаз ипак показује да до ефективних промена, које доводе до унапређивања квалитета наставе и учења и подизања образовних постигнућа ученика, долази у условима када је екстерна евалуација школе праћена адекватном подршком запосленима која је уобличена у програму стручног усавршавања. Такав програм је засниван на идејама културално-историјске теорије активности и теорија промена у образовању и подржава интерну евалуацију, активну партиципацију наставника и њихово колаборативно учење о томе како да унапреде наставу и учење које ће произвести већа образовна постигнућа ученика. Програм подршке школи био је осмишљен и имплементиран од стране креатора образовних политика, примењен у току једне школске године и у условима незадовољства просветних радника (штрајк). Иако је реализовано у отежаним условима, ово истраживање је показало: (а) да је могуће унапредити квалитет наставе и учења на нивоу школе уз помоћ програма заснованог на конструктивистичком приступу учењу (б) да су ефекти екстерне евалуације значајно већи уколико се комбинују са пружањем стручне подршке школама које не показују довољан ниво остварености стандарда, (в) да ефекти пружања подршке школама у великој мери зависе од контекста (унутар и ван школе), (г) да су налази сагласни са предвиђањима социо-конструктивистичких теорија и теорија промене и да сугеришу да је стварање заједнице учења на нивоу школе кључни механизам позитивне промене.

Education quality is reflected in the level of youth capacity building which is based on the development of competences and skills needed for personal growth and active participation in the society today. Countries that support social inclusion, equality, employment, innovation and competitiveness are focussed on assuring quality education for their citizens. The way to improve education quality, especially at the school level, is therefore one of the key themes in educational psychology, but it is also a foudation for a large number of educational reforms which are continuously implemented. As from 2000 quality assurance mechanisms have been developed in Serbia on the basis of clearly defined standards and procedures of evaluation which serve the purpose of continuous improvement of the system or educational institution development (i.e. internal and external school evaluation, professional teacher development, etc.). These are implemented in order to assure quality of school practices and to provide better teaching and learning quality which enable students to reach higher educational achievements. Although there are numerous research studies on how teaching and learning quality can be improved at the school level, current findings leave many issues open (i.e. how the teacher(s) and the school contribute improvement of teaching and learning quality; how the school features contribute students’ success and how specific intervention features may contribute the latter; to what extent cooperation and horizontal learning within the school are important for the improvement of teaching and learning quality and students' achievements, etc.). All these factors create a foundation for a study which explores their joint application and the impact on school development and students' achievements, as well as the conditions under which they become effective. x The paper describes the conducted research study whose aim was to determine how external evaluation affects school improvement, as well as to measure effects of the application of a specifically designed school support model focussed on inducing changes in teacher educational practice which should result in an increasing students' achievement. The support model, as well as the research study as a whole, was conceived under the social constructivist learning approach and theories of change. The research study used a mixed methodology design that includes a combination of quantitative and qualitative research, and the research study was designed as an experiment with repeated measurement which which included experimental and control school groups. The research study included 20 elementary schools which, in reference to the external evaluation results, did not achieve a satisfactory quality level in the Teaching and Learning domain (the upper level of accomplishment was lower than 2.90 on a scale with a maximum value of 4). The schools were randomly selected within the administrative units of the line ministry and they were randomly assigned the status of an experimental or a control school. In 10 schools the experimental intervention was carried out consisting of specifically designed teacher work programmes (the so-called support programme). The programme comprised a series of activities aimed at empowering teachers to evaluate students' achievements and to deliver teaching which enables knowledge construction. In order to achieve the desired change in the existing teacher practices, the programme was designed to encourage, with the help of the school mentor, transformative learning by strengthening reflective practice via guided participation, situational learning and horizontal evaluation. The programme was also designed to facilitate the development of the learning community within and between the schools and to encourage collaborative learning within which teachers review the existing practice and co-construct knowledge which leads to work improvement and an increase in students' achievement. The schools were given a recommendation to choose a partner school and to collaborate with that school in the course of the programme.The programme effects were determined on the basis of students' score (performance) audits. Progress was determined on the basis of calculating statistical significance of differences in average scores on entry and exit Maths tests achieved in the xi experimental school at the beginning and at the end of the intervention; as well as differences in average scores between the experimental and control schools on entry and exit Maths tests. The progress of the entire school was also estimated (evaluated) on the basis of differences in students' achievements in the experimental and control schools in the final exam in two consecutive academic years. The results obtained indicate that progress was noticed, in the schools where the intervention was implemented through students' scores in the Maths test, which were on average higher compared to progress in the control schools. Specifically, in the schools that participated in the study, progress was observed in 9 out of 10 experimental schools based on the measures of the school level tests. In 7 experimental schools the increase was recorded in students' average scores in the Maths test compared to the control school, whereas statistical significance was noticed in 3 of them. School scores achieved in the Maths tests in the experimental process were repeated in the final exam, so 7 schools demonstrated an increased score in the Maths test in the final exam. In addition, an increase in the average scores achieved in other subjects taken in the final exam, taught by the teachers who had participated in the intervention programme was also recorded. Thus these results deserve special attention. 8 out of 10 schools showed progress in the combined test while 5 of them showed the same progress in the Serbian language test. In total 4 experimental schools had significantly higher students' achievements in all three subjects compared to the control group. The results also indicated that within the group of control schools there were two schools that stood out with the results achieved, which diminished the significance of the progress of the experimental schools they were paired with. By determining the statistical significance of differences in average achievements scores, the schools were categorised by their performance in three groups (successful, partially successful and unsuccessful). In the qualitative part of the research study social dynamics, which occurred in the course of the programme intervention implementation in these groups, was examined. In order to better understand the process, four schools as typical group representatives were selected, two schools (the experimental school and the control one) from the group of successful schools and one from the group of partially successful schools and one from the group of unsuccessful schools. They were described as xii case studies that considered the nature of social processes in situations of knowledge creation, innovation and changes, as well as teachers who represent agents of development and main actors in those processes along with their culture, assumptions and will. Special attention was given to ways of transforming practices taking into account the perspectives of theories of educational changes and cultural and historical theory of activity. In this process it was discovered that the schools, which made considerable progress in one academic year achieved significant results related to students' scores in the exit test and tests in the final exam, are characterised by the following features: their employees are prone to reviewing own practices, they have a positive attitude to change, they take responsibility for students' achievements and are motivated to improve work; they accept the results of external evaluation and use them for planning; they form a professional learning community at the school level that supports internal evaluation and improves work through professional cooperation; they implement the programme parts and perceive the changes made, as well as students who also recognise them; they organize additional student support, they have a principal who has leadership characteristics, strong associate service and support by a pedagogical advisor. Some schools in this category had an external stimulus in the form of decrease in the number of students enrolled, which is, in their opinion, a threat to the school in the future. The results also showed that over 80% of teachers assessed the programme positively by all dimensions, and they were satisfied the most with the mentor support and cooperation with colleagues. The degree of satisfaction, beliefs in the possibility to influence work and the perception of changes were connected with the school size and the subject the teacher teaches. Regardless of the school score (performance) in the exit Maths test, the Maths teachers were working as an independent practice community within the school and they showed a specific relationship to the programme which requires special attention in the future. The results also show that minimal cooperation was established in eight schools that selected their partner schools. The experimental schools were more oriented towards the ''inner side'' in an attempt to cooperate and bring about change than to the schools they had selected for partner cooperation. xiii The results showed that external school evaluation caused changes at the level of organisation of institutional work in the schools that had a standard accomplishment level in Teaching and Learning lower than 2.90 in external evaluation. The key finding, however, indicates that effective changes which lead to teaching and learning quality improvement and increase in students' educational achievements occur when external school evaluation is accompanied by adequate support to employees in the form of a professional development programme. This programme is based on ideas of cultural and historical theory of activity and theory of change in education and supports internal evaluation, active participation of teachers and their collaborative learning on how to improve teaching and learning that will produce higher students' educational achievements. The school support programme was designed and implemented by creators of educational policies, applied in the course of one academic year and in conditions of high teachers dissatisfaction andstrike. Although conducted in difficult conditions, this research study showed that: (а) it is possible to improve teaching and learning quality at the school level based on the constructivist's learning approach (b) effects of external evaluation are considerably greater if combined with providing professional support to schools that do not show a sufficient level of standard accomplishment, (c) effects of providing support to schools largely depend on the context (inside and outside of the school), (d) the findings are compliant with predictions of socio-constructivist theories and theories of change and suggest that creating a learning community at the school level is a key mechanism for positive change.