Унапређење образовних постигнућа ученика кроз интерну и екстерну евалуацију и професионалну сарадњу наставника
Improvement of students' educational achievements within the framework of internal and external evaluation and professional cooperation of teachers
Докторанд
Čaprić, Gordana M.Ментор
Baucal, AleksanderЧланови комисије
Pavlović-Babić, DragicaBjekić, Dragana
Метаподаци
Приказ свих података о дисертацијиСажетак
Квалитет образовања се одражава у степену развоја капацитета младих који се
темељи на развоју компетенција и вештина које су потребне за лични развој и
активно учешће у друштву. Земље које подржавају социјалну инклузију,
једнакоправност, запошљавање, иновацију и компетитивност усмерене су на
обезбеђивање квалитетног образовања за своје грађане. Стога је начин унапређења
квалитета образовања, посебно на нивоу школе, једна од кључних тема у психологији
образовања, али и основа за велики број образовних реформи које се у континуитету
спроводе.
Почев од 2000. године, у Србији су развијани механизми осигурања квалитета
засновани на јасно дефинисаним стандардима и процедурама евалуације који служе у
сврху континуираног унапређења развоја система или образовне установе (нпр.
интерна и екстерна евалуација школа, стручно усавршавање наставника и др.), који
се имплементирају ради осигурања квалитета рада школа како би се обезбедио бољи
квалитет наставе и учења који би омогућио ученицима да оства...ре виша образовна
постигнућа.
Иако постоје бројна истраживања о начину како се може унапредити квалитет
наставе и учења на нивоу школе, постојећа сазнања остављају бројна отворена
питања (нпр. на који начин наставник а на који школа доприносе унапређењу
квалитета наставе и учења; како карактеристике школе, а како карактеристике
интервенције доприносе успеху; у којој мери су сарадња и хоризонтално учење
унутар школе важни за унапређивање квалитета наставе и учења и образовних
постигнућа ученика и др.). Зато се намеће потреба да се спроведе истраживање у
циљу преиспитивања постојања њихове удружене примене и утицаја на развој школе
и постигнућа ученика, као и услови у којима они постају ефектни.
v
У раду је описано спроведено истраживање које је имало за циљ да утврди
начин деловања екстерне евалуације на унапређивање школе, као и да измери ефекте
примене посебно осмишљеног модела подршке школи усмереног на изазивање
промене у образовној пракси наставника која треба да резултира повећањем
постигнућа ученика. Модел подршке, као и истраживање у целини, конципиран је у
окриљу социјално-конструктивистичког приступа учењу и теоријама промене.
У истраживању је коришћена мeтoдoлoгиja мeшoвитoг типa која обухвата
комбинацију квантитативног и квалитативног истраживања, а истраживање је
дизајнирано као експеримент са поновљеним мерењем који укључује
експерименталне и контролне групе школа.
У истраживању је учествовало 20 основних школа које према резултатима
екстерне евалуације нису оствариле задовољавајући ниво квалитета у области
Настава и учење (горњи ниво остварености био је мањи од 2,90 на лествици од 4).
Школе су биране по принципу случајног узорка унутар административних јединица
ресорног министарства и случајним избором им је додељен статус експерименталне
или контролне школе. У 10 школа је спроведена експериментална интервенција коју
је чинио посебно дизајниран програм рада са наставницима (тзв. програм подршке).
Програм је чинио низ активности усмерених на оснаживање наставника за
евалуацију образовних постигнућа ученика и реализацију наставе која обезбеђује
конструкцију знања. Ради остварења жељене промене у постојећој пракси
наставника, програм је креиран тако да уз помоћ ментора школе подстакне
трансформативно учење кроз јачање рефлексивне праксе путем вођене
партиципације, ситуационог учења и хоризонталне евалуације. Програм је такође
дизајниран тако да олакша развој заједнице учења унутар школа и између школа и
подстакне колаборативно учење у оквиру кога наставници преиспитују постојећу
праксу и ко-конструишу знања која доводе до унапређивања рада и повећања
постигнућа ученика. Школе су имале препоруку да изаберу партнерску школу са
којом би сарађивале у току програма.
Утврђивање ефеката програма засновано је на провери успешности ученика.
Напредак је утврђен на основу израчунавања статистичке значајности разлика
vi
просечних постигнућа на улазном и излазном тесту из математике, остварених у
експерименталној школи на почетку и крају интервенције, као и разлика просечних
постигнућа између експерименталне и контролне школе на улазном и излазном тесту
из математике. Напредак целокупне школе процењиван је и на основу разлике
постигнућа ученика експерименталних и контролних школа на завршном испиту у
две узастопне школске године.
Добијени резултати показују да је у школама у којима је примењена
интервенција уочен напредак у постигнућима ученика на тесту из математике, који је
у просеку виши у односу на напредак у контролним школама. Тако је у 9 од 10
експерименталних школа уочен напредак између два тестирања унутар школе. У 7
експерименталних школа забележено је повећање просечних постигнућа ученика на
тесту из математике у односу на контролне школе, али је на 3 утврђена статистичка
значајност. Успех школа остварен на тестовима из математике у експерименталном
процесу поновљен је на завршном испиту, тако да је 7 школа показало повећан успех
на тесту из математике на завршном испиту. Поред тога, забележен је раст просечног
скора из других предмета који су се полагали на завршном испиту, а које предају
наставници који су учествовали у програму интервенције и такви резултати
заслужују посебну пажњу. Тако је од 10 школа 8 показало напредак на комбинованом
тесту и 5 на тесту из српског језика. Укупно гледано, 4 експерименталне школе су
имале значајно већа постигнућа ученика на сва три предмета у поређењу са
контролном групом. Резултати су показали, такође, да се у оквиру групе контролних
школа налазе две школе које се посебно истичу са оствареним резултатима, чиме су
умањиле значај напредовања експерименталнe школе са којима су чиниле пар.
Утврђивањем статистичке значајности разлика просечних постигнућа школе
су категорисане по успешности у три групе (успешне, делимично успешне и
неуспешне). У квалитативном делу истраживања разматрана је социјална динамика
која се дешавала у току примене програма интервенције у овим групама. За боље
разумевање процеса изабране су четири школе које су биле типични представници
група и то две школе (експериментална и контролна) из групе успешних школа и по
једна школа из групе делимично успешних и неуспешних школа. Оне су описане као
vii
студије случаја које су разматрале природу друштвених процеса у ситуацијама
креирања знања, иновације и промене, као и наставнике који представљају носиоце
развоја и који представљају главне актере у тим процесима заједно са својом
културом, претпоставкама и вољом. Посебна пажња је посвећена начинима
трансформације праксе имајући у виду перспективе теорија образовних промена и
културално-историјске теорије активности.У том поступку утврђено је да школе које су веома напредовале и за једну
школску годину оствариле значајне резултате у вези са постигнућима ученика на
излазном тесту и тестовима на завршном испиту, одликују следеће карактеристике:
запослени су склони преиспитивању сопствене праксе, позитивно су оријентисани на
промене, прихватају одговорност за постигнућа ученика и мотивисани су да
унапреде рад; прихватају резултате екстерне евалуације и користе их за планирање;
формирају професионалну заједницу учења на нивоу школе која подржава интерну
евалуацију и кроз професионалну сарадњу унапређује рад; примењују делове
програма и опажају настале промене које и ученици препознају; организују допунску
и додатну наставу, имају директора којег одликују лидерске карактеристике, јаку
стручну службу и подршку просветног саветника. Поједине школе у овој категорији
су имале и спољни подстицај у виду опадања броја уписаних ученика, што по њима
представља претњу за школу у будућности.
Резултати су, такође, показали да је преко 80% наставника по свим
димензијама позитивно оценило програм, а најзадовољнији су били подршком
ментора и сарадњом са колегама. Степен задовољства, веровања у могућност утицаја
на рад и перцепција промена били су повезни са величином школе и предметом који
наставник предаје. Без обзира на успешност школе на излазном тесту из математике,
наставници математике су радили као независна заједница праксе унутар школе и
показали специфичан однос према програму који изискује посебну пажњу у
будућности.
Разултати показују и да је у осам школа које су изабрале партнерску школу за
сарадњу остварена минимална сарадња. Експерименталне школе више су биле
viii
окренуте ка „унутра“ у покушају да сарађују и изазову промену, него ка школама
које су изабрале за партнерску сарадњу.
Резултати су показали да у школама које су на екстерној евалуацији имале
ниво остварености стандарда у настави и учењу мањи од 2,90, екстерна евалуација
школе изазвала је промене на нивоу организације рада установе. Кључни налаз ипак
показује да до ефективних промена, које доводе до унапређивања квалитета наставе
и учења и подизања образовних постигнућа ученика, долази у условима када је
екстерна евалуација школе праћена адекватном подршком запосленима која је
уобличена у програму стручног усавршавања. Такав програм је засниван на идејама
културално-историјске теорије активности и теорија промена у образовању и
подржава интерну евалуацију, активну партиципацију наставника и њихово
колаборативно учење о томе како да унапреде наставу и учење које ће произвести
већа образовна постигнућа ученика.
Програм подршке школи био је осмишљен и имплементиран од стране
креатора образовних политика, примењен у току једне школске године и у условима
незадовољства просветних радника (штрајк). Иако је реализовано у отежаним
условима, ово истраживање је показало: (а) да је могуће унапредити квалитет наставе
и учења на нивоу школе уз помоћ програма заснованог на конструктивистичком
приступу учењу (б) да су ефекти екстерне евалуације значајно већи уколико се
комбинују са пружањем стручне подршке школама које не показују довољан ниво
остварености стандарда, (в) да ефекти пружања подршке школама у великој мери
зависе од контекста (унутар и ван школе), (г) да су налази сагласни са предвиђањима
социо-конструктивистичких теорија и теорија промене и да сугеришу да је стварање
заједнице учења на нивоу школе кључни механизам позитивне промене.
Education quality is reflected in the level of youth capacity building which is based
on the development of competences and skills needed for personal growth and active
participation in the society today. Countries that support social inclusion, equality,
employment, innovation and competitiveness are focussed on assuring quality education for
their citizens. The way to improve education quality, especially at the school level, is
therefore one of the key themes in educational psychology, but it is also a foudation for a
large number of educational reforms which are continuously implemented.
As from 2000 quality assurance mechanisms have been developed in Serbia on the
basis of clearly defined standards and procedures of evaluation which serve the purpose of
continuous improvement of the system or educational institution development (i.e. internal
and external school evaluation, professional teacher development, etc.). These are
implemented in order to assure quality of school practice...s and to provide better teaching
and learning quality which enable students to reach higher educational achievements.
Although there are numerous research studies on how teaching and learning quality
can be improved at the school level, current findings leave many issues open (i.e. how the
teacher(s) and the school contribute improvement of teaching and learning quality; how the
school features contribute students’ success and how specific intervention features may
contribute the latter; to what extent cooperation and horizontal learning within the school
are important for the improvement of teaching and learning quality and students'
achievements, etc.). All these factors create a foundation for a study which explores their
joint application and the impact on school development and students' achievements, as well
as the conditions under which they become effective.
x
The paper describes the conducted research study whose aim was to determine how
external evaluation affects school improvement, as well as to measure effects of the
application of a specifically designed school support model focussed on inducing changes
in teacher educational practice which should result in an increasing students' achievement.
The support model, as well as the research study as a whole, was conceived under the social
constructivist learning approach and theories of change.
The research study used a mixed methodology design that includes a combination of
quantitative and qualitative research, and the research study was designed as an experiment
with repeated measurement which which included experimental and control school groups.
The research study included 20 elementary schools which, in reference to the
external evaluation results, did not achieve a satisfactory quality level in the Teaching and
Learning domain (the upper level of accomplishment was lower than 2.90 on a scale with a
maximum value of 4). The schools were randomly selected within the administrative units
of the line ministry and they were randomly assigned the status of an experimental or a
control school. In 10 schools the experimental intervention was carried out consisting of
specifically designed teacher work programmes (the so-called support programme). The
programme comprised a series of activities aimed at empowering teachers to evaluate
students' achievements and to deliver teaching which enables knowledge construction. In
order to achieve the desired change in the existing teacher practices, the programme was
designed to encourage, with the help of the school mentor, transformative learning by
strengthening reflective practice via guided participation, situational learning and horizontal
evaluation. The programme was also designed to facilitate the development of the learning
community within and between the schools and to encourage collaborative learning within
which teachers review the existing practice and co-construct knowledge which leads to
work improvement and an increase in students' achievement. The schools were given a
recommendation to choose a partner school and to collaborate with that school in the course
of the programme.The programme effects were determined on the basis of students' score
(performance) audits. Progress was determined on the basis of calculating statistical
significance of differences in average scores on entry and exit Maths tests achieved in the
xi
experimental school at the beginning and at the end of the intervention; as well as
differences in average scores between the experimental and control schools on entry and
exit Maths tests. The progress of the entire school was also estimated (evaluated) on the
basis of differences in students' achievements in the experimental and control schools in the
final exam in two consecutive academic years.
The results obtained indicate that progress was noticed, in the schools where the
intervention was implemented through students' scores in the Maths test, which were on
average higher compared to progress in the control schools. Specifically, in the schools that
participated in the study, progress was observed in 9 out of 10 experimental schools based
on the measures of the school level tests. In 7 experimental schools the increase was
recorded in students' average scores in the Maths test compared to the control school,
whereas statistical significance was noticed in 3 of them. School scores achieved in the
Maths tests in the experimental process were repeated in the final exam, so 7 schools
demonstrated an increased score in the Maths test in the final exam. In addition, an increase
in the average scores achieved in other subjects taken in the final exam, taught by the
teachers who had participated in the intervention programme was also recorded. Thus these
results deserve special attention. 8 out of 10 schools showed progress in the combined test
while 5 of them showed the same progress in the Serbian language test. In total 4
experimental schools had significantly higher students' achievements in all three subjects
compared to the control group. The results also indicated that within the group of control
schools there were two schools that stood out with the results achieved, which diminished
the significance of the progress of the experimental schools they were paired with.
By determining the statistical significance of differences in average achievements
scores, the schools were categorised by their performance in three groups (successful,
partially successful and unsuccessful). In the qualitative part of the research study social
dynamics, which occurred in the course of the programme intervention implementation in
these groups, was examined. In order to better understand the process, four schools as
typical group representatives were selected, two schools (the experimental school and the
control one) from the group of successful schools and one from the group of partially
successful schools and one from the group of unsuccessful schools. They were described as
xii
case studies that considered the nature of social processes in situations of knowledge
creation, innovation and changes, as well as teachers who represent agents of development
and main actors in those processes along with their culture, assumptions and will. Special
attention was given to ways of transforming practices taking into account the perspectives
of theories of educational changes and cultural and historical theory of activity.
In this process it was discovered that the schools, which made considerable progress
in one academic year achieved significant results related to students' scores in the exit test
and tests in the final exam, are characterised by the following features: their employees are
prone to reviewing own practices, they have a positive attitude to change, they take
responsibility for students' achievements and are motivated to improve work; they accept
the results of external evaluation and use them for planning; they form a professional
learning community at the school level that supports internal evaluation and improves work
through professional cooperation; they implement the programme parts and perceive the
changes made, as well as students who also recognise them; they organize additional
student support, they have a principal who has leadership characteristics, strong associate
service and support by a pedagogical advisor. Some schools in this category had an external
stimulus in the form of decrease in the number of students enrolled, which is, in their
opinion, a threat to the school in the future.
The results also showed that over 80% of teachers assessed the programme
positively by all dimensions, and they were satisfied the most with the mentor support and
cooperation with colleagues. The degree of satisfaction, beliefs in the possibility to
influence work and the perception of changes were connected with the school size and the
subject the teacher teaches. Regardless of the school score (performance) in the exit Maths
test, the Maths teachers were working as an independent practice community within the
school and they showed a specific relationship to the programme which requires special
attention in the future.
The results also show that minimal cooperation was established in eight schools that
selected their partner schools. The experimental schools were more oriented towards the
''inner side'' in an attempt to cooperate and bring about change than to the schools they had
selected for partner cooperation.
xiii
The results showed that external school evaluation caused changes at the level of
organisation of institutional work in the schools that had a standard accomplishment level
in Teaching and Learning lower than 2.90 in external evaluation. The key finding, however,
indicates that effective changes which lead to teaching and learning quality improvement
and increase in students' educational achievements occur when external school evaluation is
accompanied by adequate support to employees in the form of a professional development
programme. This programme is based on ideas of cultural and historical theory of activity
and theory of change in education and supports internal evaluation, active participation of
teachers and their collaborative learning on how to improve teaching and learning that will
produce higher students' educational achievements.
The school support programme was designed and implemented by creators of
educational policies, applied in the course of one academic year and in conditions of high
teachers dissatisfaction andstrike. Although conducted in difficult conditions, this research
study showed that: (а) it is possible to improve teaching and learning quality at the school
level based on the constructivist's learning approach (b) effects of external evaluation are
considerably greater if combined with providing professional support to schools that do not
show a sufficient level of standard accomplishment, (c) effects of providing support to
schools largely depend on the context (inside and outside of the school), (d) the findings are
compliant with predictions of socio-constructivist theories and theories of change and
suggest that creating a learning community at the school level is a key mechanism for
positive change.