A tanterv és az oktatók értékelése kritikus fontosságú minden felsőoktatási intézmény számára, beleértve az orvosi egyetemeket is. Az oktatás hallgatói értékelése (SET) jellemzően anonim kérdőívek formájában történik, és bár eredetileg a kurzusok és programok értékelésére fejlesztették ki, idővel az oktatás hatékonyságának mérésére és később fontos oktatással kapcsolatos döntések meghozatalára is használták. A tanárok szakmai fejlődése. Bizonyos tényezők és torzítások azonban befolyásolhatják a SET-pontszámokat, és az oktatás hatékonysága nem mérhető objektíven. Bár az általános felsőoktatásban a kurzusok és az oktatók értékeléséről szóló szakirodalom jól megalapozott, aggályok merülnek fel azzal kapcsolatban, hogy ugyanazokat az eszközöket használják-e az orvosi programokban a kurzusok és az oktatók értékelésére. Különösen a felsőoktatásban az általános felsőoktatásban alkalmazott SET nem alkalmazható közvetlenül az orvosi egyetemek tantervének tervezésére és megvalósítására. Ez az áttekintés arról nyújt áttekintést, hogyan lehet a SET-et javítani az eszköz, az irányítás és az értelmezés szintjén. Ezenkívül a cikk rámutat arra, hogy a különböző módszerek, például a szakmai értékelés, a fókuszcsoportok és az önértékelés segítségével több forrásból – beleértve a hallgatókat, a kollégákat, a programvezetőket és az önismeretet – származó adatok gyűjtésére és triangulálására átfogó értékelési rendszer építhető fel. Hatékonyan mérje az oktatás hatékonyságát, támogassa az orvosok szakmai fejlődését és javítsa az orvosképzésben az oktatás minőségét.
A kurzus- és programértékelés egy belső minőségellenőrzési folyamat minden felsőoktatási intézményben, beleértve az orvosi egyetemeket is. A hallgatói oktatásértékelés (SET) általában anonim papíralapú vagy online kérdőív formájában történik, egy Likert-skálát (általában öt, hét vagy magasabb) használva, amely lehetővé teszi az emberek számára, hogy jelezzék egyetértésüket vagy egyetértésük mértékét. Nem értek egyet bizonyos állításokkal) [1,2,3]. Bár a SET-eket eredetileg a kurzusok és programok értékelésére fejlesztették ki, idővel az oktatás hatékonyságának mérésére is használták őket [4, 5, 6]. Az oktatás hatékonyságát azért tartják fontosnak, mert feltételezik, hogy pozitív kapcsolat van az oktatás hatékonysága és a hallgatók tanulása között [7]. Bár a szakirodalom nem határozza meg egyértelműen a képzés hatékonyságát, azt általában a képzés konkrét jellemzőin keresztül határozzák meg, mint például a „csoportos interakció”, az „előkészítés és szervezés”, a „hallgatóknak adott visszajelzés” [8].
A SET-ből nyert információk hasznos információkkal szolgálhatnak, például hogy szükség van-e a tananyagok vagy az adott kurzuson használt tanítási módszerek módosítására. A SET-t a tanárok szakmai fejlődésével kapcsolatos fontos döntések meghozatalára is használják [4,5,6]. Ennek a megközelítésnek a megfelelősége azonban megkérdőjelezhető, amikor a felsőoktatási intézmények döntéseket hoznak az oktatókkal kapcsolatban, például a magasabb akadémiai rangokba való előléptetésekről (gyakran a rangidősség és a fizetésemelésekkel összefüggésben) és az intézményen belüli kulcsfontosságú adminisztratív pozíciókról [4, 9]. Ezenkívül az intézmények gyakran megkövetelik az új oktatóktól, hogy az új pozíciókra vonatkozó jelentkezéseikben szerepeljenek a korábbi intézmények SET-jei is, ezáltal nemcsak az oktatók intézményen belüli előléptetéseit befolyásolva, hanem a potenciális új munkaadókat is [10].
Bár a tantervvel és a tanárértékeléssel foglalkozó szakirodalom jól megalapozott az általános felsőoktatás területén, ez nem így van az orvostudomány és az egészségügy területén [11]. Az orvosok tanterve és igényei eltérnek az általános felsőoktatásétól. Például a csoportos tanulást gyakran alkalmazzák az integrált orvosképzésben. Ez azt jelenti, hogy az orvosi egyetem tanterve számos olyan kurzusból áll, amelyeket számos olyan oktató oktat, akik különböző orvosi szakterületeken képzettek és tapasztalattal rendelkeznek. Bár a hallgatók ebben a struktúrában profitálnak a terület szakértőinek mélyreható tudásából, gyakran szembesülnek azzal a kihívással, hogy alkalmazkodjanak az egyes tanárok eltérő tanítási stílusához [1, 12, 13, 14].
Bár vannak különbségek az általános felsőoktatás és az orvosképzés között, az előbbiben használt SET-et néha az orvostudományi és egészségügyi kurzusokon is alkalmazzák. A SET bevezetése az általános felsőoktatásban azonban számos kihívást jelent az egészségügyi szakmai programok tantervi és oktatói értékelése szempontjából [11]. Különösen a tanítási módszerek és a tanári képesítések közötti különbségek miatt a kurzusértékelési eredmények nem feltétlenül tartalmazzák az összes tanár vagy kurzus hallgatói véleményét. Uytenhaage és O'Neill (2015) kutatása [5] azt sugallja, hogy nem helyénvaló felkérni a hallgatókat, hogy értékeljék az összes tanárt egy kurzus végén, mivel szinte lehetetlen, hogy a hallgatók emlékezzenek és véleményt nyilvánítsanak több tanári kategóriáról. Ezenkívül sok orvostanár egyben orvos is, akinek a tanítás csak kis részét képezi a felelősségének [15, 16]. Mivel elsősorban a betegellátásban és sok esetben a kutatásban vesznek részt, gyakran kevés idejük van tanítási készségeik fejlesztésére. Az orvosoknak mint tanároknak azonban időt, támogatást és konstruktív visszajelzést kell kapniuk szervezeteiktől [16].
Az orvostanhallgatók általában rendkívül motivált és szorgalmas egyének, akik sikeresen felvételt nyernek az orvosi egyetemre (egy nemzetközileg versenyképes és igényes folyamaton keresztül). Ezenkívül az orvostanhallgatóktól elvárják, hogy rövid idő alatt nagy mennyiségű tudást szerezzenek és számos készséget fejlesszenek ki, valamint sikeresen teljesítsenek komplex belső és átfogó országos értékeléseken [17,18,19,20]. Így az orvostanhallgatókkal szemben elvárt magas színvonal miatt az orvostanhallgatók kritikusabbak lehetnek, és magasabb elvárásokat támaszthatnak a magas színvonalú oktatással szemben, mint más tudományterületeken tanuló hallgatók. Így az orvostanhallgatók a fent említett okok miatt alacsonyabb értékelést kaphatnak professzoraiktól más tudományterületeken tanuló hallgatókhoz képest. Érdekes módon a korábbi tanulmányok pozitív összefüggést mutattak ki a hallgatók motivációja és az egyes tanárok értékelése között [21]. Ezenkívül az elmúlt 20 évben a legtöbb orvosi egyetemi tanterv világszerte vertikálisan integrálttá vált [22], így a hallgatók már a képzés legkorábbi éveitől kezdve ki vannak téve a klinikai gyakorlatnak. Így az elmúlt években az orvosok egyre inkább részt vettek az orvostanhallgatók oktatásában, és már a képzésük korai szakaszában is hangsúlyozták az adott oktatói populációra szabott SET-ek kidolgozásának fontosságát [22].
Az orvosképzés fent említett sajátos jellege miatt az egyetlen oktató által oktatott általános felsőoktatási kurzusok értékelésére használt SET-eket (Standard Modelleket) hozzá kell igazítani az orvosi programok integrált tantervének és klinikai oktatóinak értékeléséhez [14]. Ezért hatékonyabb SET-modellek és átfogó értékelési rendszerek kidolgozására van szükség az orvosképzésben való hatékonyabb alkalmazás érdekében.
A jelenlegi áttekintés a SET (általános) felsőoktatásban történő alkalmazásának legújabb eredményeit és korlátait ismerteti, majd felvázolja a SET különféle igényeit az orvosképzési kurzusok és az oktatók számára. Ez az áttekintés naprakész tájékoztatást nyújt arról, hogyan lehet a SET-et instrumentális, adminisztratív és interpretatív szinten fejleszteni, és a hatékony SET-modellek és átfogó értékelési rendszerek kidolgozásának céljaira összpontosít, amelyek hatékonyan mérik az oktatás hatékonyságát, támogatják a professzionális egészségügyi oktatók fejlődését és javítják az orvosképzésben az oktatás minőségét.
Ez a tanulmány Green és munkatársai (2006) [23] tanácsadási, valamint Baumeister (2013) [24] narratív recenziók írásával kapcsolatos tanulmányát követi. Azért döntöttünk úgy, hogy narratív recenziót írunk erről a témáról, mert ez a fajta recenzió segít szélesebb perspektívát bemutatni a témában. Továbbá, mivel a narratív recenziók módszertanilag sokszínű tanulmányokra támaszkodnak, segítenek szélesebb körű kérdések megválaszolásában. Ezenkívül a narratív kommentár segíthet ösztönözni a témával kapcsolatos gondolkodást és vitát.
Hogyan használják a SET-et az orvosképzésben, és milyen kihívásokkal jár a SET általános felsőoktatásban történő alkalmazásához képest,
A Pubmed és az ERIC adatbázisokban a „hallgatói oktatás értékelése”, „tanítási hatékonyság”, „orvosi oktatás”, „felsőoktatás”, „tanterv és oktatói értékelés”, valamint a Peer Review 2000 esetében logikai operátorok kombinációjával kerestek. A 2021 és 2021 között megjelent cikkek. Beválasztási kritériumok: A beválogatott tanulmányok eredeti tanulmányok vagy áttekintő cikkek voltak, és a tanulmányok relevánsak voltak a három fő kutatási kérdés területei szempontjából. Kizárási kritériumok: A jelenlegi áttekintő dokumentumból kizárták azokat a tanulmányokat, amelyek nem angol nyelvűek voltak, vagy amelyekben nem találhatók teljes szövegű cikkek, vagy amelyekben nem voltak relevánsak a három fő kutatási kérdés szempontjából. A publikációk kiválasztása után a publikációkat a következő témákba és a kapcsolódó altémákba rendezték: (a) A SET használata az általános felsőoktatásban és korlátai, (b) A SET használata az orvosképzésben és relevanciája a SET összehasonlításával kapcsolatos kérdések kezelésében, (c) A SET fejlesztése instrumentális, vezetői és interpretatív szinten a hatékony SET modellek kidolgozása érdekében.
Az 1. ábra a jelen áttekintésben szereplő és megvitatott kiválasztott cikkek folyamatábráját mutatja.
A SET-et hagyományosan a felsőoktatásban alkalmazzák, és a témát a szakirodalomban alaposan tanulmányozták [10, 21]. Számos tanulmány vizsgálta azonban a módszer számos korlátját és a korlátozások kiküszöbölésére tett erőfeszítéseket.
A kutatások azt mutatják, hogy számos változó befolyásolja a SET-pontszámokat [10, 21, 25, 26]. Ezért fontos, hogy az adminisztrátorok és a tanárok megértsék ezeket a változókat az adatok értelmezésekor és felhasználásakor. A következő szakasz rövid áttekintést nyújt ezekről a változókról. A 2. ábra a SET-pontszámokat befolyásoló tényezők egy részét mutatja be, amelyeket a következő szakaszokban részletezünk.
Az utóbbi években az online tesztkészletek használata megnőtt a papíralapúakhoz képest. A szakirodalomban azonban bizonyítékok vannak arra, hogy az online SET teszt elvégezhető anélkül, hogy a hallgatók kellő figyelmet fordítanának a kitöltési folyamatra. Uitdehaage és O'Neill [5] egy érdekes tanulmányában nem létező tanárokat adtak hozzá a SET teszthez, és sok hallgató visszajelzést adott [5]. Ezenkívül a szakirodalomban található bizonyítékok arra utalnak, hogy a hallgatók gyakran úgy vélik, hogy a SET elvégzése nem vezet jobb tanulmányi eredményekhez, ami az orvostanhallgatók elfoglalt időbeosztásával párosulva alacsonyabb válaszadási arányokhoz vezethet [27]. Bár a kutatások azt mutatják, hogy a tesztet író hallgatók véleménye nem különbözik a teljes csoport véleményétől, az alacsony válaszadási arányok mégis arra késztethetik a tanárokat, hogy kevésbé komolyan vegyék az eredményeket [28].
A legtöbb online SET-tesztet névtelenül töltik ki. Az ötlet az, hogy a hallgatók szabadon kifejezhessék véleményüket anélkül, hogy feltételeznék, hogy véleménynyilvánításuk bármilyen hatással lesz a tanárokkal való jövőbeli kapcsolataikra. Alfonso és munkatársai tanulmányában [29] a kutatók névtelen értékeléseket és olyan értékeléseket használtak, amelyekben az értékelőknek meg kellett adniuk a nevüket (nyilvános értékelések), hogy felmérjék az orvosi egyetem oktatóinak oktatási hatékonyságát rezidensek és orvostanhallgatók által. Az eredmények azt mutatták, hogy a tanárok általában alacsonyabb pontszámot értek el a névtelen értékeléseken. A szerzők azzal érvelnek, hogy a hallgatók őszintébbek a névtelen értékelésekben a nyílt értékelésekben rejlő bizonyos akadályok, például a részt vevő tanárokkal fennálló megromlott munkakapcsolatok miatt [29]. Azt is meg kell jegyezni, hogy az online SET-hez gyakran társuló anonimitás egyes hallgatókat tiszteletlenséghez és megtorláshoz vezethet az oktatóval szemben, ha az értékelési pontszámok nem felelnek meg a hallgatói elvárásoknak [30]. A kutatások azonban azt mutatják, hogy a hallgatók ritkán adnak tiszteletlen visszajelzést, és ez utóbbi tovább korlátozható, ha a hallgatókat megtanítjuk konstruktív visszajelzés adására [30].
Számos tanulmány kimutatta, hogy összefüggés van a diákok SET-pontszámai, a teszteredményeik elvárásai és a teszttel való elégedettségük között [10, 21]. Például Strobe (2020) [9] arról számolt be, hogy a diákok a könnyű kurzusokat, a tanárok pedig a gyenge jegyeket jutalmazzák, ami ösztönözheti a gyenge tanítást és jegyinflációhoz vezethet [9]. Egy nemrégiben megjelent tanulmányban Looi és munkatársai (2020) [31] arról számoltak be, hogy a kedvezőbb SET-pontszámok összefüggenek és könnyebben értékelhetők. Sőt, nyugtalanító bizonyítékok vannak arra vonatkozóan, hogy a SET fordítottan arányos a diákok későbbi kurzusokon elért teljesítményével: minél magasabb az értékelés, annál rosszabb a diákok teljesítménye a későbbi kurzusokon. Cornell és munkatársai (2016) [32] egy tanulmányt végeztek annak vizsgálatára, hogy a főiskolai hallgatók viszonylag többet tanultak-e azoktól a tanároktól, akiknek a SET-pontszámát magasra értékelték. Az eredmények azt mutatják, hogy amikor a tanulást egy kurzus végén értékelik, a legmagasabb értékeléssel rendelkező tanárok is hozzájárulnak a legtöbb diák tanulásához. Amikor azonban a tanulást a későbbi releváns kurzusokon elért teljesítmény alapján mérik, a viszonylag alacsony pontszámot elérő tanárok a leghatékonyabbak. A kutatók azt a hipotézist állították, hogy ha egy kurzust produktív módon kihívást jelentővé teszünk, az csökkentheti az értékeléseket, de javíthatja a tanulást. Így a hallgatói értékelések nem lehetnek az oktatás értékelésének egyetlen alapjai, hanem azokat el kell ismerni.
Számos tanulmány kimutatta, hogy a SET-teljesítményt maga a kurzus és annak szervezettsége befolyásolja. Ming és Baozhi [33] tanulmányukban azt találták, hogy jelentős különbségek vannak a SET-pontszámokban a különböző tantárgyakat tanuló hallgatók között. Például a klinikai tudományok magasabb SET-pontszámokkal rendelkeznek, mint az alaptudományok. A szerzők kifejtették, hogy ez azért van, mert az orvostanhallgatók érdeklődnek az orvoslás iránt, ezért személyes érdeklődésük és nagyobb motivációjuk van arra, hogy jobban részt vegyenek a klinikai tudományok kurzusain, mint az alaptudományos kurzusokon [33]. A választható tantárgyakhoz hasonlóan a hallgatók tantárgy iránti motivációja is pozitív hatással van a pontszámokra [21]. Számos más tanulmány is alátámasztja, hogy a kurzus típusa befolyásolhatja a SET-pontszámokat [10, 21].
Sőt, más tanulmányok kimutatták, hogy minél kisebb az osztálylétszám, annál magasabb szintű SET-et érnek el a tanárok [10, 33]. Az egyik lehetséges magyarázat az, hogy a kisebb osztálylétszám növeli a tanár-diák interakció lehetőségeit. Ezenkívül az értékelés körülményei is befolyásolhatják az eredményeket. Például úgy tűnik, hogy a SET-pontszámokat befolyásolja a kurzus oktatásának időpontja és napja, valamint a SET elvégzésének hétköznapja (pl. a hétvégén elvégzett értékelések általában pozitívabb pontszámot eredményeznek), mint a hét elején elvégzett értékelések. [10].
Hessler és munkatársai egy érdekes tanulmánya szintén megkérdőjelezi a SET hatékonyságát. [34]. Ebben a tanulmányban egy randomizált, kontrollált vizsgálatot végeztek egy sürgősségi orvosi kurzuson. Harmadéves orvostanhallgatókat véletlenszerűen osztottak be vagy egy kontrollcsoportba, vagy egy olyan csoportba, amely ingyenes csokis sütit kapott (süti csoport). Minden csoportot ugyanazok a tanárok oktattak, és a képzés tartalma és anyagai mindkét csoport számára azonosak voltak. A kurzus után minden hallgatót felkértek, hogy töltsön ki egy készletet. Az eredmények azt mutatták, hogy a sütis csoport szignifikánsan jobbra értékelte a tanárokat, mint a kontrollcsoport, ami megkérdőjelezi a SET hatékonyságát [34].
Az irodalomban található bizonyítékok azt is alátámasztják, hogy a nem befolyásolhatja a SET-pontszámokat [35,36,37,38,39,40,41,42,43,44,45,46]. Például néhány tanulmány kimutatta az összefüggést a hallgatók neme és az értékelési eredmények között: a női hallgatók magasabb pontszámot értek el, mint a férfi hallgatók [27]. A legtöbb bizonyíték megerősíti, hogy a hallgatók a női tanárokat alacsonyabbra értékelik, mint a férfi tanárokat [37, 38, 39, 40]. Például Boring és munkatársai [38] kimutatták, hogy mind a férfi, mind a női hallgatók úgy vélték, hogy a férfiak tájékozottabbak és erősebb vezetői képességekkel rendelkeznek, mint a nők. Azt a tényt, hogy a nem és a sztereotípiák befolyásolják a SET-et, MacNell és munkatársai [41] tanulmánya is alátámasztja, akik arról számoltak be, hogy a tanulmányukban részt vevő hallgatók a tanítás különböző aspektusaiban alacsonyabbra értékelték a női tanárokat, mint a férfi tanárokat [41]. Ezenkívül Morgan és munkatársai [42] bizonyítékot szolgáltattak arra, hogy a női orvosok négy fő klinikai rotációban (sebészet, gyermekgyógyászat, szülészet-nőgyógyászat, valamint belgyógyászat) alacsonyabb oktatási értékelést kaptak a férfi orvosokhoz képest.
Murray és munkatársai (2020) tanulmányában [43] a kutatók arról számoltak be, hogy az oktatók vonzereje és a hallgatók kurzus iránti érdeklődése összefüggésben állt a magasabb SET-pontszámokkal. Ezzel szemben a kurzus nehézsége alacsonyabb SET-pontszámokkal járt. Ezenkívül a hallgatók magasabb SET-pontszámokat adtak a fiatal fehér férfi humán tudományok tanárainak és a teljes professzori állást betöltő oktatóknak. Nem volt összefüggés a SET-tanítási értékelések és a tanári felmérések eredményei között. Más tanulmányok is megerősítik a tanárok fizikai vonzerejének pozitív hatását az értékelési eredményekre [44].
Clayson és munkatársai (2017) [45] arról számoltak be, hogy bár általános az egyetértés abban, hogy a SET megbízható eredményeket produkál, és hogy az osztály- és tanárátlagok konzisztensek, az egyes diákok válaszaiban továbbra is vannak ellentmondások. Összefoglalva, ennek az értékelő jelentésnek az eredményei azt mutatják, hogy a diákok nem értettek egyet azzal, amit értékelni kértek tőlük. A diákok tanításról alkotott értékeléséből származó megbízhatósági mutatók nem elegendőek az érvényesség megállapításához. Ezért a SET néha inkább a diákokról, mint a tanárokról nyújthat információt.
Az egészségnevelési SET (set-up) különbözik a hagyományos SET-től, de az oktatók gyakran az általános felsőoktatásban elérhető SET-et használják, ahelyett, hogy a szakirodalomban szereplő, az egészségügyi szakmákra vonatkozó programokra jellemző SET-et használnák. Az évek során végzett tanulmányok azonban számos problémát azonosítottak.
Jones és munkatársai (1994). [46] tanulmányt végeztek annak meghatározására, hogy hogyan kell értékelni az orvosi egyetem oktatóit az oktatók és az adminisztrátorok szemszögéből. Összességében a leggyakrabban említett problémák az oktatás értékelésével kapcsolatosak voltak. A leggyakoribb panaszok a jelenlegi teljesítményértékelési módszerek elégtelenségére vonatkoztak, a válaszadók pedig konkrét panaszokat tettek a SET-re és az oktatás elismerésének hiányára az akadémiai jutalmazási rendszerekben. További jelentett problémák közé tartozott a tanszékek közötti következetlen értékelési eljárások és előléptetési kritériumok, a rendszeres értékelések hiánya, valamint az értékelési eredmények fizetésekhez való kapcsolásának elmulasztása.
Royal és munkatársai (2018) [11] felvázolják a SET használatának néhány korlátját az általános felsőoktatás egészségügyi szakmai programjainak tantervének és oktatóinak értékelésére. A kutatók arról számolnak be, hogy a SET a felsőoktatásban számos kihívással néz szembe, mivel nem alkalmazható közvetlenül az orvosi egyetemek tantervének tervezésére és a kurzusok oktatására. A gyakran feltett kérdéseket, beleértve az oktatóra és a kurzusra vonatkozó kérdéseket is, gyakran egyetlen kérdőívbe vonják össze, így a hallgatóknak gyakran nehézséget okoz megkülönböztetni őket. Ezenkívül az orvosi programok kurzusait gyakran több oktató is oktatja. Ez érvényességi kérdéseket vet fel, tekintettel a hallgatók és az oktatók közötti interakciók potenciálisan korlátozott számára, amelyeket Royal és munkatársai (2018) [11] értékeltek. Hwang és munkatársai (2017) [14] tanulmányában a kutatók azt a koncepciót vizsgálták, hogy a retrospektív kurzusértékelések hogyan tükrözik átfogóan a hallgatók véleményét a különböző oktatók kurzusairól. Eredményeik arra utalnak, hogy az egyéni óraértékelés szükséges a több tanszékből álló kurzusok integrált orvosi egyetemi tantervén belüli kezeléséhez.
Uitdehaage és O'Neill (2015) [5] azt vizsgálták, hogy az orvostanhallgatók milyen mértékben vettek szándékosan részt SET-feladatokon egy több fakultációt befogadó tantermi kurzuson. Mindkét preklinikai kurzus mindegyikében egy fiktív oktató szerepelt. A hallgatóknak névtelen értékelést kell adniuk minden oktatónak (beleértve a fiktív oktatókat is) a kurzus befejezését követő két héten belül, de megtagadhatják az oktató értékelését. A következő évben ez megismétlődött, de a fiktív előadó portréja is szerepelt. A hallgatók 66 százaléka értékelte a virtuális oktatót hasonlóság nélkül, de kevesebb hallgató (49%) értékelte a virtuális oktatót hasonlósággal. Ezek az eredmények arra utalnak, hogy sok orvostanhallgató vakon végzi el a SET-feladatokat, még akkor is, ha fényképekkel is kísérik őket, anélkül, hogy alaposan megvizsgálná, kit értékelnek, nemhogy az oktató teljesítményét. Ez akadályozza a program minőségének javítását, és káros lehet a tanárok tanulmányi előmenetelére. A kutatók egy olyan keretrendszert javasolnak, amely gyökeresen eltérő megközelítést kínál a SET-feladatokhoz, amely aktívan és aktívan bevonja a hallgatókat.
Az orvosi képzések tantervében számos más különbség is van más általános felsőoktatási programokhoz képest [11]. Az orvosképzés, akárcsak az egészségügyi szakmai képzés, egyértelműen a világosan meghatározott szakmai szerepek (klinikai gyakorlat) fejlesztésére összpontosít. Ennek eredményeként az orvosi és egészségügyi képzések tantervei statikusabbá válnak, korlátozott kurzus- és oktatói választási lehetőségekkel. Érdekes módon az orvosképzési kurzusokat gyakran kohorsz formátumban kínálják, ahol minden hallgató ugyanazt a kurzust veszi fel minden félévben ugyanabban az időben. Ezért a nagyszámú hallgató (általában n = 100 vagy több) beiratkozása befolyásolhatja az oktatás formátumát, valamint a tanár-diák kapcsolatot. Ezenkívül sok orvosi egyetemen a legtöbb eszköz pszichometriai tulajdonságait nem mérik fel a kezdeti használatkor, és a legtöbb eszköz tulajdonságai ismeretlenek maradhatnak [11].
Az elmúlt években számos tanulmány bizonyította, hogy a SET (set-up modell) javítható néhány fontos tényező kezelésével, amelyek befolyásolhatják a SET hatékonyságát instrumentális, adminisztratív és interpretatív szinten. A 3. ábra bemutat néhány lépést, amelyek segítségével hatékony SET modell hozható létre. A következő szakaszok részletesebb leírást tartalmaznak.
A SET (set-menedzsment) instrumentális, vezetői és interpretatív szintű fejlesztése hatékony SET-modellek kidolgozása érdekében.
Amint azt korábban említettük, a szakirodalom megerősíti, hogy a nemi elfogultság befolyásolhatja a tanárok értékelését [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46]. Peterson és munkatársai (2019) [40] egy tanulmányt végeztek, amely azt vizsgálta, hogy a diákok neme befolyásolja-e a diákok elfogultságcsökkentő erőfeszítésekre adott válaszait. Ebben a tanulmányban a SET-et négy osztálynak adták át (kettőt férfi, kettőt pedig női tanárok tanítottak). Minden kurzuson belül a diákokat véletlenszerűen osztották be, hogy egy standard értékelési eszközt vagy ugyanazt az eszközt kapják, de a nemi elfogultság csökkentésére tervezett nyelvet használva. A tanulmány megállapította, hogy az elfogultságellenes értékelési eszközöket használó diákok szignifikánsan magasabb SET-pontszámokat adtak a női tanároknak, mint azok, akik standard értékelési eszközöket használtak. Ezenkívül a férfi tanárok értékelésében nem volt különbség a két csoport között. A tanulmány eredményei szignifikánsak, és azt mutatják, hogy egy viszonylag egyszerű nyelvi beavatkozás hogyan csökkentheti a nemi elfogultságot a tanításról alkotott hallgatói értékelésekben. Ezért jó gyakorlat, ha minden SET-et gondosan mérlegelünk, és a nyelvet használjuk a nemi elfogultság csökkentésére a fejlesztésük során [40].
Ahhoz, hogy hasznos eredményeket kapjunk bármely SET-ből, fontos előzetesen gondosan mérlegelni az értékelés célját és a kérdések megfogalmazását. Bár a legtöbb SET-felmérés egyértelműen feltüntet egy részt a kurzus szervezeti vonatkozásairól, azaz a „Kurzusértékelés”, és egy részt az oktatókról, azaz az „Oktatói értékelés”, egyes felmérésekben a különbség nem feltétlenül nyilvánvaló, vagy a hallgatók között zavar lehet azzal kapcsolatban, hogy hogyan kell ezeket a területeket külön-külön értékelni. Ezért a kérdőív kialakításának megfelelőnek kell lennie, tisztáznia kell a kérdőív két különböző részét, és tájékoztatnia kell a hallgatókat arról, hogy mit kell értékelni az egyes területeken. Ezenkívül ajánlott pilot tesztelést végezni annak megállapítására, hogy a hallgatók a kívánt módon értelmezik-e a kérdéseket [24]. Oermann és munkatársai (2018) [26] tanulmányában a kutatók átkutatták és szintetizálták a SET használatát leíró szakirodalmat az alap- és mesterképzésben a különböző tudományterületeken, hogy útmutatást nyújtsanak az oktatóknak a SET ápolási és más egészségügyi szakmai programokban való használatáról. Az eredmények azt sugallják, hogy a SET-eszközöket használat előtt értékelni kell, beleértve az eszközök pilot tesztelését olyan hallgatókkal, akik esetleg nem tudják a SET-eszköz tételeit vagy kérdéseit az oktató szándékai szerint értelmezni.
Számos tanulmány vizsgálta, hogy a SET irányítási modell befolyásolja-e a diákok elkötelezettségét.
Daumier és munkatársai (2004) [47] összehasonlították a tantermi oktatóképzés hallgatói értékeléseit az online gyűjtött értékelésekkel a válaszok számának és az értékelések összehasonlításával. A kutatások azt mutatják, hogy az online felmérések jellemzően alacsonyabb válaszadási arányt mutatnak, mint a tantermi felmérések. A tanulmány azonban megállapította, hogy az online értékelések nem eredményeztek szignifikánsan eltérő átlagos osztályzatokat a hagyományos tantermi értékelésekhez képest.
Jelentések szerint az online (de gyakran nyomtatott) SET-ek kitöltése során hiányzott a kétirányú kommunikáció a diákok és a tanárok között, aminek következtében nem volt lehetőség a pontosításra. Ezért a SET-kérdések, megjegyzések vagy hallgatói értékelések jelentése nem mindig egyértelmű [48]. Egyes intézmények úgy kezelték ezt a problémát, hogy egy órára összehívták a diákokat, és egy meghatározott időt különítettek el a SET online (névtelen) kitöltésére [49]. Malone és munkatársai (2018) [49] tanulmányukban több találkozót is tartottak, hogy megvitassák a diákokkal a SET célját, azt, hogy kik fogják látni a SET-eredményeket és hogyan fogják azokat felhasználni, valamint a diákok által felvetett egyéb kérdéseket. A SET-et nagyban hasonlítják egy fókuszcsoporthoz: a kollektív csoport informális szavazás, vita és pontosítás útján válaszol a nyitott kérdésekre. A válaszadási arány meghaladta a 70–80%-ot, ami széleskörű információkat nyújtott a tanároknak, az adminisztrátoroknak és a tantervi bizottságoknak [49].
Amint azt fentebb említettük, Uitdehaage és O'Neill tanulmányában [5] a kutatók arról számoltak be, hogy a tanulmányukban részt vevő hallgatók nem létező oktatókat értékeltek. Amint azt korábban említettük, ez gyakori probléma az orvosi egyetemi kurzusokon, ahol minden kurzust sok oktató oktathat, de a hallgatók nem emlékezhetnek arra, hogy ki járult hozzá az egyes kurzusokhoz, vagy mit csinált az egyes oktatók. Egyes intézmények úgy oldották meg ezt a problémát, hogy minden oktatóról fényképet, a nevét és a bemutatott témát/dátumot feltüntetnek, hogy felfrissítsék a hallgatók emlékezetét és elkerüljék a SET hatékonyságát veszélyeztető problémákat [49].
A SET-tel kapcsolatos talán legfontosabb probléma, hogy a tanárok nem képesek helyesen értelmezni a kvantitatív és kvalitatív SET-eredményeket. Egyes tanárok statisztikai összehasonlításokat szeretnének végezni az évek között, mások az átlagpontszámok kisebb növekedését/csökkenését is jelentős változásnak tekinthetik, egyesek minden felmérésnek hinni akarnak, mások pedig kifejezetten szkeptikusak minden felméréssel szemben [45,50, 51].
Az eredmények helytelen értelmezésének vagy a hallgatói visszajelzések feldolgozásának elmulasztása befolyásolhatja a tanárok tanítással kapcsolatos hozzáállását. Lutovac és munkatársai (2017) [52] eredményei szerint a támogató tanárképzés szükséges és előnyös a hallgatóknak nyújtott visszajelzés szempontjából. Az orvosképzésnek sürgősen képzésre van szüksége a SET-eredmények helyes értelmezéséhez. Ezért az orvosi egyetemek oktatóinak képzést kell kapniuk arról, hogyan értékeljék az eredményeket, és mely fontos területekre kell összpontosítaniuk [50, 51].
Így a leírt eredmények arra utalnak, hogy a SET-eket gondosan kell megtervezni, lebonyolítani és értelmezni annak biztosítása érdekében, hogy a SET-eredmények érdemi hatást gyakoroljanak minden érdekelt félre, beleértve az oktatókat, az orvosi egyetem adminisztrátorait és a hallgatókat.
A SET néhány korlátja miatt továbbra is törekednünk kell egy átfogó értékelési rendszer létrehozására, amely csökkenti a tanítás hatékonyságában mutatkozó elfogultságot, és támogatja az orvosok szakmai fejlődését.
A klinikai oktatók oktatási minőségének teljesebb megértéséhez több forrásból – beleértve a hallgatókat, kollégákat, programadminisztrátorokat és az oktatók önértékeléseit – származó adatok gyűjtése és triangulációja révén nyerhetünk [53, 54, 55, 56, 57]. A következő szakaszok a hatékony SET mellett használható egyéb eszközöket/módszereket ismertetik a képzés hatékonyságának megfelelőbb és teljesebb megértésének elősegítésére (4. ábra).
Módszerek, amelyek felhasználhatók egy átfogó modell kidolgozásához az orvosi egyetemen folyó oktatás hatékonyságának értékelésére szolgáló rendszerről.
A fókuszcsoportot úgy definiálják, mint „egy adott kérdéskör megvizsgálására szervezett csoportos megbeszélés” [58]. Az elmúlt években az orvosi egyetemek fókuszcsoportokat hoztak létre, hogy minőségi visszajelzést kapjanak a hallgatóktól, és kezeljék az online SET néhány buktatóját. Ezek a tanulmányok azt mutatják, hogy a fókuszcsoportok hatékonyak a minőségi visszajelzés nyújtásában és a hallgatói elégedettség növelésében [59, 60, 61].
Brundle és munkatársai [59] tanulmányában a kutatók egy hallgatói értékelő csoportfolyamatot vezettek be, amely lehetővé tette a kurzusvezetők és a hallgatók számára, hogy fókuszcsoportokban megvitassák a kurzusokat. Az eredmények azt mutatják, hogy a fókuszcsoportos megbeszélések kiegészítik az online értékeléseket, és növelik a hallgatók elégedettségét a kurzusértékelési folyamat egészével. A hallgatók értékelik a kurzusvezetőkkel való közvetlen kommunikáció lehetőségét, és úgy vélik, hogy ez a folyamat hozzájárulhat az oktatás fejlesztéséhez. Azt is úgy érezték, hogy megértették a kurzusvezető nézőpontját. A hallgatók mellett a kurzusvezetők is úgy értékelték, hogy a fókuszcsoportok hatékonyabb kommunikációt tettek lehetővé a hallgatókkal [59]. Így a fókuszcsoportok használata teljesebb képet adhat az orvosi egyetemeknek az egyes kurzusok minőségéről és az adott oktatók oktatási hatékonyságáról. Meg kell azonban jegyezni, hogy maguknak a fókuszcsoportoknak is vannak korlátai, például csak kis számú hallgató vesz részt bennük az online SET programhoz képest, amely minden hallgató számára elérhető. Ezenkívül a különböző kurzusokhoz tartozó fókuszcsoportok lebonyolítása időigényes folyamat lehet a konzulensek és a hallgatók számára. Ez jelentős korlátozásokat jelent, különösen az orvostanhallgatók számára, akiknek nagyon elfoglalt a napirendjük, és különböző földrajzi helyeken végezhetnek klinikai gyakorlatokat. Ezenkívül a fókuszcsoportok nagyszámú tapasztalt facilitátort igényelnek. A fókuszcsoportok beépítése az értékelési folyamatba azonban részletesebb és konkrétabb információkat nyújthat a képzés hatékonyságáról [48, 59, 60, 61].
Schiekierka-Schwacke és munkatársai (2018) [62] két német orvosi egyetemen vizsgálták a hallgatók és az oktatók véleményét egy új, az oktatói teljesítmény és a hallgatók tanulási eredményeinek értékelésére szolgáló eszközről. Fókuszcsoportos megbeszéléseket és egyéni interjúkat folytattak az oktatókkal és az orvostanhallgatókkal. A tanárok értékelték az értékelő eszköz által nyújtott személyes visszajelzést, a hallgatók pedig arról számoltak be, hogy létre kellene hozni egy visszacsatolási ciklust, amely magában foglalja a célokat és a következményeket, az értékelési adatok jelentésének ösztönzése érdekében. Így a tanulmány eredményei alátámasztják a hallgatókkal folytatott kommunikáció lezárásának és az értékelési eredményekről való tájékoztatásuk fontosságát.
A Peer Review of Teaching (PRT) programok nagyon fontosak, és már évek óta alkalmazzák őket a felsőoktatásban. A PRT magában foglalja az oktatás megfigyelésének és a megfigyelőnek adott visszajelzés együttműködésen alapuló folyamatát az oktatás hatékonyságának javítása érdekében [63]. Ezenkívül az önreflexiós gyakorlatok, a strukturált utólagos megbeszélések és a képzett kollégák szisztematikus megbízása segíthet a PRT hatékonyságának és a tanszék oktatási kultúrájának javításában [64]. Ezeknek a programoknak számos előnyük van, mivel segíthetnek az oktatóknak konstruktív visszajelzést kapni olyan oktatóktól, akik a múltban hasonló nehézségekkel szembesültek, és nagyobb támogatást nyújthatnak hasznos fejlesztési javaslatokkal [63]. Ezenkívül, ha konstruktívan alkalmazzák, a peer review javíthatja a kurzusok tartalmát és az oktatási módszereket, valamint támogathatja az orvosoktatókat az oktatás minőségének javításában [65, 66].
Campbell és munkatársai (2019) [67] egy friss tanulmánya bizonyítékot szolgáltat arra, hogy a munkahelyi kortárs támogató modell elfogadható és hatékony tanárfejlesztési stratégia a klinikai egészségügyi oktatók számára. Egy másik tanulmányban Caygill és munkatársai [68] egy olyan vizsgálatot végeztek, amelyben egy speciálisan kialakított kérdőívet küldtek a Melbourne-i Egyetem egészségügyi oktatóinak, hogy megoszthassák a PRT használatával kapcsolatos tapasztalataikat. Az eredmények azt mutatják, hogy az orvosok körében fokozott érdeklődés mutatkozik a PRT iránt, és hogy az önkéntes és informatív szakmai értékelési formátumot fontos és értékes szakmai fejlődési lehetőségnek tekintik.
Érdemes megjegyezni, hogy a PRT programokat gondosan kell megtervezni, hogy elkerüljük az ítélkező, „vezetői” környezet kialakulását, amely gyakran fokozott szorongáshoz vezet a megfigyelt tanárok körében [69]. Ezért a célnak a PRT tervek gondos kidolgozásának kell lennie, amelyek kiegészítik és elősegítik a biztonságos környezet megteremtését, és konstruktív visszajelzést nyújtanak. Ezért speciális képzésre van szükség a bírálók képzéséhez, és a PRT programokban csak valóban érdeklődő és tapasztalt tanárokat szabad bevonni. Ez különösen fontos, ha a PRT-ből származó információkat olyan kari döntésekben használják fel, mint a magasabb szintre való előléptetések, a fizetésemelés és a fontos adminisztratív pozíciókba való előléptetések. Meg kell jegyezni, hogy a PRT időigényes, és a fókuszcsoportokhoz hasonlóan nagyszámú tapasztalt oktató részvételét igényli, ami megnehezíti ennek a megközelítésnek a megvalósítását az alacsony erőforrásokkal rendelkező orvosi egyetemeken.
Newman és munkatársai (2019) [70] leírják a képzés előtt, alatt és után alkalmazott stratégiákat, a megfigyeléseket, amelyek kiemelik a legjobb gyakorlatokat és azonosítják a tanulási problémák megoldásait. A kutatók 12 javaslatot tettek a bírálóknak, többek között: (1) bölcsen válassza meg a szavait; (2) engedje, hogy a megfigyelő határozza meg a beszélgetés irányát; (3) tartsa bizalmasan és formázva a visszajelzéseket; (4) tartsa bizalmasan és formázva a visszajelzéseket; A visszajelzés a tanítási készségekre összpontosít, nem pedig az egyes tanárokra; (5) Ismerje meg kollégáit (6) Legyen tekintettel önmagára és másokra (7) Ne feledje, hogy a névmások fontos szerepet játszanak a visszajelzésadásban, (8) Használjon kérdéseket a tanítási perspektíva megvilágítására, (10) Teremtsen bizalmat és visszajelzést a társak megfigyelése során, (11) tegye a tanulás megfigyelését mindenki számára előnyös helyzetté, (12) készítsen cselekvési tervet. A kutatók azt is vizsgálják, hogy az elfogultság hogyan befolyásolja a megfigyeléseket, és hogy a tanulás, a megfigyelés és a visszajelzés megvitatása hogyan nyújthat értékes tanulási tapasztalatokat mindkét fél számára, ami hosszú távú partnerségekhez és a jobb oktatási minőséghez vezethet. Gomaly és munkatársai (2014) [71] arról számolt be, hogy a hatékony visszajelzés minőségének magában kell foglalnia (1) a feladat tisztázását iránymutatások megadásával, (2) a fokozott motivációt a nagyobb erőfeszítés ösztönzésére, és (3) a címzett értékes folyamatként való érzékelését. A visszajelzést egy megbízható forrás biztosítja.
Bár az orvosi egyetem oktatói visszajelzést kapnak a PRT-ről, fontos, hogy képezzék őket a visszajelzések értelmezésére (hasonlóan a SET-értelmezési képzés ajánlásához), és elegendő időt biztosítsanak számukra a kapott visszajelzések konstruktív reflexiójára.
Közzététel ideje: 2023. november 24.