A tanterv és a kar értékelése kritikus fontosságú minden felsőoktatási intézmény számára, beleértve az orvosi egyetemeket is.A tanulói tanítási értékelések (SET) jellemzően anonim kérdőívek formájában valósulnak meg, és bár eredetileg kurzusok és programok értékelésére fejlesztették ki őket, idővel a tanítás hatékonyságának mérésére, majd a tanítással kapcsolatos fontos döntések meghozatalára is használták őket.Pedagógus szakmai fejlődés.Bizonyos tényezők és torzítások azonban befolyásolhatják a SET-pontszámokat, és a tanítás hatékonysága nem mérhető objektíven.Bár az általános felsőoktatásban a kurzusok és oktatók értékelésének szakirodalma jól megalapozott, aggodalomra ad okot, hogy ugyanazokat az eszközöket használják az orvosi programok kurzusainak és oktatóinak értékelésére.A SET az általános felsőoktatásban különösen nem alkalmazható közvetlenül az orvosi egyetemek tantervének kialakítására és megvalósítására.Ez az áttekintés áttekintést nyújt arról, hogy a SET hogyan javítható az eszköz, a menedzsment és az értelmezés szintjén.Ezen túlmenően, ez a cikk rámutat arra is, hogy a különböző módszerek, például a szakértői értékelés, a fókuszcsoportok és az önértékelés segítségével több forrásból – például hallgatókból, társakból, programvezetőkből és önismeretből – származó adatok gyűjtésére és háromszögelésére használva egy átfogó értékelési rendszert meg kell építeni.Hatékonyan mérje az oktatás hatékonyságát, támogassa az orvosoktatók szakmai fejlődését és javítsa az oktatás minőségét az orvosképzésben.
A kurzus- és programértékelés belső minőségellenőrzési folyamat minden felsőoktatási intézményben, beleértve az orvosi egyetemeket is.A Student Evaluation of Teaching (SET) rendszerint névtelen papír vagy online kérdőív formájában történik, olyan értékelési skála használatával, mint például a Likert-skála (általában ötös, hetes vagy magasabb), amely lehetővé teszi az emberek számára, hogy jelezzék egyetértésüket vagy egyetértésüket.Konkrét állításokkal nem értek egyet) [1,2,3].Bár a SET-eket eredetileg kurzusok és programok értékelésére fejlesztették ki, idővel a tanítás hatékonyságának mérésére is használták őket [4, 5, 6].A tanítás hatékonyságát azért tartják fontosnak, mert feltételezik, hogy pozitív kapcsolat van a tanítás eredményessége és a tanulók tanulása között [7].Bár a szakirodalom nem határozza meg egyértelműen a képzés hatékonyságát, általában a képzés sajátos jellemzőivel, például „csoportos interakcióval”, „felkészüléssel és szervezéssel”, „visszajelzés a hallgatóknak” [8].
A SET-től kapott információk hasznos információkkal szolgálhatnak, például, hogy szükség van-e az adott kurzusban használt tananyagok vagy oktatási módszerek módosítására.A SET-et a tanárok szakmai fejlődésével kapcsolatos fontos döntések meghozatalára is használják [4,5,6].Ennek a megközelítésnek a helyénvalósága azonban megkérdőjelezhető, amikor a felsőoktatási intézmények az oktatókkal kapcsolatos döntéseket hoznak, mint például a magasabb akadémiai fokozatokba való előléptetés (amely gyakran a beosztással és a fizetésemeléssel jár) és az intézményen belüli kulcsfontosságú adminisztratív pozíciókra [4, 9].Ezen túlmenően az intézmények gyakran megkövetelik az új oktatóktól, hogy a korábbi intézmények SET-jeit vegyék fel az új pozíciók megpályázására, ami nemcsak az intézményen belüli oktatói előléptetéseket befolyásolja, hanem a potenciális új munkáltatókat is [10].
Bár a tanterv- és tanárértékelés szakirodalma jól megalapozott az általános felsőoktatás területén, ez nem így van az orvostudomány és az egészségügy területén [11].Az orvosoktatók tanterve és igényei eltérnek az általános felsőoktatásétól.Például a csoportos tanulást gyakran használják az integrált orvosoktatási kurzusokon.Ez azt jelenti, hogy az orvosi iskola tananyaga egy sor kurzusból áll, amelyeket számos olyan oktató tanít, akik képzettséggel és tapasztalattal rendelkeznek különböző orvosi tudományterületeken.Noha a hallgatók hasznot húznak a terület szakértőinek mélyreható tudásából ebben a struktúrában, gyakran szembesülnek azzal a kihívással, hogy alkalmazkodjanak az egyes tanárok eltérő tanítási stílusához [1, 12, 13, 14].
Bár vannak különbségek az általános felsőoktatás és az orvosképzés között, az előbbiben használt SET-t időnként az orvosi és egészségügyi képzéseken is alkalmazzák.A SET bevezetése az általános felsőoktatásban azonban számos kihívást jelent az egészségügyi szakmai programok tantervének és oktatóinak értékelése szempontjából [11].Különösen a tanítási módszerek és a tanári képesítések különbségei miatt előfordulhat, hogy a kurzusértékelés eredményei nem tartalmazzák az összes tanár vagy osztály hallgatói véleményét.Uytenhaage és O'Neill (2015) [5] kutatása azt sugallja, hogy nem helyénvaló megkérni a diákokat, hogy a kurzus végén minden egyes tanárt értékeljenek, mert szinte lehetetlen, hogy a hallgatók emlékezzenek és kommentáljanak több tanár értékelését.kategóriákat.Ezen túlmenően sok orvostanár egyben orvos is, akiknek a tanítás csak egy kis részét képezi a feladataiknak [15, 16].Mivel elsősorban a betegellátásban és sok esetben a kutatásban vesznek részt, gyakran kevés idejük jut tanítási készségeik fejlesztésére.Az orvosoknak, mint tanároknak azonban időt, támogatást és konstruktív visszajelzést kell kapniuk szervezeteiktől [16].
Az orvostanhallgatók általában erősen motivált és keményen dolgozó egyének, akik sikeresen felvételt nyernek az orvosi egyetemre (nemzetközi versenyképes és igényes folyamat révén).Emellett az orvostanhallgatóktól az orvostanhallgatóktól rövid időn belül nagy mennyiségű tudás elsajátítása és nagyszámú készség fejlesztése, valamint komplex belső és átfogó országos felmérések sikeres elvégzése várható [17,18,19 ,20].Így az orvostanhallgatóktól elvárt magas követelmények miatt az orvostanhallgatók kritikusabbak lehetnek, és magasabb elvárásokat támasztanak a magas színvonalú oktatással szemben, mint a többi tudományterület hallgatói.Így az orvostanhallgatók a fent említett okok miatt alacsonyabb értékelést kaphatnak professzoraiktól, mint más tudományágak hallgatói.Érdekes módon korábbi tanulmányok pozitív kapcsolatot mutattak ki a tanulói motiváció és az egyéni tanári értékelések között [21].Ezenkívül az elmúlt 20 évben a legtöbb orvosi egyetemi tanterv a világon vertikálisan integrálttá vált [22], így a hallgatók már programjuk korai éveiben ki vannak téve a klinikai gyakorlatnak.Így az elmúlt néhány évben az orvosok egyre nagyobb mértékben vettek részt az orvostanhallgatók oktatásában, és már a programjaik korai szakaszában is támogatták a speciális kari populációkra szabott SET-ek kidolgozásának fontosságát [22].
Az orvosképzés fent említett sajátosságai miatt az egyetlen oktató által oktatott általános felsőoktatási kurzusok értékelésére használt SET-eket hozzá kell igazítani az orvosi programok integrált tantervének és klinikai karának értékeléséhez [14].Ezért hatékonyabb SET-modellek és átfogó értékelési rendszerek kidolgozására van szükség az orvosképzésben való hatékonyabb alkalmazás érdekében.
A jelenlegi áttekintés ismerteti a SET (általános) felsőoktatásban történő alkalmazásának legújabb eredményeit és korlátait, majd felvázolja a SET különféle igényeit az orvosképzési kurzusok és karok számára.Ez az áttekintés frissítést ad arról, hogy a SET hogyan javítható instrumentális, adminisztratív és értelmezési szinten, és a hatékony SET-modellek és átfogó értékelési rendszerek fejlesztésének céljaira összpontosít, amelyek hatékonyan mérik a tanítás hatékonyságát, támogatják a hivatásos egészségügyi oktatók fejlődését és javítják az oktatás minősége az orvosképzésben.
Ez a tanulmány Green és munkatársai tanulmányát követi.(2006) [23] tanácsot, Baumeister (2013) [24] pedig narratív recenziók írásával kapcsolatos tanácsokat.Úgy döntöttünk, hogy erről a témáról narratív áttekintést írunk, mert ez a fajta áttekintés segít a téma széles perspektívájában.Sőt, mivel a narratív áttekintések módszertanilag sokrétű tanulmányokra épülnek, segítenek megválaszolni a tágabb kérdéseket.Ezenkívül a narratív kommentár segíthet a témával kapcsolatos gondolkodás és vita ösztönzésében.
Hogyan használják a SET-et az orvosképzésben, és milyen kihívásokat jelentenek az általános felsőoktatásban alkalmazott SET-hez képest?
A Pubmed és az ERIC adatbázisaiban a „hallgatók tanításának értékelése”, „tanítás eredményessége”, „orvosi oktatás”, „felsőoktatás”, „tanterv és oktatói értékelés”, valamint a Peer Review 2000 esetében logikai operátorok kombinációjával kerestek. .2021 és 2021 között megjelent cikkek. Bevételi kritériumok: A bevont tanulmányok eredeti tanulmányok vagy áttekintő cikkek voltak, és a tanulmányok relevánsak voltak a három fő kutatási kérdés területén.Kizárási kritériumok: Azok a tanulmányok, amelyek nem angol nyelvűek, vagy amelyekben nem találhatók teljes szövegű cikkek, vagy amelyek nem vonatkoztak a három fő kutatási kérdésre, kizárásra kerültek a jelenlegi áttekintési dokumentumból.A kiadványok kiválasztása után a következő témákba és kapcsolódó altémákba rendeztük őket: (a) A SET használata az általános felsőoktatásban és korlátai, (b) A SET alkalmazása az orvosképzésben és annak jelentősége az összehasonlítással kapcsolatos kérdések kezelésében. SET (c ) A SET fejlesztése instrumentális, irányítási és értelmezési szinten a hatékony SET-modellek kidolgozása érdekében.
Az 1. ábra az áttekintés jelenlegi részében szereplő és megvitatott kiválasztott cikkek folyamatábráját mutatja be.
A SET-t hagyományosan a felsőoktatásban használják, és a témát a szakirodalom is alaposan tanulmányozta [10, 21].Számos tanulmány azonban megvizsgálta számos korlátot és erőfeszítést ezeknek a korlátoknak a kezelésére.
A kutatások azt mutatják, hogy sok olyan változó van, amely befolyásolja a SET pontszámokat [10, 21, 25, 26].Ezért fontos, hogy az adminisztrátorok és tanárok megértsék ezeket a változókat az adatok értelmezésekor és felhasználása során.A következő rész rövid áttekintést nyújt ezekről a változókról.A 2. ábra néhány olyan tényezőt mutat be, amelyek befolyásolják a SET pontszámokat, amelyeket a következő szakaszok részleteznek.
Az elmúlt években az online készletek használata megnövekedett a papírkészletekhez képest.Az irodalomban található bizonyítékok azonban azt sugallják, hogy az online SET anélkül is elvégezhető, hogy a diákok a szükséges figyelmet fordítanák a befejezési folyamatra.Uitdehaage és O'Neill [5] érdekes tanulmányában nem létező tanárokat adtak a SET-hez, és sok diák adott visszajelzést [5].Ezenkívül az irodalomban található bizonyítékok arra utalnak, hogy a hallgatók gyakran úgy gondolják, hogy a SET elvégzése nem vezet jobb iskolai végzettséghez, ami az orvostanhallgatók elfoglaltságával párosulva alacsonyabb válaszadási arányt eredményezhet [27].Bár a kutatások azt mutatják, hogy a tesztet teljesítő diákok véleménye nem különbözik az egész csoportétól, az alacsony válaszadási arányok miatt a tanárok kevésbé veszik komolyan az eredményeket [28].
A legtöbb online SET névtelenül készül el.Az ötlet az, hogy a diákok szabadon kifejthessék véleményüket anélkül, hogy feltételeznék, hogy kifejezésük bármilyen hatással lesz a tanárokkal való jövőbeni kapcsolataikra.Alfonso és munkatársai tanulmányában [29] a kutatók anonim minősítéseket és minősítéseket használtak, amelyekben az értékelőknek meg kellett adniuk a nevüket (nyilvános értékelések), hogy értékeljék az orvosi karok oktatási hatékonyságát a rezidensek és az orvostanhallgatók által.Az eredmények azt mutatták, hogy a tanárok általában alacsonyabb pontszámot értek el az anonim értékeléseken.A szerzők azzal érvelnek, hogy a tanulók őszintébbek az anonim értékeléseknél a nyílt értékelések bizonyos akadályai miatt, például a résztvevő tanárokkal fennálló megsérült munkakapcsolatok miatt [29].Ugyanakkor azt is meg kell jegyezni, hogy az online SET-hez gyakran kapcsolódó anonimitás miatt egyes tanulók tiszteletlenséghez és megtorláshoz vezethetnek az oktatóval szemben, ha az értékelési pontszámok nem felelnek meg a hallgatói elvárásoknak [30].A kutatások azonban azt mutatják, hogy a hallgatók ritkán adnak tiszteletlen visszajelzést, és ez utóbbit tovább korlátozhatja, ha megtanítja a hallgatókat konstruktív visszajelzésre [30].
Számos tanulmány kimutatta, hogy összefüggés van a tanulók SET-pontszámai, a teszttel kapcsolatos elvárásaik és a teszttel való elégedettségük között [10, 21].Például Strobe (2020) [9] arról számolt be, hogy a diákok a könnyű kurzusokat, a tanárok pedig a gyenge osztályzatokat jutalmazzák, ami a rossz tanítást és az osztályzatok inflációjához vezethet [9].Egy közelmúltbeli tanulmányban Looi et al.(2020) [31] A kutatók arról számoltak be, hogy a kedvezőbb SET-ek összefüggenek, és könnyebben értékelhetők.Ezen túlmenően nyugtalanító bizonyítékok vannak arra vonatkozóan, hogy a SET fordítottan összefügg a tanulók teljesítményével a következő kurzusokban: minél magasabb az értékelés, annál rosszabb a hallgatói teljesítmény a következő kurzusokban.Cornell és mtsai.(2016)[32] végzett egy tanulmányt annak vizsgálatára, hogy a főiskolai hallgatók viszonylag többet tanultak-e azoktól a tanároktól, akiknek SET-jét magasra értékelték.Az eredmények azt mutatják, hogy amikor egy kurzus végén értékelik a tanulást, a legmagasabb értékelést kapott tanárok is hozzájárulnak a legtöbb hallgató tanulásához.Ha azonban a tanulást a későbbi releváns kurzusok teljesítményén mérik, a viszonylag alacsony pontszámot elérő tanárok a leghatékonyabbak.A kutatók azt feltételezték, hogy egy kurzus produktív módon történő kihívóbbá tétele csökkentheti az értékeléseket, de javíthatja a tanulást.A tanulói értékelés tehát nem lehet kizárólagos alapja a tanítás értékelésének, hanem el kell ismerni.
Számos tanulmány kimutatta, hogy a SET teljesítményét maga a pálya és annak szervezése befolyásolja.Ming és Baozhi [33] azt találta tanulmányukban, hogy szignifikáns különbségek vannak a SET-pontszámokban a különböző tantárgyak tanulói között.Például a klinikai tudományok magasabb SET-pontszámmal rendelkeznek, mint az alaptudományok.A szerzők kifejtették, hogy ennek az az oka, hogy az orvostanhallgatók érdeklődnek az orvosok iránt, ezért személyes érdeklődésük és nagyobb motivációjuk van, hogy többet vegyenek részt klinikai tudományok kurzusain, mint az alapfokú tudományos kurzusokon [33].A választható tantárgyakhoz hasonlóan a tanulók motivációja is pozitívan hat a pontszámokra [21].Számos más tanulmány is alátámasztja, hogy a kurzus típusa befolyásolhatja a SET pontszámokat [10, 21].
Sőt, más tanulmányok kimutatták, hogy minél kisebb az osztálylétszám, annál magasabb szintű SET-t érnek el a tanárok [10, 33].Az egyik lehetséges magyarázat az, hogy a kisebb osztálylétszám növeli a tanár-diák interakció lehetőségeit.Ezenkívül az értékelés körülményei befolyásolhatják az eredményeket.Például úgy tűnik, hogy a SET-pontszámokat befolyásolja a kurzus tanításának időpontja és napja, valamint a hét azon napja, amikor a SET befejeződik (pl. a hétvégén elvégzett értékelések általában több pozitív pontszámot eredményeznek), mint a befejezett értékelések. a hét elején.[10].
Hessler és munkatársai egy érdekes tanulmánya is megkérdőjelezi a SET hatékonyságát.[34].Ebben a vizsgálatban egy randomizált, kontrollált vizsgálatot végeztek sürgősségi orvosi tanfolyamon.A harmadik éves orvostanhallgatókat véletlenszerűen besorolták egy kontrollcsoportba vagy egy olyan csoportba, amely ingyenes csokis sütiket kapott (süticsoport).Minden csoportot ugyanazok a tanárok tanítottak, a képzés tartalma és tananyaga mindkét csoportban azonos volt.A kurzus után minden hallgatót felkértek egy készlet kitöltésére.Az eredmények azt mutatták, hogy a cookie-csoport szignifikánsan jobbra értékelte a tanárokat, mint a kontrollcsoport, ami megkérdőjelezi a SET hatékonyságát [34].
A szakirodalomban található bizonyítékok azt is alátámasztják, hogy a nem befolyásolhatja a SET-pontszámokat [35,36,37,38,39,40,41,42,43,44,45,46].Egyes tanulmányok például összefüggést mutattak ki a tanulók neme és az értékelési eredmények között: a női hallgatók magasabb pontszámot értek el, mint a férfi hallgatók [27].A legtöbb bizonyíték megerősíti, hogy a diákok alacsonyabbra értékelik a női tanárokat, mint a férfi tanárokat [37, 38, 39, 40].Például Boring et al.[38] kimutatta, hogy mind a férfi, mind a női hallgatók úgy gondolták, hogy a férfiak tájékozottabbak és erősebb vezetői képességekkel rendelkeznek, mint a nők.Azt a tényt, hogy a nemek és a sztereotípiák befolyásolják a SET-t, MacNell és munkatársai tanulmánya is alátámasztja.[41], aki arról számolt be, hogy tanulmányában a hallgatók a tanítás különböző aspektusaiban alacsonyabbra értékelték a női tanárokat, mint a férfiakat [41].Sőt, Morgan és munkatársai [42] bizonyítékot szolgáltattak arra vonatkozóan, hogy a női orvosok négy fő klinikai rotációban (sebészet, gyermekgyógyászat, szülészet-nőgyógyászat és belgyógyászat) alacsonyabb oktatási minősítést kaptak, mint a férfi orvosok.
Murray és munkatársai (2020) tanulmányában [43] a kutatók arról számoltak be, hogy az oktatók vonzereje és a hallgatók érdeklődése a kurzus iránt magasabb SET-pontszámmal járt együtt.Ezzel szemben a pálya nehézségei alacsonyabb SET-pontszámokkal járnak.Ezenkívül a hallgatók magasabb SET-pontszámot adtak a fiatal, fehér férfi bölcsész tanároknak és a teljes professzori állást betöltő oktatóknak.Nem volt összefüggés a SET tanítási értékelései és a tanári felmérések eredményei között.Más tanulmányok is megerősítik a tanárok fizikai vonzerejének az értékelési eredményekre gyakorolt pozitív hatását [44].
Clayson és mtsai.(2017) [45] arról számolt be, hogy bár általános az egyetértés abban, hogy a SET megbízható eredményeket ad, és hogy az osztályok és a tanárok átlagai konzisztensek, továbbra is vannak következetlenségek az egyes tanulói válaszokban.Összefoglalva, ennek az értékelő jelentésnek az eredményei azt mutatják, hogy a tanulók nem értettek egyet azzal, amit értékelniük kellett.A hallgatók tanítási értékeléseiből származó megbízhatósági mérőszámok nem elegendőek az érvényesség megállapításához.Ezért a SET néha a diákokról, nem pedig a tanárokról nyújt információkat.
Az egészségnevelési SET eltér a hagyományos SET-től, de az oktatók gyakran az általános felsőoktatásban elérhető SET-et használják, nem pedig a szakirodalomban ismertetett egészségügyi szakmákra vonatkozó SET-eket.Az évek során végzett tanulmányok azonban számos problémát azonosítottak.
Jones és munkatársai (1994).[46] tanulmányt végzett annak eldöntésére, hogy miként értékeljék az orvosi egyetemi oktatókat az oktatók és az adminisztrátorok szemszögéből.Összességében a leggyakrabban emlegetett kérdések a tanítás értékelésével kapcsolatban.A leggyakoribb panaszok a jelenlegi teljesítményértékelési módszerek elégtelenségére vonatkoztak, a válaszadók konkrét panaszokat fogalmaztak meg a SET-re és a tanítás elismerésének hiányára a tudományos jutalmazási rendszerekben.Az egyéb jelentett problémák között szerepelt az értékelési eljárások és az előléptetési kritériumok ellentmondása az osztályokon, a rendszeres értékelések hiánya, valamint az értékelési eredmények és a fizetések összekapcsolásának elmulasztása.
Royal és munkatársai (2018) [11] felvázolják a SET alkalmazásának néhány korlátját az általános felsőoktatásban az egészségügyi szakmai programok tananyagának és oktatóinak értékelésére.A kutatók arról számolnak be, hogy a SET a felsőoktatásban számos kihívással néz szembe, mivel nem alkalmazható közvetlenül a tanterv kialakítására és az orvosi egyetemek kurzusoktatására.A gyakran ismételt kérdéseket, beleértve az oktatóra és a kurzusra vonatkozó kérdéseket is, gyakran egy kérdőívben egyesítik, így a hallgatóknak gyakran nehézséget okoz megkülönböztetni őket.Ezenkívül az orvosi programok kurzusait gyakran több oktató tanítja.Ez érvényességi kérdéseket vet fel, tekintettel arra, hogy Royal és munkatársai a hallgatók és a tanárok közötti interakciók potenciálisan korlátozott számát értékelték.(2018)[11].Hwang et al.(2017) [14], a kutatók azt a koncepciót vizsgálták, hogy a retrospektív kurzusértékelések hogyan tükrözik átfogóan a hallgatók különféle oktatói kurzusokról alkotott véleményét.Eredményeik azt sugallják, hogy az egyénre szabott osztályértékelés szükséges a több részlegből álló kurzusok integrált orvosi iskolai tantervben történő kezeléséhez.
Uitdehaage és O'Neill (2015) [5] azt vizsgálta, hogy az orvostanhallgatók milyen mértékben vettek szándékosan SET-et egy több karú tantermi kurzuson.Mind a két preklinikai kurzuson volt egy-egy fiktív oktató.A hallgatóknak anonim értékelést kell adniuk minden oktatónak (beleértve a fiktív oktatókat is) a kurzus befejezését követő két héten belül, de megtagadhatják az oktató értékelését.A következő évben ez megismétlődött, de bekerült a kitalált előadó portréja is.A hallgatók 66 százaléka értékelte a virtuális oktatót hasonlóság nélkül, de kevesebben (49%) értékelték a jelenlévő hasonlóságot mutató virtuális oktatót.Ezek az eredmények arra utalnak, hogy sok orvostanhallgató vakon végzi el a SET-eket, még fényképek kíséretében is, anélkül, hogy alaposan megfontolták volna, hogy kit értékelnek, nem is beszélve az oktató teljesítményéről.Ez hátráltatja a programok minőségének javítását, és káros lehet a tanárok tanulmányi előmenetelére.A kutatók egy olyan keretrendszert javasolnak, amely gyökeresen eltérő megközelítést kínál a SET-hez, amely aktívan és aktívan bevonja a hallgatókat.
Az orvosi szakok oktatási tantervében sok más eltérés is van a többi általános felsőoktatási programhoz képest [11].Az orvosképzés a szakmai egészségügyi oktatáshoz hasonlóan egyértelműen az egyértelműen meghatározott szakmai szerepek (klinikai gyakorlat) kialakítására irányul.Ennek eredményeként az orvosi és egészségügyi programok tantervei statikusabbá válnak, korlátozott kurzus- és karválasztással.Érdekes módon az orvosoktatási kurzusokat gyakran kohorsz formátumban kínálják, és minden hallgató minden félévben ugyanabban a kurzusban vesz részt.Ezért a nagyszámú tanuló felvétele (általában n = 100 vagy több) befolyásolhatja a tanítási formát, valamint a tanár-diák viszonyt.Ezenkívül sok orvosi iskolában a legtöbb műszer pszichometriai tulajdonságait nem értékelik az első használatkor, és a legtöbb műszer tulajdonságai ismeretlenek maradhatnak [11].
Az elmúlt néhány évben számos tanulmány bizonyította, hogy a SET javítható néhány fontos tényező kezelésével, amelyek befolyásolhatják a SET hatékonyságát instrumentális, adminisztratív és értelmezési szinten.A 3. ábra néhány lépést mutat be, amelyekkel hatékony SET modellt lehet létrehozni.A következő szakaszok részletesebb leírást adnak.
Hatékony SET-modellek kidolgozása érdekében javítsa a SET-et instrumentális, vezetői és értelmezési szinten.
Ahogy korábban említettük, a szakirodalom megerősíti, hogy a nemi elfogultság befolyásolhatja a tanárok értékelését [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46].Peterson et al.(2019) [40] végzett egy tanulmányt, amely azt vizsgálta, hogy a tanulók neme befolyásolja-e a tanulók válaszait az elfogultság mérséklésére tett erőfeszítésekre.Ebben a tanulmányban a SET-t négy osztályban kezelték (kettőt férfi tanárok, kettőt pedig női tanárok tanítottak).Az egyes kurzusokon belül a hallgatókat véletlenszerűen osztották be, hogy megkapjanak egy szabványos értékelő eszközt vagy ugyanazt az eszközt, de olyan nyelvezetet használnak, amely csökkenti a nemi elfogultságot.A tanulmány azt találta, hogy a torzításellenes értékelési eszközöket használó diákok szignifikánsan magasabb SET-pontszámot adtak a tanárnőknek, mint a szokásos értékelési eszközöket használó diákok.Ráadásul nem volt különbség a férfi tanárok értékelésében a két csoport között.Ennek a tanulmánynak az eredményei jelentősek, és azt mutatják, hogy egy viszonylag egyszerű nyelvi beavatkozás hogyan csökkentheti a nemi torzítást a tanulók tanítási értékelésében.Ezért jó gyakorlat, ha gondosan mérlegelünk minden SET-et, és nyelvezetet használunk a nemek közötti torzítás csökkentésére fejlesztésük során [40].
Ha bármilyen SET-ből hasznos eredményeket szeretne elérni, fontos, hogy előre alaposan fontolja meg az értékelés célját és a kérdések megfogalmazását.Bár a legtöbb SET-felmérés egyértelműen jelzi a kurzus szervezési szempontjairól szóló részt, azaz a „Tanfolyam értékelése” és a tantestületre vonatkozó részt, azaz a „Tanár értékelése”, egyes felmérésekben előfordulhat, hogy a különbség nem nyilvánvaló, vagy zavart tapasztalhat a hallgatók között. arról, hogyan lehet ezeket a területeket külön-külön értékelni.Ezért a kérdőív kialakításának megfelelőnek kell lennie, tisztáznia kell a kérdőív két különböző részét, és tudatosítania kell a tanulókban, hogy az egyes területeken mit kell értékelni.Ezen túlmenően kísérleti tesztelés javasolt annak megállapítására, hogy a tanulók a kívánt módon értelmezik-e a kérdéseket [24].Oermann et al.(2018) [26] szerint a kutatók olyan szakirodalmat kutattak és szintetizáltak, amely leírja a SET használatát az alapképzés és a posztgraduális képzés számos tudományágában, hogy útmutatást nyújtsanak az oktatóknak a SET ápolási és egyéb egészségügyi szakmai programokban való használatához.Az eredmények azt sugallják, hogy a SET műszereket használat előtt ki kell értékelni, beleértve a műszerek kísérleti tesztelését olyan tanulókkal, akik esetleg nem tudják értelmezni a SET műszerelemeket vagy kérdéseket az oktató szándéka szerint.
Számos tanulmány vizsgálta, hogy a SET-irányítási modell befolyásolja-e a hallgatói elkötelezettséget.
Daumier et al.(2004) [47] az osztályban végzett oktatói képzés hallgatói értékeléseit hasonlította össze az online gyűjtött értékelésekkel a válaszok és értékelések számának összehasonlításával.A kutatások azt mutatják, hogy az online felmérések általában alacsonyabb válaszadási arányt mutatnak, mint az osztályon belüli felmérések.A tanulmány azonban megállapította, hogy az online értékelések nem eredményeztek szignifikánsan eltérő átlagos osztályzatokat a hagyományos osztálytermi értékelésektől.
A jelentések szerint hiányzik a kétirányú kommunikáció a diákok és a tanárok között az online (de gyakran nyomtatott) SET-ek elkészítése során, aminek következtében nem volt lehetőség a pontosításra.Ezért a SET-kérdések, megjegyzések vagy a tanulói értékelések jelentése nem mindig egyértelmű [48].Egyes intézmények úgy kezelték ezt a problémát, hogy egy órára összehozták a diákokat, és meghatározott időt jelöltek ki a SET online (névtelenül) kitöltésére [49].Tanulmányukban Malone et al.(2018) [49] több találkozót tartott, hogy megvitassák a hallgatókkal a SET célját, kik látják a SET eredményeit és hogyan használják fel az eredményeket, valamint a hallgatók által felvetett egyéb kérdéseket.A SET-et nagyjából egy fókuszcsoporthoz hasonlóan végzik: a kollektív csoport nyílt végű kérdésekre válaszol informális szavazáson, vitán és tisztázáson keresztül.A válaszadási arány több mint 70–80% volt, amely kiterjedt információkkal látta el a tanárokat, adminisztrátorokat és a tantervi bizottságokat [49].
Mint fentebb említettük, Uitdehaage és O'Neill tanulmányában [5] a kutatók arról számoltak be, hogy a tanulmányukban résztvevő diákok nem létező tanárokat értékeltek.Mint korábban említettük, ez gyakori probléma az orvosi egyetemi kurzusokon, ahol az egyes kurzusokat sok oktató oktathatja, de előfordulhat, hogy a hallgatók nem emlékeznek arra, hogy ki járult hozzá az egyes kurzusokhoz, vagy mit csináltak az egyes oktatók.Egyes intézmények úgy kezelték ezt a problémát, hogy minden oktatóról fényképet adtak, a nevüket és a bemutatott témát/dátumot, hogy felfrissítsék a hallgatók emlékezetét és elkerüljék a SET hatékonyságát veszélyeztető problémákat [49].
A SET-hez kapcsolódó legfontosabb probléma talán az, hogy a tanárok nem tudják helyesen értelmezni a mennyiségi és minőségi SET-eredményeket.Egyes tanárok statisztikai összehasonlítást szeretnének végezni az évek során, mások az átlagpontszámok kisebb növekedését/csökkenését tekintik jelentős változásnak, vannak, akik el akarnak hinni minden felmérésnek, mások pedig egyenesen szkeptikusak minden felméréssel kapcsolatban [45,50, 51].
Az eredmények helyes értelmezésének vagy a tanulói visszajelzések feldolgozásának elmulasztása befolyásolhatja a tanárok tanításhoz való hozzáállását.Lutovac et al.(2017) [52] A támogató tanárképzés szükséges és előnyös a hallgatók visszajelzéséhez.Az orvosképzésnek sürgősen képzésre van szüksége a SET-eredmények helyes értelmezésében.Ezért az orvosi egyetem oktatóinak képzést kell kapniuk arról, hogyan értékeljék az eredményeket, és milyen fontos területekre kell összpontosítaniuk [50, 51].
Így a leírt eredmények azt sugallják, hogy a SET-eket körültekintően kell megtervezni, adminisztrálni és értelmezni annak biztosítása érdekében, hogy a SET-eredmények jelentős hatást gyakoroljanak az összes érintett érdekelt félre, beleértve az oktatókat, az orvosi egyetemek adminisztrátorait és a hallgatókat.
A SET bizonyos korlátai miatt továbbra is törekednünk kell egy átfogó értékelési rendszer létrehozására, amely csökkenti az oktatás hatékonyságának elfogultságát és támogatja az orvosoktatók szakmai fejlődését.
A klinikai oktatói oktatás minőségének teljesebb megértéséhez több forrásból – például hallgatóktól, kollégáktól, programadminisztrátoroktól és oktatói önértékelésekből – származó adatokat gyűjtünk és háromszögelünk [53, 54, 55, 56, 57].A következő szakaszok olyan lehetséges egyéb eszközöket/módszereket ismertetnek, amelyek a hatékony SET-en kívül használhatók a képzési hatékonyság megfelelőbb és teljesebb megértésének elősegítésére (4. ábra).
Azok a módszerek, amelyek segítségével átfogó modellt lehet kidolgozni az orvosi egyetemi oktatás eredményességét értékelő rendszerről.
A fókuszcsoportot úgy definiálják, mint „egy meghatározott kérdéskör feltárására szervezett csoportos beszélgetést” [58].Az elmúlt néhány évben az orvosi egyetemek fókuszcsoportokat hoztak létre, hogy minőségi visszajelzéseket kapjanak a hallgatóktól, és kezeljék az online SET néhány buktatóját.Ezek a tanulmányok azt mutatják, hogy a fókuszcsoportok hatékonyan biztosítják a minőségi visszajelzést és növelik a hallgatói elégedettséget [59, 60, 61].
Brundle et al.[59] A kutatók egy diákértékelési csoportos folyamatot vezettek be, amely lehetővé tette a kurzusvezetők és a hallgatók számára, hogy fókuszcsoportokban vitassák meg a kurzusokat.Az eredmények azt mutatják, hogy a fókuszcsoportos megbeszélések kiegészítik az online értékeléseket, és növelik a hallgatók elégedettségét a teljes kurzusértékelési folyamattal.A hallgatók értékelik a közvetlen kommunikáció lehetőségét a kurzusvezetőkkel, és úgy vélik, hogy ez a folyamat hozzájárulhat az oktatás fejlesztéséhez.Azt is érezték, hogy meg tudták érteni a kurzusvezető nézőpontját.A hallgatók mellett a kurzusvezetők is úgy értékelték, hogy a fókuszcsoportok hatékonyabb kommunikációt tesznek lehetővé a hallgatókkal [59].Így a fókuszcsoportok használata lehetővé teszi az orvosi egyetemek számára az egyes kurzusok minőségének és az adott kar oktatási hatékonyságának teljesebb megértését.Meg kell azonban jegyezni, hogy maguknak a fókuszcsoportoknak is vannak korlátai, például csak kevés hallgató vesz részt bennük az online SET programhoz képest, amely minden diák számára elérhető.Ezenkívül a különböző kurzusokhoz fókuszcsoportok vezetése időigényes folyamat lehet a tanácsadók és a hallgatók számára.Ez jelentős korlátokat jelent, különösen az orvostanhallgatók számára, akik nagyon elfoglalt időbeosztással rendelkeznek, és különböző földrajzi helyeken vállalhatnak klinikai gyakorlatokat.Ezenkívül a fókuszcsoportokhoz nagyszámú tapasztalt facilitátorra van szükség.A fókuszcsoportok beépítése az értékelési folyamatba azonban részletesebb és specifikusabb információkat nyújthat a képzés hatékonyságáról [48, 59, 60, 61].
Schiekierka-Schwacke et al.(2018) [62] két német orvostudományi egyetem hallgatói és oktatói megítélését vizsgálta az oktatói teljesítmény és a hallgatói tanulási eredmények értékelésére szolgáló új eszközről.Fókuszcsoportos megbeszéléseket és egyéni interjúkat készítettek oktatókkal és orvostanhallgatókkal.A tanárok nagyra értékelték az értékelő eszköz által biztosított személyes visszajelzést, a diákok pedig arról számoltak be, hogy célokat és következményeket is magában foglaló visszacsatolási hurkot kell létrehozni az értékelési adatok jelentésének ösztönzésére.A tanulmány eredményei tehát alátámasztják a hallgatókkal folytatott kommunikáció lezárásának és az értékelési eredményekről való tájékoztatásának fontosságát.
A Peer Review of Teaching (PRT) programok nagyon fontosak, és évek óta alkalmazzák a felsőoktatásban.A PRT a tanítás megfigyelésének és a megfigyelőnek történő visszacsatolásnak az együttműködésen alapuló folyamatát foglalja magában a tanítás hatékonyságának javítása érdekében [63].Emellett az önreflexiós gyakorlatok, a strukturált nyomon követési megbeszélések és a képzett kollégák szisztematikus beosztása segíthet a PRT hatékonyságának és a tanszék oktatási kultúrájának javításában [64].A jelentések szerint ezek a programok számos előnnyel járnak, mivel segíthetnek a tanároknak konstruktív visszajelzést kapni azoktól a tanártársaktól, akik korábban hasonló nehézségekkel szembesültek, és nagyobb támogatást nyújthatnak azáltal, hogy hasznos fejlesztési javaslatokat adnak [63].Ezen túlmenően, ha konstruktívan alkalmazzák, a szakértői értékelés javíthatja a kurzusok tartalmát és a lebonyolítási módszereket, és támogatja az orvosoktatókat tanításuk minőségének javításában [65, 66].
Campbell és munkatársai egy közelmúltbeli tanulmánya.(2019) [67] bizonyítékot szolgáltatnak arra, hogy a munkahelyi kortárstámogatási modell elfogadható és hatékony tanárfejlesztési stratégia a klinikai egészségügyi oktatók számára.Egy másik tanulmányban Caygill és mtsai.[68] végzett egy tanulmányt, amelyben egy speciálisan kialakított kérdőívet küldtek a Melbourne-i Egyetem egészségügyi oktatóinak, hogy megosszák egymással a PRT használatával kapcsolatos tapasztalataikat.Az eredmények azt mutatják, hogy az orvosoktatók körében elfojtott érdeklődés mutatkozik a PRT iránt, és az önkéntes és informatív szakértői értékelési formát fontos és értékes lehetőségnek tartják a szakmai fejlődésben.
Érdemes megjegyezni, hogy a PRT programokat körültekintően kell megtervezni, hogy elkerüljük az ítélkező, „menedzser” környezet kialakítását, amely gyakran fokozott szorongáshoz vezet a megfigyelt tanárok körében [69].Ezért a cél olyan PRT-tervek gondos kidolgozása kell legyen, amelyek kiegészítik és megkönnyítik a biztonságos környezet kialakítását, és konstruktív visszajelzést adnak.Ezért speciális képzésre van szükség a bírálók képzéséhez, és a PRT-programokba csak valóban érdeklődő és tapasztalt tanárok vehetnek részt.Ez különösen akkor fontos, ha a PRT-től kapott információkat olyan kari döntéseknél használják fel, mint például magasabb szintre való előléptetés, fizetésemelés vagy fontos adminisztratív pozíciókba való előléptetés.Meg kell jegyezni, hogy a PRT időigényes, és a fókuszcsoportokhoz hasonlóan nagyszámú tapasztalt oktató részvételét igényli, ami megnehezíti ezt a megközelítést az alacsony erőforrás-igényű orvosi egyetemeken.
Newman et al.(2019) [70] a képzés előtt, alatt és után alkalmazott stratégiákat ír le, megfigyeléseket, amelyek kiemelik a legjobb gyakorlatokat és megoldásokat találnak a tanulási problémákra.A kutatók 12 javaslatot adtak a bírálóknak, többek között: (1) okosan válaszd meg a szavaidat;(2) lehetővé teszi a megfigyelő számára, hogy meghatározza a megbeszélés irányát;(3) a visszajelzéseket bizalmasan kezelje és formázza;(4) a visszajelzéseket bizalmasan kezelje és formázza;A visszajelzés a tanítási készségekre összpontosít, nem pedig az egyéni tanárra;(5) Ismerje meg kollégáit (6) Legyen figyelmes önmagára és másokra (7) Ne feledje, hogy a névmások fontos szerepet játszanak a visszajelzésben és visszacsatolás a kortárs megfigyelések során, (11) a tanulás megfigyelését mindenki számára előnyössé tegye, (12) cselekvési tervet készítsen.A kutatók azt is vizsgálják, hogy az elfogultság milyen hatással van a megfigyelésekre, valamint arra, hogy a tanulás, a megfigyelés és a visszajelzések megvitatása hogyan nyújthat értékes tanulási tapasztalatokat mindkét fél számára, ami hosszú távú partnerségekhez és jobb oktatási minőséghez vezet.Gomaly et al.(2014) [71] arról számolt be, hogy a hatékony visszacsatolás minőségének tartalmaznia kell (1) a feladat pontosítását útmutatások megadásával, (2) a nagyobb erőfeszítések ösztönzésére irányuló fokozott motivációt, és (3) azt, hogy a címzett értékes folyamatként érzékeli ezt.megbízható forrásból.
Bár az orvosi karok kapnak visszajelzést a PRT-ről, fontos, hogy az oktatókat megtanítsák a visszajelzések értelmezésére (hasonlóan a SET-értelmezési képzésre vonatkozó ajánláshoz), és elegendő időt hagyni az oktatóknak a kapott visszajelzések konstruktív átgondolására.
Feladás időpontja: 2023.11.24