Ha számít a pénz: kapcsolat az oktatási kiadások, a hallgatói bevonódás és a hallgatók tanulási eredményei között1

Pike, Gary R., Kuh, George D., McCormick, Alexander C., Ethington, Corinna A. és Smart, John C.

Azon problémával foglalkozó kérdések, vajon a f�iskolák (colleges) és az egyetemek hatékonyan

használják-e fel az er�forrásaikat a hallgatók tanulásának segítése érdekében, részben a fels�oktatás

elszámoltathatóságára irányuló igények felé sarkallnak. Sajnos, túl kevés a tudás arról, hogy a pénz

mekkora szerepet játszik az elérni kívánt fels�oktatási (college) eredményekben. Felhasználva a 2004-

es Hallgatói bevonódás Országos Felmérésére (NSSE2) tett hallgatói válaszokat, összhangban az

Integrált Posztszekunderi Oktatási Adatrendszer (IPEDS3) és a Fels�oktatási Tanács (College Board)

intézményi adataival, ez a tanulmány felmérte az oktatási kiadások, a hallgatói bevonódások és a

kiválasztott hallgatók önbevallott tanulási eredményei közötti összefüggéseket, figyelembe véve az

intézményi és hallgatói sajátosságokat. Az eredmények azt mutatták, hogy a kiadások mérsékelten

álltak kapcsolatban a hallgatói bevonódással és a tanulási eredményekkel. Mindazonáltal e

kapcsolatok jellege eltért egymástól a bevonódás/tanulási eredmény mértékét�l és a hallgató

évfolyamától függ�en.

Bowen (1980) megfigyelte, hogy a f�iskolák és az egyetemek annyi pénzt igyekeznek megszerezni,amennyit csak tudnak, és utána az összes pénzt, amit összegy�jtöttek, olyan tevékenységekre költik,amelyeknek vitatható az érdemlegességük. Nyilvánvalóan ez a szemlélet nincs összhangban a policylétrehozók és az üzleti vezet�k érdekeivel, akik akarják tudni, hogy amit a f�iskolák és egyetemekköltenek, milyen szinten áll összefüggésben azzal, hogy mennyit tanulnak a hallgatók. Valójában, azárójelentésében az Egyesült Államok Fels�oktatás Jöv�jét Vizsgáló Oktatási Bizottsága4 (2006, p. 4)javasolta, hogy a f�iskolák és az egyetemek „váljanak átláthatóvá a költség, az ár és a hallgatói

eredmények sikerességének megítélésének tekintetében”. A Bizottság fenti javaslata képviseli afels�oktatás min�ségével és költségeivel foglalkozó számos fórum és kutatócsoport végs� álláspontját(Ewell, 2008; Leveille, 2006).

Habár az információk a kiadások és a hallgatók tanulása közötti kapcsolatokról elengedhetetlenfontosságúak, meglep� módon kevés ismeret van arról, hogy vajon és hogyan „számít a pénz” azelérni kívánt fels�oktatási eredmények esetében. E tanulmány megkezdi betömni a hézagot aszakirodalomban az összefüggések feltárásával az intézményi kiadások, a hallgatói bevonódás és ahallgatók tanulása között.

Háttér

A Coleman-jelentés óta, Equality of Educational Opportunity5 (Coleman et al., 1966), sok tanulmánytkészítettek az oktatási kiadásokkal és a tanulók tanulásával kapcsolatban a K-12 szinten. Az aviszonylag kevés tanulmány, mely a fels�oktatási kiadásokat és a hallgatói eredményeket (outcomes)vizsgálta, kétértelm� eredményeket mutattak fel. Sajnos, megbízhatósági szempontból, azösszefüggések a fels�oktatási kiadások és a f�iskolai eredmények között nem voltakellentmondásmentesek sem a tanulmányok között, sem azokon belül. Például, az 1970-es években a

1 Pike, G., Kuh. G.D., McCormick, A. C., Ethington, C.A. & Smart, J.C. (2011) If and When Money Matters:The Relationships Among Educational Expenditures, Student Engagement and Students’ LearningOutcomes. Research in Higher Education, 52 (1), 81-106.

2 NSSE: National Survey of Student Engagement3 IPEDS: Integrated Postsecondary Education Data System4 The Secretary of Education's Commission on the Future of Higher Education5 Esélyegyenl�ség az oktatásban

59

kutatóknak nem sikerült statisztikailag szignifikáns összefüggéseket találni a kiadások és mind ahallgatók záró teszteredményei (Rock et al., 1970, 1972) és a diplomaszerzés utáni kereseteik (James

és Alsalam, 1993; James et al., 1989) között. Az újabb tanulmányok már találtak statisztikailagszignifikáns kapcsolatokat a kiadások és a f�iskolai eredmények között, még a különböz� intézményiés hallgatói sajátosságok statisztikai kontrollja után is (Astin, 1993; Gansemer-Topf és Schuh, 2006;Hayek, 2001; Ryan, 2004; Smart et al., 2002; Toutkoushian and Smart, 2001). Azonban azeredmények nem voltak megegyez�ek a vizsgálatok között. Miközben Astin (1993), újabban Webber

és Ehrenberg (2009) beszámolt arról, hogy a hallgatói szolgáltatásokra tett kiadások pozitívkapcsolatban álltak a hallgatói perzisztenciával6 (persistence). Ryan (2004) eközben nem találtilyesfajta kapcsolatot, viszont azt tapasztalta, hogy az oktatásra és a tanulmányi támogatásra tettkiadások pozitívan kapcsolódnak a hallgatói perzisztenciához. Hayek (2001) szintén arra jutott, hogyszignifikáns pozitív összefüggés van a hallgatói perzisztencia és az oktatás és tanulmányi támogatásratett kiadások között, miközben a kutatási és intézményi támogatásra tett kiadások negatív kapcsolatbanálltak a hallgatói perzisztenciával és a diplomát szerz�k számával. Legújabban, és egyben ellentétbenaz el�z� tanulmányokkal, Gansemer-Topf és Schuh (2006) azt találta, hogy a hallgatói perzisztenciakapcsolatban állt a magán, alapképzéseket nyújtó intézményekben a tanulmányi támogatásikiadásokkal, nem állt összefüggésben az oktatási kiadásokkal, és negatív kapcsolatban állt a hallgatóiszolgáltatásokra és az intézményi támogatásra szánt kiadásokkal.

A Kooperatív Intézményi Kutató Program7 (CIRP), Toutkoushian és Smart (2001) azt találták, hogyaz oktatási kiadások pozitívan kapcsolódtak a bevallott (a hallgatók által) interperszonális fejl�déshez.Ezzel ellentétben, Smart és mtsai. (2002) arról számoltak be, hogy az oktatási kiadások negatívanfüggtek össze a vezet�i képességek (leadership) fejl�désével. Toutkoushian és Smart (2001) azt istalálták, hogy a tanulmányi támogatási kiadások pozitívan függtek össze a hallgatók mesterképzésrevaló felkészültségük önbevallásával, viszont negatívan kapcsolódtak a megszerzett tudáshoz és akommunikációs készségek fejl�déséhez.

Legalább négy tényez� magyarázhatja meg a gyenge és inkonzisztens eredményeket az intézményikiadások és az oktatási eredményekre vonatkozó kapcsolataira. Els�ként, bármifajta kapcsolatok akiadások és az eredmények között valószín�leg csillapítottak, mivel a hallgatói eredményekbenmutatkozó variancia csupán kis hányada köszönhet� az intézmények között megtalálhatókülönbségeknek. Pascarella és Terenzini (1991, 2005) és Kuh (2007) arra a következtetésre jutott,hogy a különbségek a hallgatók között nagyobbak az intézményeken belül, mint a különbségek azintézmények között. Továbbá, Pascarella és Terenzini (1991) szerint, az intézmények közötti varianciahiánya teszi bonyolulttá azonosítani az intézményi sajátosságokat, amelyek konzisztens módonösszefüggésben állnak az oktatási eredményekkel. Az intézmények közötti variancia hiányából ered�statisztikai problémák súlyosbítják a helyzetet akkor, amikor intézményeken belüli és intézményekközötti mértékeket kombinálnak ugyanazon vizsgálatban, mint ahogy az el�bb hivatkozott,kiadásokkal és tanulási eredményekkel foglalkozó tanulmányok esete is mutatja. Amikor, hallgatóiszint� és intézményi szint� változókat kombinálnak, kismérték� összefüggéseket az eredmények és azintézményi sajátosságok között könnyedén elnyomhatják az er�sebb kapcsolatok a hallgatói szint�változók és az eredmények között.

A második tényez�, amely hozzájárul a gyenge és inkonzisztens összefüggésekhez az oktatásikiadások és a tanulmányi eredmények között az, hogy sok vizsgálat különböz� változókat éskiadásokra vonatkozó definíciókat használ. Például, néhány tanulmány csupán az oktatásra és atanulmányi támogatásra szánt kiadásokat vizsgálja, miközben más tanulmányok a hallgatóiszolgáltatásokra összpontosítanak. Adalékként, az intézmények nem egyformán tartják számon akiadásaikat. A köz- és magán intézmények az IPEDS kiadási kérd�ívei felé különböz� elszámolási

6 Perzisztencia (persistence): hallgatói perzisztencia, azon tulajdonság, hogy a hallgatók a fels�oktatási éveikalatt felmerül� hátráltató vagy esetleg éppen serkent� hatások ellenére képesek befejezni a tanulmányaikat(kiemelten fontos ez az etnikumhoz tartozó hallgatóknál és más hátrányos helyzet� csoportoknál)

7 Cooperative Institutional Research Program

60

követelményekkel rendelkeznek (National Center for Education Statistics, 2000). Még e két szélesintézményi kategória között is a kiadások elszámolása jelent�sen eltérhet, mivel a kiadási kategóriákdefiníciói jelent�s teret hagynak az intézmények (kiadásokkal kapcsolatos) interpretációinak. Ajelentések (reporting) ilyes fajta szeszélyei gyengíthetik a kapcsolatok er�sségét, és nehézzé tehetik azellentmondásoktól mentes összefüggések megtalálását a kiadások és a tanulási eredmények között.

A harmadik tényez� az, hogy a kiadások közvetetten, és nem közvetlenül, kapcsolódnak a tanulásieredményekhez. Ez a feltételezés párhuzamban áll a K-12 szektorban végzett tanulmányokeredményeivel (Elliott, 1998; Wenglinskey, 1997), ahol a tanulók tanítására szánt oktatási kiadásokhatásai olyan tényez�kkel8 voltak közvetítve (mediated), mint a tanár-tanuló arány. A fels�oktatásbana kapcsolatokat a kiadások és a tanulási eredmények között olyan mediációs tényez�kkel lehetközvetíteni, mint a hallgatói bevonódás szintje, egy olyan elméleti konstruktum (construct), melynekeredete Tyler (1932) munkájában található, és Pace (1980, 1984), Astin (1984, 1985), és Kuh (2001,2003) által vált népszer�vé. Habár ezen írók különböz� kifejezéseket használtak, hogy jellemezzék ahallgatói bevonódást, az � nézeteik mind arra az el�zetes feltevésre alapultak, hogy amennyit ahallgatók a f�iskolán (college) tanulnak, az egyik függvénye annak, hogyan használják az idejüket ésenergiáikat (Kuh, 2003). A kutatások er�s, egységes támogatását nyújtották e feltételezésnek azzal,hogy rámutattak, hogy a bevonódás pozitív összefüggésben áll a tanulási eredményekkel (Gellin,2003; Kuh és mtai., 2000; Pascarella és mtai., 1996; Pike and Kuh, 2005; Pike és mtai., 2003). Habárezen elméletek a hallgatói bevonódásra koncentrálnak, a meghúzódó alapfeltevés e megközelítésmögött az, hogy az intézményi sajátosságok és tevékenységek befolyásolják a bevonódást azegyetemen (campus) (Astin, 1985; Kuh és mtai., 1991, 2005; Pace, 1984). A hallgatói bevonódással ésa tanulási eredményekkel kapcsolatos intézményi tényez�k között találhatóak az intézmény mérete,küldetése, hallgatói szelekciója, mesterképzésekre fektetett hangsúly, és temérdek demográfiai adat ahallgatókról úgy, mint a teljes munkaid�s (nappali tag.) hallgatók, az intézményt váltó hallgatók,m�vészetek és tudományok mestert végz�k és a kampuszon lakók aránya. (Kinzie és mtai., 2004; Kuh

és mtai., 2005, 2007; McCormick és mtai., 2009; Pike és mtai., 2006).

Amikor Hayek (2001) felhasználta az er�feszítés min�ségét jelz� indikátorokat a College Student

Experiences Questionnaire (CSEQ) felmérésb�l együtt az IPEDS és U.S. News and World Report

tanulmányok változóival, hogy meghatározza, vajon a kiadások számítottak-e a hallgatói bevonódástekintetében, azt találta, hogy a hallgatók er�feszítéseinek min�sége szignifikánsan kapcsolódott azintézményi támogatásra és a hallgatói szolgáltatásokra tett kiadásokkal, de nem állt összefüggésben azoktatásra és tanulmányi támogatásra tett kiadásokkal. Ezzel ellentétben Ryan (2005) negatívösszefüggést talált a bevonódás és az intézményi támogatásra tett kiadások között. Porter (2006)nagyon gyenge kapcsolatot fedezett fel a kiadások és a hallgatói bevonódás között. Mindazonáltal,Porter (2006) kutatása behatárolt volt abban a tekintetben, hogy a kiadási változók a kutatástámogatásán, a közszolgálaton, a létesítmények üzemeltetésén és fenntartásán és az ösztöndíjakonalapultak. Porter adataiba beletartoztak mind az alapképzést, mind a mesterképzést végz� hallgatókraszánt kiadások. Pike és mtai. (2006) vizsgálták a kapcsolatokat az intézmények NSSE benchmarkeredményei és a kiadások között. Habár az összefüggések az intézményi irányítás és a hallgatókképzési szintjei alapján eltértek egymástól, Pike és mtai. (2006) azt találták, hogy az oktatásra, atanulmányi támogatásra, a hallgatói szolgáltatásokra és az intézményi támogatásra szánt kiadásokpozitívan összefüggtek a benchmark mutatókkal. Ennél fogva, ésszer�nek t�nhet az elvárás, hogy azoktatásra, tanulmányi támogatásra, hallgatói szolgáltatásokra és intézményi támogatásra szántegyesített kiadások valószín�leg pozitívan és közvetlen módon kapcsolódnak a hallgatóibevonódáshoz, és közvetett módon kapcsolódnak a hallgatók tanulásához.

Pike és mtai. (2006) tanulmányának eredményei azt sugallják, hogy egy negyedik tényez�t isszámba kell venni a kiadások és a tanulási eredmények közötti kapcsolatok gyenge és inkonzisztenseredményeinek tekintetében. Korábbi kutatások általában a hallgatók tanulási eredményeit vizsgáltákegy-egy adott id�pontban- freshmen, sophomores, juniors és seniors (els�, második, harmadik és

8 Mediációs tényez�kkel

61

negyedik éves hallgatók). A probléma azzal, hogy ezeket a hallgatókat egyetlen elemzésbeösszes�rítik az, hogy a kapcsolatok ezek a változók között osztályszintt�l (class level) függ�eneltérnek egymástól (Pike és mtai., 2006). Ez a kutatás ezt a problémát úgy oldja meg, hogy azösszefüggéseket a kiadások, a hallgatói bevonódás és a tanulási eredmények között külön-különvizsgálja az els� éves és negyed (utolsó) éves hallgatók körében.

Összegezve, a kiadásokról és tanulási eredményekr�l szóló múltbeli kutatások gyenge ésellentmondásos eredményekkel jellemezhet�ek. Néhány kutatás pozitív kapcsolatokat mutattak fel atanulási eredmények és az oktatásra és a tanulmányi támogatásokra szánt kiadások között, miközbenmás kutatások pozitív összefüggéseket tártak fel a tanulási eredmények és a hallgatói szolgáltatásokratett kiadások között. Ezen ellentmondások talán köszönhet�ek, ha csak részben is, az intézményikülönbségek fokozatos elt�nésének problémájának és a f�iskolai (college) karrierjük különböz�szakaszánál járó hallgatók egy vizsgálatba történ� bevonásának összemosó hatásainak. Kutatások aztsugallják, hogy az oktatási kiadások és a tanulási eredmények közötti, gyenge és inkonzisztenskapcsolatok eredményei lehetnek a hallgatói bevonódás közvetít� (mediating) hatásainak és azintézmények sajátosságaiból ered� különbségek által létrehozott esetleges hatásoknak.

Négy kérdés vezérelte ezt a kutatást, amelyek arra a négy tényez�re vonatkoztak, amelyekr�l aztfeltételezzük, hogy befolyásolják a kiadások és a tanulási eredmények közötti kapcsolatokat:

1. Eltérnek-e a hallgatói tanulási eredmények az intézmények között?

2. Miután számításba vettük a hallgatók és az intézmények sajátosságaiban rejl� különbségeket,vajon a hallgatói tanulási eredmények közvetlenül állnak-e kapcsolatban az alapképzésioktatásra, tanulmányi támogatásra, hallgatói szolgáltatásokra és az intézményi támogatásraszánt egyesített kiadásokkal?

3. Miután számításba vettük a hallgatók és az intézmények sajátosságiban rejl� különbségeket,vajon az egyesített kiadások közvetlen módon állnak-e kapcsolatban a hallgatói bevonódásmértékével, ezáltal közvetett módon kapcsolódnak-e a hallgatók tanulásához?

4. Vajon az oktatási kiadások, a hallgatói bevonódás és a tanulási eredmények közöttikapcsolatok eltérnek-e a hallgatók osztályszintjét�l9 (class level) függ�en?

Az els� kérdés megválaszolása lehet�vé teszi számunkra a meghatározását annak, hogy van-eelegend� mérték� különbség a f�iskolák (college) között ahhoz, hogy érzékelhessük, hogy léteznek-ejelent�s összefüggések az alapképzés� oktatásra szánt intézményi kiadások és a tanulás és fejl�désintézmény-szint� értékei között. A második vizsgálati kérdés az egyesített oktatási kiadásokrakoncentrál, és a lehet�vé teszi számunkra, hogy kikerüljük a különböz� kategóriákra szánt kiadásokinkonzisztens jelentéseib�l (különböz� módon értelmezik a kategóriákat) adódó problémákat. Aharmadik kutatási kérdés megválaszolásával meghatározhatjuk, hogy van-e közvetett kapcsolat azoktatási kiadások és a tanulási eredmények között, amelyeknél a közvetít� (mediáló) változó szerepéta hallgatói bevonódás szintje tölti be. Végül, külön-külön vizsgálva az els�éves és az utolsó(negyedik) éves hallgatókat kiküszöbölhetjük a hallgatók összekeveréséb�l (akik a f�iskolai karrierjükkülönböz� szakaszánál tartanak) származó csillapító hatás problémáját.

Kutatási módszerek

Koncepcionális modell

Ezt a tanulmányt vezérl� koncepcionális modell feltételezi, hogy az intézményi és hallgatóisajátosságok és a hallgatói bevonódás mind-mind összefüggésben állnak a tanulási eredményekkel. Az

9 Mennyi kreditet szerzett meg a hallgató, mennyire el�rehaladott a képzésében

62

1. ábrán a modell alsó fele a hallgató-szint� kapcsolatokat ábrázolja, és a modell fels� része azintézmény-szint� kapcsolatokat mutatja. Fontos, hogy megértsük, hogy a hallgatók az intézményekenbelül kapnak helyet ebben a modellben.

El�z� kutatásokra alapozva, a hallgató-szint� tanulási eredményekr�l feltételezzük, hogykapcsolatban állnak olyan hallgatói jellemz�kkel, mint például a nem, az etnikum, az intézményváltásés a hallgatói státusz, és a hallgatói bevonódás olyan formáival, mint a tudományos tevékenységeknekszentelt er�feszítések, aktív és együttm�köd� tanulás és a hallgató-fakultás interakció (Kuh és mtai.,

2005, 2006). Hallgatói sajátosságok szintén kapcsolatban állnak a hallgatói bevonódás szintjével.Fontos megérteni, hogy a hallgatói bevonódás, a tanulási eredmények az intézményi kontextuson belüljönnek létre. Tehát ezek a kapcsolatok az intézményen belül találhatóak.

Intézményi szinten feltételezzük az olyan intézményi sajátosságokról, mint a méret, a hallgatókszelektálása, a mesterképzés� oktatásra fektetett hangsúly, és az oktatási kiadások, hogyösszefüggésben állnak mind a hallgatói bevonódással, mind a tanulási eredményekkel (McCormick és

mtai., 2009; Pike és mtai., 2006). A koncepcionális modellben az intézményi sajátosságoktól(beleértve a kiadásokat) a hallgatói bevonódásig, és a hallgatói bevonódástól a tanulási eredményekigvezet� utak (nyilak) mutatják be a közvetlen kapcsolatokat az oktatási kiadások és a tanulmányieredmények között (lásd: Kuh és mtai., 2007; Pike és mtai., 2006; Webber és Ehrenberg, 2009).

Matematikai nyelven, a hallgató-szint� kapcsolatok a következ� egyenlettel fejezhet� ki:

Ahol az Yij a tanulási eredménye vagy a bevonódási értéke egy adott tanulónak (i) egy adottf�iskolán vagy egyetemen (j); a �oj els� szint� együttható mutatja az intézmény egyedi hatását (azaz, a

63

korrigált átlagát); a �qj els� szint� együttható mutatja egy adott hallgatói sajátosságnak, vagybevonódás mértékének (Xqij); és az rij az els� szint� véletlen hatása egy bizonyos intézményt látogatóadott hallgatónak.

A kapcsolatot az intézményi sajátosságok és a tanulási eredmények vagy a hallgatói bevonódásimértékek között a következ� egyenlet mutatja:

Ahol a �0j mutatja az egyedi hatását egy adott intézménynek (j); yos az s-szint� együtthatók mutatjáka kapcsolatokat az intézmények egyedi hatását az els� szinten és az intézmények sajátosságait (Wsj); ésaz uoj a második szint� véletlen hatás.

Minta

A résztvev�k ebben a tanulmányban olyan alapképzésben részt vev� hallgatók, akik kitöltötték azNSSE felmérést 2004 tavaszán. Az intézmények, melyek szerepeltek a felmérésben nagyon hasonlóakvoltak földrajzi régió és városi-vidéki elhelyezkedés tekintetében az egyetemek nemzeti profiljához.Mesterképzéseket nyújtó f�iskolák (college) és egyetemek felülreprezentáltak voltak, miközben azáltalános-alapképzést nyújtó f�iskolák alulreprezentáltak voltak a résztvev� intézmények között(National Survey of Student Engagement, 2004). 200 f�iskola és egyetem hallgatóinak volt meg alehet�sége arra, hogy a weben keresztül vagy papír és toll segítségével válaszolhassanak a kérd�ívre,és 175 iskola döntött a csak webes adminisztráció mellett. 2004-ben az NSSE bevezette a Web+adminisztrációt, amely magában foglalta többféle elektronikus elérhet�ségi lehet�séget és a papír éstoll alapú kérd�ívek levél formájában való elküldésének lehet�ségét a kiválasztott (els� körben) nem-válaszolók számára. Összesen 98 intézmény választotta ezt a módját az adminisztrációnak. 2004-benkörülbelül a válaszolók 13%-a töltötte ki a kérd�ív papír alapú verzióját, és 87% használta a webet(National Survey of Student Engagement 2004). Általánosságban az adminisztráció módja nembefolyásolja az NSSE eredményeket, kivéve, hogy a webes válaszadást választók nagyobb mérték�elektronikus technológia használatát jelentették (Carini és mtai., 2003). A köz- és magánintézményekoktatási költségeinek elszámolásának módjaiban lév� különböz�ségek miatt, kizárólag az NSSE 2004-es felmérésében szerepl� nyilvános f�iskolák (public colleges) és egyetemek szerepeltek atanulmányban.

A hallgatói és intézményi adatbázisok gondos sz�rését hajtottuk végre, hogy teszteljük amultikollinearitást, és hogy azonosítsuk és kizárjuk az extrém értékeket, amelyeket kiugró (outlier)értékeknek tekinthetünk. A teljes adatbázis 34,823 els�éves hallgatóból és 34,606 utolsó éveshallgatóból állt össze, akik 171 különböz� nyilvános f�iskolára és egyetemre jártak. Ahogy az összesNSSE felmérésben, a n�k és a nappali tagozatos (full-time) hallgatók felülreprezentáltak voltak. Azels�éves hallgatók közül 66% n� volt és 96%-uk nappali tagozatosként jártak az intézményekbe.Kicsivel kevesebb, mint 63%-a az utolsó éves hallgatóknak volt n� és 84%-uk volt nappali tagozatoshallgató. Egészében véve a résztvev�k hasonlóak voltak társaikhoz a rassz/etnikum, azintézményváltás (transfer status), a kampusz lakhely és a tudományos szakterület szempontjaiból.Továbbá, ebben a tanulmányban szerepl� nyilvános intézmények hasonlóak voltak az összes, NSSE

2004-es felmérésben szerepl� nyilvános intézményhez nemzeti szinten. Körülbelül az intézmények33%-a volt kutatóegyetem, 53%-a volt mesterképzésekre specializálódott f�iskola és az intézmények14%-a f�leg alapképzéseket nyújtott. Majdnem 13%-a f�iskoláknak és az egyetemeknek voltkisebbségeket célzó (minority serving) intézmény (5% HBCU), és 15%-uk volt földdel rendelkez�(land-grant) f�iskola és egyetem. FTE10 beiskolázottság-szám 692 és 47,202 között volt, és az átlagos

10 FTE enrollment: full-time equivalent enrollment – nappali tagozattal egyenérték� beiskolázás

64

FTE beiskolázottság 10,918 volt. Az átlagos, egy nappali tagozatosnak tekinthet� (FTE), alapképzésrejáró hallgatóra jutó kiadás $7,830 volt.

Mér�eszközök

A mér�eszközök, melyeket ebben a tanulmányban használtunk, az NSSE’s The College Student

Report felmérésre adott hallgatói válaszokból, az IPEDS adatbázisból, az intézmények CDS11-éb�l és aFels�oktatási Tanács (College Board) adatrendszeréb�l vettük. A hallgatók önbevallásai (self-report)hozzák létre az alapját a legtöbb értéknek, amelyet ebben a kutatásban használtunk, és az adatokérvényességét és megbízhatóságát mélyrehatóan vizsgálták (Baird, 1976; Berdie, 1971; Pace, 1985;Pike, 1995; Pohlmann és Beggs, 1974). A kutatások azt mutatják, hogy az önbevallási adatokvalószín�leg érvényesnek tekinthet�ek az alábbi öt feltétel esetében:

1. Az információ ismert a válaszoló számára

2. A kérdések világosan megfogalmazottak és egyértelm�ek

3. A kérdések mostani tevékenységekre utalnak

4. A válaszadók úgy gondolják, hogy a kérdések komoly és átgondolt választérdemelnek; és

5. A kérdések megválaszolása nem fenyegeti, zavarja vagy sérti a válaszadóanonimitását és jogait (privacy), vagy bátorítja a válaszadót arra, hogy szociálisanelvárt módon válaszoljon (Kuh, 2001, p.4).

Tanulmányok azt jelzik, hogy a College Student Report megfelel ennek az öt kritériumnak, éspontos, jelentés teli információkat ad a hallgatók f�iskolai tapasztalatairól és a tanulási eredményekr�l(Kuh, 2001; Kuh és mtai., 2001; Ouimet és mtai., 2004).

A hallgatói bevonódást az NSSE öt benchmarkján vagy skáláján a hallgatók által elért értékek általfejeztük ki. A benchmarkok a College Student Report 42 itemén alapultak, és olyan tevékenységekcsoportjait fedik le, amelyeket a tanulmány bemutat, hogy pozitívan kapcsolódnak az oktatásieredményekhez. A benchmarkok számára az itemek kiválasztása elméleten és az NSSE itemekanalízisének segítségével történt (Kuh és mtai., 2001). A Tudományos Kihívás (Academic Challenge)

benchmark olyan tevékenységekre fókuszál, amelyek bemutatják, hogy egy intézmény hangsúlyozza ahallgatók számára a tudományos er�feszítések fontosságát, és magas elvárásokat állít a tanulóiteljesítmény irányában, legf�képpen az írás és a magasabb-rend� m�veletek12 területein. Az Aktív ésEgyüttm�köd� Tanulás (Active and Collaborative Learning) benchmarkjára vonatkozó kérdések arrakérik a hallgatókat, hogy mondják el, milyen mértékben várják el t�lük, hogy gondolkodjanak arról, ésalkalmazzák azt, amit tanulnak, és milyen mértékben kell együtt dolgozniuk más hallgatókkal, hogymegoldjanak problémákat és legy�zzék a nehéz feladatokat. A Hallgató-Fakultás Interakció (Student-

Faculty Interaction) itemek arra fókuszál, hogy milyen gyakran kommunikálnak a hallgatók és azoktatókkal a tantermen belül és kívül. Az Oktatási Tapasztalatszerzés (Enriching Educational

Experiences) benchmark azon célirányos tanulási tevékenységek széles skáláját fedi le, mint például asokszín�ség megtapasztalása, technológia-használat, külföldön tanulás és közös kutatás az oktatókkal.Az utolsó benchmark, a Támogató Kampusz Környezet (Supportive Campus Environment) a hallgatókáltal érzékelt, az intézmény hallgatók sikerében való elkötelez�désére és a hallgatók más hallgatókkal,oktatókkal és az adminisztrációval való kapcsolatainak a min�ségére koncentrál. Az NSSE

benchmarkokat alkotó itemek listáját és a hallgatók tanulásának mér�eszközeit a függelékben írjuk le.

11 CDS – Common Data Sets12 Bloom-féle taxonómia rendszer

65

A felmérés kezdete óta, az NSSE személyzete újraskálázták az itemeket, hogy biztosítsák azt, hogyaz összes egy-egy benchmarkot alkotó item egy azon skálán legyen. Azért lett ez végrehajtva, hogymegel�zzék azt, hogy bármely item is nagyobb hatást gyakoroljon a skálára, mint a többi item (Kuh és

mtai., 2001). 2004-es kezdetkor az összes itemet, amelyet felhasználtak az NSSE benchmarkjainakkiszámolásához, egy 0-100-ig terjed� skálán helyeztek el, amelyen a 0 jelezte a lehetségeslegalacsonyabb pontszámot a skálán, és a 100 jelentette a lehetséges legmagasabb értéket a skálán.Minden egyes item négy válaszadási lehet�sséggel rendelkezett, így a skála értékei 0.00, 0.33, 0.66,100.00 lehettek (National Survey of Sutdent Engagement 2004). A felmérés 2004-es feldolgozásábólszármazó adatokat felhasználva a becsült reliabilitás 0.62 (Oktatási Tapasztalatszerzés) és 0.78(Támogató Kampusz Környezet) közé esett. Az alfa reliabilitási együtthatók (Cronbach-alfa) az összesskálához a függelékben megtalálhatóak.

A hallgatói tanulási eredményeket két skála mentén fejeztük ki: szerzett kognitív javak és szerzettnem-kognitív javak. A „szerzett kognitív javak” skála kilenc itemen alapult, amelyek arra kérték atanulókat, hogy jelezzék mekkora mértékben járultak hozzá a f�iskolai tapasztalataik a fejl�désükhözaz olyan területeken, mint az általános oktatás, hatékony módon való írás és beszéd, kvantitatívelemzés és kritikai gondolkodás. A „szerzett nem-kognitív javak” skála hét kérdésre adott hallgatóiválaszokból származott, amelyek az önismeretre, másokkal való együttm�ködésre, az etikai normákfejl�désére és a civil/közösségi bevonódásra vonatkoztak. Az összes tanulási eredményekkelfoglalkozó kérdéseket egy négy-pontos skálán mértük fel azokkal a válaszlehet�ségekkel, hogy: (4)Nagyon, (3) Eléggé, (2) Valamennyire, (1) Kevéssé. A tanulási eredmények skála pontszámaitugyanazon lépések mentén számoltuk ki, mint amelyeket az NSSE benchmark egyéni pontszámaiesetében is alkalmaztunk (National Survey of Student Engagement, 2004). El�ször, az itempontszámokat 0-100-ig skáláztuk. Aztán a skála pontszámait számoltuk ki az itemek számtaniátlagaként. Az alfa reliabilitási együtthatója (Cronbach-alfa) a szerzett kognitív javak és a szerzettnem-kognitív javak skáláinak 0.87 és 0.85 volt.

El�z� kutatásokra alapozva, hét további hallgató-szint� változót vontunk be, mint statisztikaikontroll-változókat. Ezen mér�eszközök közül az összes dichotóm változó volt. A változók azalábbiak voltak: nem (n�), etnikum (Fehér), intézményváltás (intézményt váltott hallgató), hallgatóistátusz (nappali tagozatos hallgató), els� generációs hallgató (els� generációs hallgató), lakhelyelhelyezkedése (kampuszon lakik), tudományos szakterület (a m�vészetek és tudományok területénvégez tanulmányokat, beleértve a társadalomtudományokat). Az összes érték a College Student Report

kérdéseire adott hallgatói válaszokon alapultak, kivéve a nemet és az etnikumot, amelyeket azintézmények biztosítottak az NSSE munkatársai számára.

Nyolc intézmény-szint� változót szintén bevontunk a tanulmányba kontroll-változóként, mertkorábbi kutatások azt találták, hogy e változók kapcsolatban álltak vagy a hallgatói bevonódássel vagya tanulási eredményekkel (McCormick és mtai., 2009; Pike és mtai., 2006). Ezek a változók akövetkez�ek voltak: (1) intézmény mérete (kifejezve az összes �szi FTE beiskolázási szám által 1000hallgató léptékben), (2) mester/doktori beiskolázási szám aránya a teljes beiskolázási számhoz képest,(3) intézmény hallgatói szelekciója (a hallgatók ACT pontszámának átlaga a belép� évfolyam 25-dikpercentilisében), (4) a nem nappali tagozatos alapképzésre járó hallgatók aránya a teljes beiskolázásiszámhoz képest, (5) diplomák párhuzamossága (olyan alapképzési területek aránya, melyekenmesterszint� diploma szintén megszerezhet� volt), (6) lakossági jellemz� (a kampuszon lakó hallgatókaránya), (7) alapképzésben részt vev�, a m�vészetek és tudományok (beleértve atársadalomtudományokat) területén tanuló hallgatók aránya, és (8) az új alapképzésben résztvev�karánya, akik éppen intézményt váltottak. Ezen paramétereket a 2005 Carnegie osztályozásbanhasználták (McCormink és mtai., 2009). A paraméterekhez az adatok az IPEDS-b�l, az intézményi

CDS-b�l és a Fels�oktatási Tanács adatbázisából nyertük.

Az utolsó változó a tanulmányban egy intézmény alapképzésre szánt oktatási kiadások (1000dollárban) osztva FTE, alapképzésre járó hallgatók számával. Az oktatási kiadások az oktatásra, a

66

tanulmányi támogatásra, a hallgatói szolgáltatásokra és az intézményi támogatásra szánt összegzettkiadások voltak. A kiadási adatok a 2003-2004 IPEDS pénzügyi felmérésb�l származtak. A kiadásokúgy lettek beállítva, hogy tükrözzék az alapképzésre szánt források arányát, olyan eljárásokkal,melyeket az NCHEMS13 fejlesztett ki (Ewell, személyes beszélgetés, 2004.11.15.). El�ször, amester/doktori FTE beiskolázási számot beszorozták az egy FTE hallgatóra jutó kiadásokkal, és 1.5-tel(a mesterszint� képzésekre számított tipikus többletköltség a legtöbb állami pénzelosztási modellbenés a legtöbb költségtanulmányban), hogy kiszámolják a mester/doktori oktatási kiadásokat. Amester/doktori kiadásokat majd kivonták a teljes kiadásokból, hogy kiszámolják az alapképzésre jutókiadásokat. Végül, az alapképzésre jutó kiadásokat elosztották az alapképzési FTE beiskolázásiszámmal és 1000-rel, hogy kialakítsák azt a kiadási mér�számot, melyet ebben a tanulmánybanhasználtunk.

1. Táblázat – A tanulmányban használt változók leíró statisztikáiEls�éves hallgatók Negyedéves hallgatók

N Átlag SD N Átlag SD

Szerzett kognitív javak 34,823 60.08 19.57 34,606 67.58 19.39Szerzett nem-kognitív javak 34,823 44.76 22.40 34,606 46.73 23.01Tudományos kihívás 34,823 50.81 13.00 34,606 54.96 13.99Aktív és együttm�köd� tanulás 34,823 38.75 14.71 34,606 49.55 16.60Hallgató-fakultás interakció 34,823 29.62 15.95 34,606 40.39 20.38Oktatási tapasztalatszerzés 34,823 24.80 11.84 34,606 37.27 16.63Támogató kampusz környezet 34,823 59.95 17.17 34,606 56.35 17.57N�hallgatók 34,823 0.66 0.47 34,606 0.63 0.48Fehér hallgatók 34,823 0.77 0.42 34,606 0.77 0.42Intézményt váltott hallgató 34,823 0.08 0.27 34,606 0.44 0.50Nappali tagozatos hallgató 34,823 0.96 0.20 34,606 0.84 0.36Els�-generációs hallgató 34,823 0.34 0.47 34,606 0.37 0.48Kampuszon lakó 34,823 0.65 0.48 34,606 0.10 0.30M�vészeteket és tudományt hallgató 34,823 0.38 0.49 34,606 0.42 0.49Méret (FTE beiskolázási szám, 1000 hallg.) 171 10.92 9.01 - - -Mester/doktori hallgatók százalékos aránya 171 12.07 9.15 - - -Szelektivitás (ACT, 25-ös percentilis) 171 19.54 2.44 - - -Rész munkaid�s hallgató 171 17.42 11.96 - - -Diploma párhuzamosság 171 34.11 23.81 - - -Lakhely jellemz�k 171 26.99 17.58 - - -M�vészetet és tudományt hallgatók aránya 171 44.97 15.89 - - -Intézményt váltott hallgatók aránya 171 29.57 19.01 - - -Kiadások/FTE ($1,000 dollárban) 171 7.83 2.37 - - -

Adatelemzés

Az egyik bonyolító tényez� a tanulási eredményeket vizsgáló kutatásokban az a tény, hogy a hallgatóisajátosságok és a bevonódási értékek interkorrelálnak. Hasonlóan, sok intézményi sajátosságinterkorrelál. Ezek az interkorrelációk súlyos problémákat okozhatnak (Ethington és mtai., 2002). Amultikollinearitás egy el�zetes ellen�rzéseként, OLS regresszió analízist futtattunk végig a hallgató-szint� adatokon és az összegy�jtött intézmény-szint� adatokon. Tolerancia együtthatókat és

13 National Center on Higher Education Management Systems – Fels�oktatási Menedzsment-rendszerekOrszágos Központja

67

variancianövel� tényez�ket (VIF) figyelembe vettük az összes tényez�nél. Habár néhány tényez�,különösen a bevonódás paraméterei mérsékelten korreláltak, tolerancia és a VIF együtthatók jóval azelfogadható határokon belül voltak, ami jelzi, hogy a multikollinearitás nem volt súlyos probléma.

Mivel a hallgatókat az intézményeken belül helyeztük el, ezért hierarchikus lineáris modellekethatározták meg és tesztelték a HLM6 számítógépes program segítségével (Raudenbush és mtai.,

2004). A bonyolító tényez� a mostani vizsgálatban az NSSE által használt mintavételi séma. Azintézmények eldöntik, hogy részt vesznek-e: majd hallgatók véletlenszer� mintáit választják ki. Ez amegközelítés a jellemz�je a véletlenszer�, többlépcs�s mintavételezésnek, nem pedig a véletlenszer�mintavételezésnek. Amikor az adatok véletlenszer�, többlépcs�s mintavételen alapulnak, akkor atradicionális szignifikancia tesztekben használt standard hiba túl kicsi, és els�fajú hibák valószín�ek(Kalton, 1983; Pike, 2007). Számos statisztikai program képes kiszámolni korrigált standard hibákat,amelyek megfelel�ek a véletlenszer�, többlépcs�s mintavételekb�l származó adatoknak;mindazonáltal, ezek a korrigált standard hibák nem elérhet� a hierarchikus lineáris modellek számára(du Toit és mtai., 2007). Alternatívaként, Thomas (2006) azt javasolja, hogy állítsunk be egykonzervatívabb p-értéket a statisztikailag szignifikáns összefüggések azonosításához. Ehhez atanulmányhoz egy konzervatív valószín�ségi értéket (p < 0.0001) választottunk, hogy azonosítsunkstatisztikailag szignifikáns összefüggéseket a hallgatói szinten (els� szint� analízisek). Az intézményiszinten (második szint� analízisek), a véletlenszer�, többlépcs�s mintavétel nem súlyos probléma, és amegszokott valószín�ségi szintet (p<0.05) használtuk.

A lépéssorozatot, amellyel ezt a modellt meghatároztuk és teszteltük, a Byrk és Raudenbush (1992)és Ethington (1997) által javasolt m�veletsorokkal határoztuk meg. A modellek els� csoportja azels�éves és utolsó éves hallgatók kognitív és nem-kognitív kimeneti eredményeire koncentráltak. Akezdeti, kognitív és nem-kognitív modellek tartalmazták a hallgatói szint egy tengelymetszetét(intercept), de más független változókat nem. A tengelymetszetek képviselték az egyes f�iskolák ésegyetemek átlageredményeit, és az intézmények-közötti varianciakomponensek chi-négyzet próbájajelezte, vajon voltak-e statisztikailag szignifikáns eltérések a tanulási eredményekben az intézményekkörében. Továbbá, egy adott eredmény (outcome) intézmények-közötti varianciakomponensét elosztvasaját magával, és hozzáadva az intézményen-belüli varianciakomponenst biztosította a hallgatóitanulási eredmények variancia hányadának (proportion of variance) a megbecsülését, amely azintézményeknek volt tulajdonítható. Továbbá, az els� kutatási kérdést megválaszolandó, ezek amodellek szolgáltak kiindulópontokként, hogy melyik következ� modelleket értékeltük ki.

A hallgatók háttérjellemz�it hozzáadtuk a tanulási eredményekhez az adatok elemzésénekkövetkez� lépéseként. Az intézmények-közötti és belüli varianciakomponensek a kiinduló modellvarianciakomponenseivel való elosztás általi változások biztosították az intézmények-közötti és belülivariancia hányadának a megbecsülését, amelyek már a hallgatók háttérjellemz�inek voltaktulajdoníthatóak. Az adatok elemzésének harmadik lépéseként a hallgatói bevonódás értékeket adtukhozzá a tanulási eredmények modellekhez. Ismét, az intézmények-közötti és belülivarianciakomponensek bekövetkez� változásokat vizsgáltuk, hogy meghatározzuk az varianciahányadát, amely már a hallgatói bevonódási értékeknek volt tulajdonítható. Az intézmények-közöttivarianciakomponensek chi-négyzet próbáit hajtottuk végre, hogy meghatározzuk, vannak-e jelenstatisztikailag szignifikáns eltérések a korrigált intézményi kimeneti átlageredményekben.

Azon kimenet (outcome) modellek, melyek statisztikailag szignifikáns eltérésekkel bírtak atengelymetszetekben (azaz szignifikáns eltérések a korrigált intézményi kimeneti eredményátlagokban), egy két-szint� modellt határoztunk meg és teszteltünk. A modell tartalmazta az összeshallgatói-szint� változót és az intézmény-szint� változókat, beleértve a kiadásokat és az alapképzésrejárók oktatását. Az intézmény-szint� változókról feltételeztük, hogy az els�-szint�tengelymetszetekkel állnak kapcsolatban. Az intézmények-közötti varianciakomponensek a kiindulómodell intézmény-közötti varianciakomponensével való elosztás általi változások mutatták a kimenetieredmények átlagában lév� intézmény-szint� variancia hányadát, amely az intézmény-szint�

68

változóknak volt tulajdonítható. Mind a hallgató- és mind a intézmény-szint� modellek regressziósparamétereinek szignifikancia tesztjeit felhasználtuk, hogy azonosítsuk a modellek azonkomponenseit, amelyek kapcsolódtak a hallgatók tanulási eredményeihez. A kiadások együtthatóikiemelt fontosságúak voltak, mivel azok mutatták a közvetlen kapcsolatot a kiadások és tanulásieredmények között, kontrollálva a modellben szerepl� összes többi változót. A regressziós együtthatókkiértékelhet�ségének javítása érdekében az összes hallgató- és intézmény-szint� változó, amelyek nemvoltak dichotóm változók, a nagy átlagaik köré lettek elhelyezve (centered) (Bryk és Raudenbush,1992). A hatásnagyságokat úgy határoztuk meg, mint a kiadásokban bekövetkezett egy egységnyiszórásnégyzetbeli változáshoz társított tanulási eredményekben bekövetkezett szórásnégyzetbeliváltozást.

Az adatok elemzésének végs� fázisa hallgatói bevonódás értékekre, mint függ� változókrakoncentrált. Az analitikus eljárások ugyanazok voltak, mint amelyeket a vizsgálat korábbiszakaszaiban használtunk. Kezdetben csupán tengelymetszeteket tartalmazó kiinduló modellek sorátazonosítottuk és teszteltük. A következ� modelleket úgy elemeztük, hogy a hallgatói sajátosságok(jellemz�k), mint független változókat vontuk be. Az intézmények-közötti és belülivarianciakomponensek a kiinduló modell varianciakomponenseivel való elosztása általi változásokbiztosították a variancia mér�számait a bevonódási értékekben, melyeket hallgatói sajátosságokkalmagyarázunk. Az intézményen-belüli varianciakomponensek chi-négyzet próbáit is megállapítottuk,hogy meghatározhassuk azt, hogy van-e megfelel� intézményen-belüli variancia a bevonódási értékekesetében a folytatáshoz. Ha az intézményen-belüli varianciakomponensek statisztikailagszignifikánsak voltak, akkor az intézményi sajátosságokat hozzáadtuk a modellhez, mint másodikszint� változók. Ismét, az intézmények-közötti varianciakomponensek bekövetkez� változásokatszámoltuk ki, hogy meghatározhassuk, vajon az intézményi sajátosságok magyarázzák-e a varianciahányadának jelent�s részét a korrigált bevonódási átlagokban (azaz tengelymetszetekben). Regressziósparaméterek szignifikancia tesztjeit használtuk, hogy azonosítsuk a statisztikailag szignifikánsösszefüggéseket a hallgatói bevonódás és mind a hallgatói és mind az intézményi sajátosságok között.A nem-dichotóm intézményi értékeket ugyancsak a nagy átlagaik értékei köré helyeztük el (centered).A kiadások és a bevonódás értékeinek tengelymetszetei közötti statisztikailag szignifikánsösszefüggések, együtt a bevonódás és a tanulási eredmények értékeinek statisztikailag szignifikánsösszefüggéseivel, biztosították a bizonyítékot a hallgatói bevonódás közvetít� (mediáló) szerepére(azaz közvetlen hatásaira). Ezt a bizonyítékot inkább csak „sugalmazónak”, mint sem perdönt�jelleg�nek kell tekinteni, mert a HLM nem teszi lehet�vé hatások közvetlen és közvetett hatásokravaló szétbontását. Hasonlóképpen, az els�éves és utolsó éves hallgatók regressziós együtthatóibantapasztalható különbségek biztosították a bizonyítékot arra, hogy a különböz� osztályszintek(hallgatók) összekeverése összezavarhatja a kiadások és mind a bevonódás, mind a tanulásieredmények közötti összefüggéseket. Még egyszer a hatásnagyságokat kiszámoltuk a kiadások ésbevonódások közötti statisztikailag szignifikáns összefüggésekhez.

Eredmények

Hallgatói tanulási eredmények

Az els� éves hallgatók szerzett kognitív javai eredményeinek a vizsgálata felfedte, hogy statisztikailagszignifikáns eltérés van a szerzett javak terén (kognitív) az intézményekben (�2= 798.60; df = 170; p<0.05), amely felel�s volt kicsit több mint a teljes variancia 2%-áért a szerzett kognitív javak terén. Ahallgatói sajátosságok modellhez való hozzáadása volt felel�s a variancia 13%-áért (körülbelül) éskevesebb, mint a variancia 1%-áért hallgatói szinten. A hallgatói bevonódás értékeinek hozzáadásaszámol az intézmény-szint� variancia több mint feléért (51%) és a hallgató-szint� variancia 43%-áért.Az intézmény-szint� variancia jelent�s csökkenése ellenére, az intézmények-közötti különbségektovábbra is statisztikailag szignifikánsak maradtak (�2 = 551.63; df = 170; p <0.05). Ennekeredményeképp, az intézményi sajátosságokat belevontuk a második szint� modellbe. A végs� modell

69

eredményei felfedték, hogy az intézményi sajátosságok voltak a felel�sek az intézmények-közöttivariancia 17%-áért.

Szintén volt statisztikailag szignifikáns eltérés az els�éves hallgatók szerzett nem-kognitív javaiterén az intézményekben (�2 = 1251.43; df = 170; p <0.05), amelyek alig kevesebb, mint a teljesvariancia 4%-áért volt felel�s. A hallgatói sajátosságok hozzáadása a modellhez magyarázta azintézmények-közötti variancia 21%-át és az intézményeken-belüli variancia kevesebb, mint 1%-át;ellenben a hallgatói bevonódás értékek bevonása tartozott az intézmények-közötti variancia 43%-áértés az intézményen-belüli variancia majdnem 38%-áért. Még a hallgatói sajátosságok és bevonódásekértékeinek a modellhez való hozzáadása után is, az intézmények-közötti variancia az els�éveshallgatók szerzett nem-kognitív jelleg� tanulási eredményei terén továbbra is statisztikailagszignifikáns volt (�2= 847.26; df = 170; p <0.05). Az intézményi sajátosságok modellhez valóhozzáadása segített megmagyarázni a variancia további 2%-át a szerzett nem-kognitív javak terén azintézményekben.

A negyed éves hallgatók szerzett kognitív javainak kiinduló modellje azt jelezte, hogystatisztikailag szignifikáns variancia mutatkozik az intézmények között (�2 = 814.47; df = 170; p<0.05), amely magyarázta a szerzett kognitív javak teljes varianciájának alig kevesebb, mint 2%-át. Ahallgatói sajátosságok modellhez való hozzáadása számolt az intézmények-közötti variancia majdnem5%-áért és az intézményen-belüli variancia 1%-áért. A hallgatói bevonódás értékek voltak felel�sek azintézmények-közötti variancia több mint 51%-áért és az intézményen-belüli variancia 41%-áért. Ismét,statisztikailag szignifikáns különbségeket találtunk az intézmények között, még a hallgatóisajátosságok és bevonódás szintjeinek kontrollja után is (�2 = 638.93; df = 170; p <0.05). Azintézményi sajátosságok modellhez való hozzáadása magyarázta a variancia 7%-át az intézményekközött.

A negyed éves hallgatók szerzett nem-kognitív javainak eredményei azt mutatták, hogy szignifikánseltérés van az intézmények között (�2 = 1484.71; df = 170; p <0.05), és az intézmények-közöttieltérések számolhatóak el több mint a teljes variancia 4%-áért. A hallgatói sajátosságok modellbe valóbevonása számolt az intézmények-közötti variancia majdnem 26%-áért és az intézményen-belülivariancia majdnem 2%-áért. A hallgatói bevonódás volt elszámolható az intézmények-közöttivariancia kb. 42%-áért és az intézményen-belüli variancia 37%-áért. A hallgatói sajátosságok ésbevonódás szintjeinek kontrollja után az intézmények-közötti variancia továbbra is statisztikailagszignifikáns maradt (�2 = 852.01; df = 170; p <0.05). Mindazonáltal, az intézményi sajátosságokhozzáadása felelt az intézmények között lév� variancia 1%-áért.

Az els� éves hallgatók kognitív tanulási eredményeinek nem standardizált regressziósparamétereinek vizsgálata (Táblázat, 2.) felfedte azt, hogy „els�-generációs hallgatónak lenni”pozitívan kapcsolódott az els� évben szerzett kognitív javakkal, miközben „Fehérnek lenni”, akampuszon lakni és a m�vészetek és tudományok területén hallgatni negatív összefüggésben álltak aszerzett kognitív javakkal. Az összes bevonódási érték szignifikánsan és pozitívan kapcsolódott azels� éves hallgatók szerzett kognitív javaihoz. A leger�sebb összefüggéseket a „tudományos kihívás”és a „támogató kampusz környezet” értékeinél találtuk. Négy intézményi sajátosság függött össze aszerzett kognitív javak intézményi korrigált átlagával. Minden egyes százalékpont-növekedés arészid�s beiskolázásban együtt járt szerzett kognitív javak korrigált átlagának növekedésével,miközben minden egyes százalékpont-növekedés a m�vészetek és tudományokat hallgatók és az új,intézményt váltott hallgatók beiskolázása körében együtt járt az intézményi korrigált átlagcsökkenésével az els� éves hallgatók szerzett kognitív javainak körében.

Az alapképzési oktatásra szánt kiadások szignifikáns és pozitív kapcsolatban álltak az intézményekels� éves hallgatók szerzett kognitív javainak átlagával, még a hallgatói sajátosságok és hallgatóibevonódás szintek (statisztikai) kontrollja után is. Specifikusabban, $1,000 növekedés az alapképzésioktatásra szánt kiadásokban együtt járt 0.15-nyi korrigált átlagában való növekedéssel az intézményels� éves hallgatóinak kognitív tanulási eredményeiben. Hogy ezt kontextusba tegyük, az egységnyi

70

szórásnégyzet (azaz, $2,368), vagy kicsit több mint 30% növekedés az oktatási kiadásokban együtt járt0.36-nyi pontnövekedéssel az intézmény korrigált átlagában az els�éves hallgatók szerzett kognitívjavainak tekintetében. Ez 0.21-nyi növekedés szórásnégyzetnél a szerzett kognitív javakban.

2. Táblázat – A tanulási eredmények modelleknek nem standardizált regressziós együtthatói

Változó Els�éveskognitív

Els�éves nem-kognitív

Negyedéveskognitív

Negyedévesnem-kognitív

N� 0.09 1.42** -1.21** 1.27**Fehér -0.89** -2.90** -0.34 -3.01**Intézményt váltott -0.08 -0.17 -1.24** -1.54**Nappali tagozatos -0.38 -1.35 -1.44** -0.66Els�-generációs 1.07** 0.78** 1.58** 1.42**Kampuszon lakó -1.74** 0.92** -1.78** 0.54M�vészetek és tudományok -1.38** -0.42 -1.70** 0.99**Tudományos kihívás 0.51** 0.25** 0.45** 0.25**Aktív/együttm�köd� tanulás 0.07** 0.10** 0.06** 0.12**Hallgató-oktató interakció 0.05** 0.11** 0.04** 0.02**Oktatási tapasztalatszerzés 0.05** 0.19** 0.02** 0.14**Támogató kampusz körny. 0.46** 0.56** 0.45** 0.59**Tengelymetszet 62.38** 46.63** 70.61** 48.55**Méret 0.02 0.05 0.00 0.01Mesterképzés�ek arány -0.03 -0.10* 0.01 -0.04Szelektivitás -0.09 -0.37* 0.05 -0.28*Rész munkaid�s hallg. 0.05* -0.03 0.01 -0.04Diploma párhuzamosság 0.02 0.01 0.02 0.00Lakhely jellemz� 0.01 -0.01 -0.03* -0.03M�vészetek/tudományok aránya -0.02* 0.01 0.00 0.02Intézményt váltottak aránya -0.02* 0.00 -0.01 0.00Kiadások 0.15* 0.14 0.09 0.03Hatásnagysága a kiadásoknak 0.21 - - -

*p<0.05, **p<0.001

Az els�éves hallgatók szerzett nem-kognitív javai regressziós együtthatóinak a vizsgálata felfedte,hogy „n�nek lenni”, els�-generációs hallgatónak lenni és a kampuszon lakni pozitívan függtek össze atanulási eredmények értékeivel, és „Fehérnek lenni” negatívan kapcsolódott a szerzett nem-kognitívjavakhoz. Szintén, öt bevonódási érték kapcsolódott pozitívan a szerzett nem-kognitív javakhoz. Habára „támogató kampusz környezet” volt a leger�sebb összefüggésben a szerzett nem-kognitív javakkal,az „aktív és együttm�köd� tanulás”, a „hallgató-fakultás interakció” és az „oktatási tapasztalatokszerzése” együtthatóinak mértékei nagyobbak voltak, mint az ehhez kapcsolódó kognitív tanulásieredmények együtthatói, és hasonló mértékkel bírtak a „tudományos kihívás” együtthatójához. Azintézményi szinten az „intézményi hallgatói szelekció„ és a „mester/doktori beiskolázás” százalékanegatív kapcsolatban állt az intézményben történ� nem-kognitív fejl�dés korrigált átlagához. Akiadások nem kapcsolódtak szignifikánsan az intézmény els�éves hallgatóinak nem-kognitív fejl�désikorrigált átlagához.

„Els�-generációs hallgatónak lenni” pozitívan függött össze a negyed éves hallgatók szerzettkognitív javaival, miközben n�nek, intézményt váltott hallgatónak, nappali tagozatosként beiskolázva,

71

kampuszon él�nek és a m�vészetek és tudományok hallgatójának lenni negatívan kapcsolódott aszerzett kognitív javakhoz. Mint ahogy az els�éves hallgatók esetében is, mind az öt bevonódási értékpozitívan függött össze a szerzett kognitív javakkal, a leger�sebb összefüggést a „tudományoskihívás” és a „támogató kampusz környezet” értékeinél találtuk. Mindösszesen a kampusz lakhatásijellemz�i kapcsolódtak a szerzett kognitív javak korrigált átlagához, és az a kapcsolat negatív volt.

Három hallgatói sajátosság függött össze pozitívan a negyed éves hallgatók szerzett nem-kognitívjavaival (n�nek, els�-generációsnak és m�vészeteket vagy tudományok területén hallgatónak lenni).„Fehérnek lenni” és „intézményt váltott hallgatónak lenni” negatívan kapcsolódtak a negyed évesekszerzett nem-kognitív javaihoz. A bevonódási értékek és a negyed éves hallgatók szerzett kognitívjavai közötti összefüggések mintázata megegyezett az els�éves hallgatók mintázatával, annakfigyelembe vételével, hogy a „támogató kampusz környezet” kapcsolódik a legszorosabban a tanulásieredmények értékeihez. Az intézményi szinten, mindössze a hallgatók szelekciója kapcsolódott azintézmények korrigált átlagához a negyed évesek szerzett nem-kognitív javai terén, és ez a kapcsolatnegatív volt.

Els�éves hallgatók bevonódása

A „tudományos kihívás” kiinduló modellje létrehozott statisztikailag szignifikáns intézmények-közöttivarianciakomponenst (�2 = 1075.20; df = 170; p <0.05). A varianciakomponens mértéke jelezte, hogya „tudományos kihívás” pontszámaiban lév� variancia majdnem 3%-a felelt az intézményikülönbségekért. A hallgatói sajátosságok modellhez való hozzáadása volt a felel�s az intézmények-közötti variancia majdnem 8%-áért és az intézményen-belüli variancia kb. 1%-áért. Az intézményisajátosságok feleltek az intézmények-közötti variancia 18%-áért.

Az „aktív és együttm�köd� tanulás” kiinduló modellje szintén létrehozott statisztikailagszignifikáns intézmények-közötti varianciakomponenst (�2 = 1503.41; df = 170; p <0.05). Azintézmények közötti különbségek feleltek a teljes variancia több mint 4%-áért az „aktív ésegyüttm�köd� tanulás” pontszámainál az els�éves hallgatók körében. A hallgatói sajátosságokmodellhez való hozzáadása volt a felel�s a variancia kevesebb, mint 4%-áért intézményi szinten és avariancia kevesebb, mint 1%-áért hallgatói szinten. Az intézményi sajátosságok feleltek azintézmények-közötti variancia 4%-áért. Az intézmények-közötti „hallgató-fakultás interakció”varianciakomponens szintén statisztikailag szignifikáns volt (�2 = 1065.13; df = 170; p <0.05), amely ateljes variancia 3%-át képviseli. A hallgatói sajátosságok modellhez való hozzáadása felelt azintézmények közötti variancia csaknem 5%-áért és az intézményen belüli variancia 1%-áért. Azintézményi sajátosságok voltak a felel�sek az intézmények közötti variancia 23%-áért.

A „oktatási tapasztalatszerzés” kiinduló modellje szintén létrehozott statisztikailag szignifikánsintézmények-közötti varianciakomponenst (�2 = 2274.02; df = 170; p <0.05), amely képviselte a teljesvariancia több mint 5%-át az els�éves hallgatók körében. A hallgatói sajátosságok modellhez valóhozzáadása magyarázta az intézményi szinten a variancia 22%-át és a hallgató-szint� varianciacsaknem 2%-át. Az intézményi sajátosságok modellbe való bevonása számolt az intézmények közötti„oktatási tapasztalatszerzés” átlageredmények varianciájának 19%-áért. A „támogató kampuszkörnyezethez” kapcsolódóan az intézmények közötti varianciakomponens statisztikailag szignifikánsvolt (�2 = 1306.16; df = 170; p <0.05), és a teljes variancia 4%-áért felelt. A hallgatói sajátosságokmodellhez való hozzáadása volt felel�s az intézmények-közötti variancia 7%-áért és az intézményen-belüli variancia kevesebb, mint 1%-áért. Az intézményi sajátosságok modellbe való bevonása felet azintézmények-közötti variancia 19%-áért.

A 3. Táblázat mutatja be az els�éves hallgatók bevonódási szint modelljeinek regressziósegyütthatóit, együtt a kiadások és bevonódás közötti statisztikailag szignifikáns hatásnagyságokkal.„N�nek, nappali tagozatos hallgatónak és m�vészeteket és tudományokat hallgatónak lenni” pozitívkapcsolatban állt a „tudományos kihívásokat rejt� tevékenységekben elkötelezettnek lenni”

72

állapotával, miközben „Fehérnek lenni” negatív kapcsolatban állt a „tudományos kihívással”. Azintézményi sajátosságok együtthatóinak egy vizsgálata felfedte, hogy az intézményi hallgatóiszelekció és a m�vészetet és tudományokat hallgatók aránya pozitívan függött össze az intézmények„tudományos kihívásának” korrigált átlagával. Az alapképzési oktatásra tett kiadások szintén pozitívankapcsolódtak a „tudományos kihívás” korrigált átlagához. Egységnyi szórásnégyzet növekedés akiadásokban együtt járt 0.43-nyi növekedéssel, amely megfelel egy 0.20-nyi szórásnégyzetbelinövekedésnek a „tudományos kihívás” korrigált átlagában.

3. Táblázat – Az els�éves hallgatók bevonódási modelljeinek nem standardizált regressziós együtthatói

VáltozóTudományos

Kihívás

Aktív ésEgyüttm�köd�

tanulás

Hallgató-Fakultás

Interakció

OktatásiTapasztalatszerzés

TámogatóKampuszKörnyezet

N� 1.75** -0.04 -0.45 0.77** 0.23Fehér -1.29** -1.38** -2.33** -1.51** -1.40**Intézményt váltott 0.96 1.29** 1.69** 1.15** -1.50**Nappali tagozatos 4.76** 3.99** 2.53** 3.23** 1.78**Els�-generációs -0.39 -0.78** -0.76 -1.12** 0.05Kampuszon lakó -0.05 0.63 -0.51 1.81** 1.54**M�vészetek és tudományok 0.63** 0.70** 1.32** 1.86** -0.37Tengelymetszet 45.93* 36.02* 29.59* 20.55* 58.39*Méret -0.01 -0.07 -0.06* 0.01 -0.02Mester hallgatói arány 0.01 0.02 -0.01 0.03 -0.07*Szelektivitás 0.23 -0.16 -0.20 0.19 0.12Rész munkaid�s -0.01 -0.02 -0.04 0.02 -0.08*Diploma párhuzamosság -0.01 -0.02 -0.02 0.01 -0.02Lakhely jellemz� 0.00 0.00 0.04 0.02 0.00M�vészet és tudomány arány 0.03* 0.00 -0.01 0.04* 0.00Intézményt váltottak aránya 0.01 -0.01 0.01 0.01 0.02Kiadások 0.18* 0.14 0.27* 0.04 -0.10Hatásnagysága a kiadásoknak 0.20 - 0.24 - -

*p <0.05, ** p<0.001

„Intézményt váltott hallgatónak lenni”, „nappali tagozatosnak lenni” és „m�vészeteket éstudományt hallgatónak lenni” pozitívan összefüggtek a hallgatók „aktív és együttm�köd� tanulásának”és a „hallgató-fakultás interakciónak” pontszámaival. Mind „Fehérnek lenni” és mind „els�-generációshallgatónak lenni” negatívan kapcsolódott az „aktív és együttm�köd� tanulással” és a „hallgató-fakultás interakcióval”. Ezek a hallgató-szint� hasonlóságok nem ismétl�dtek meg intézmény-szinten.A második szint� modellben egyik intézményi sajátosság sem volt szignifikáns kapcsolatban az „aktívés együttm�köd� tanulás” korrigált átlagával. Ezzel ellentétben a méret (FTE beiskolázási szám)negatív módon függött össze a „hallgató-fakultás interakció” átlagával. A kiadások szintén pozitívkapcsolatban álltak a „hallgató-fakultás interakcióval”. Egy egységnyi szórásnégyzet növekedés akiadásokban együtt járt az intézményi korrigált átlagok 0.64-nyi növekedésével a „hallgató-fakultásinterakció” tekintetében. Ez az intézményi szinten 0.24-nyi szórásnégyzetbeli növekedést jelent a„hallgató-fakultás interakció” esetében.

Minden egyes hallgatói sajátossági érték kapcsolódott az „oktatási tapasztalatszerzésben” valóelkötelezettséghez. „N�nek lenni”, „intézményt váltott hallgatónak lenni”, „nappali tagozatoshallgatónak lenni”, „kampuszon lakni”, „m�vészeteket és tudományt hallgatni” mind pozitívanfüggtek össze a hallgatók „oktatási tapasztalatszerzési” pontszámaival. „Fehér hallgatónak lenni” és

73

„els�-generációs hallgatónak lenni” negatívan kapcsolódtak az els� éves hallgatói bevonódáséhez az„oktatási tapasztalatszerzés” terén. Intézményi szinten, csupán a m�vészeteket és tudományt hallgatókszázaléka volt pozitív összefüggésben az „oktatási tapasztalatszerzés” korrigált átlagával.

Négy hallgatói sajátosság állt összefüggésben a hallgatók „támogató kampusz környezetr�l”alkotott percepcióival kapcsolatban. A nappali tagozatos hallgatók beiskolázási száma és a kampuszonél�k száma pozitív összefüggésben voltak a kampusz környezet, támogatóként való érzékelésében,miközben a „Fehérnek lenni” és az „intézményt váltott hallgatónak lenni” negatívan kapcsolódott akampusz környezetének megítélésében. Intézményi szinten a mester/doktori beiskolázási számszázaléka és a rész munkaid�s hallgatók beiskolázási számának százaléka negatív összefüggésbenálltak az intézményi korrigált átlaggal a „támogató kampusz környezet” értékének esetében.

Negyedéves Hallgatók Bevonódása

A „tudományos kihívás” pontszámaiban lév� intézményi variabilitást bemutató kiinduló modelleredmények azt jelezték, hogy statisztikailag szignifikáns eltérések voltak az intézmények között (�2 =860.25; df = 170; p <0.05), és ezen eltérések voltak felel�sek a negyedéves hallgatók „tudományoskihívás” pontszámaiban lév� variabilitás 2%-áért. A hallgatói sajátosságok modellhez való hozzáadásafelelt az intézmények-közötti variancia 8%-áért, és az intézményen belüli variancia 3%-áért. Azintézményi sajátosságok modellbe való bevonása magyarázta az intézmények-közötti variancia 26%-áta „tudományos kihívás” átlagaiban.

Az „aktív és együttm�köd� tanulás” kiinduló modelljének varianciakomponensek egy vizsgálatarámutatott, hogy szignifikáns eltérések vannak az intézményekben (�2 = 1358.16; df = 170; p <0.05),amely eltérések a pontszámok összvarianciájának a 4%-áért feleltek. A hallgatói sajátosságokmodellhez való hozzáadása segített megmagyarázni az intézmények-közötti variancia majdnem 17%-át, és kicsit több mint 3%-át az intézményen-belüli varianciának. Az intézményi sajátosságokmodellbe való bevonása felelt az intézmények-közötti „aktív és együttm�köd� tanulás” varianciájánaktovábbi 35%-áért.

A „hallgató-fakultás interakció” kiinduló modelljének eredményei azt jelezték, hogy a pontszámokvarianciája az intézményekben statisztikailag szignifikáns (�2 = 1669.21; df = 170; p <0.05). Azintézmények-közötti különbségek feleltek a „hallgató-fakultás interakció” varianciájának kicsit többmint 5%-áért. A hallgatói sajátosságokat modellhez való hozzáadása volt felel�s az intézmények-közötti variancia közel 30%-áért, és az intézményen-belüli variancia 3%-áért. Az intézményisajátosságok modellhez való hozzáadása segített megmagyarázni az intézmények-közötti varianciatovábbi 32%-át. Az „oktatási tapasztalatszerzés” kiinduló modelljének együtthatóinak egy vizsgálatafelfedte, hogy intézményi szinten szignifikáns eltérések találhatóak (�2 = 2063.34; df = 170; p <0.05),amely a pontszámokban lév� összvariancia kicsit több mint 6%-áért számolt el. A hallgatóisajátosságok modellhez való hozzáadása volt felel�s az intézmények-közötti variancia 43%-áért és ahallgatók közötti variancia 5%-áért. Az intézményi sajátosságok számoltathatóak el az intézmények-közötti variancia további 17%-áért.

A negyedéves hallgatók kampusz környezetr�l való véleményeinek varianciakomponenseinekvizsgálata kimutatta, hogy szignifikáns eltérések voltak az intézményekben (�2 = 1522.58; df = 170; p<0.05). Az intézményi különbségek feleltek a „támogató kampusz környezet” pontszámaiban lév�variancia majdnem 4%-áért. A hallgatói sajátosságok modellhez való hozzáadása volt elszámoltathatóaz intézmények-közötti variancia 5%-áért és az intézményen-belüli variancia kevesebb, mint 1%-áért.

A 4. Táblázat mutatja a negyedéves hallgatók bevonódási szintjeit magyarázó modellek nemstandardizált regressziós együtthatóit. A „tudományos kihívás” együtthatóinak vizsgálata megmutatta,hogy „n�nek lenni” és „nappali tagozatos hallgatónak lenni” pozitív összefüggésben álltak abevonódássel, miközben „Fehérnek lenni” és „kampuszon lakni” negatív kapcsolatban álltak a

74

tudományosan kihívást rejt� tevékenységekben való részvétellel. Az intézményi sajátosságokegyütthatói megmutatták, hogy a m�vészeteket és tudományt hallgatók százalékos aránya pozitívkapcsolatban állt az intézmények „tudományos kihívási” korrigált átlagával. Az alapképzési oktatásratett kiadások szintén pozitívan kapcsolódtak a „tudományos kihívás” korrigált átlagaihoz. Azegyütthatók értékének nagysága azt jelezte, hogy egységnyi szórásnégyzetbeli ($2,368) növekedés akiadásokban együtt járt 0.36-nyi növekedéssel a „tudományos kihívás” korrigált átlagaival. Ez aváltozás a korrigált átlagok szórásnégyzetének 0.17-nyi változását jelentette.

4. Táblázat – A negyedéves hallgatók bevonódási modelljeinek nem standardizált regressziós együtthatói

VáltozóTudományos

Kihívás

Aktív ésEgyüttm�köd�

tanulás

Hallgató-Fakultás

Interakció

OktatásiTapasztalatszerzés

TámogatóKampuszKörnyezet

N� 2.26** 2.36** 0.17 2.73** 0.40Fehér -1.12** -1.02** -0.87 -1.00** -1.20**Intézményt váltott 0.39 -1.40** 2.32** -4.46** -1.42**Nappali tagozatos 6.18** 6.08** 6.12** 5.50** 2.32**Els�-generációs 0.03 -0.54 -1.36** -2.11** 0.30Kampuszon lakó -0.81** -0.06 1.60** 2.23** 1.06**M�vészetek és tudományok -0.24 -3.55** 3.51** 2.11** -0.86**Tengelymetszet 49.40* 46.44* 36.15* 33.11* 56.23*Méret -0.01 -0.02* -0.13* 0.04 -0.06Mester hallgatói arány -0.04 -0.07 -0.09* -0.05 -0.07*Szelektivitás 0.12 -0.43* -0.22 0.05 0.15Rész munkaid�s 0.00 -0.07* -0.09* -0.05 -0.04Diploma párhuzamosság -0.01 -0.01 -0.01 0.00 -0.04*Lakhely jellemz� 0.01 0.01 0.04 0.04* 0.02M�vészet és tudomány arány 0.05* 0.02 0.03 0.06* 0.01Intézményt váltottak aránya 0.01 -0.01 -0.02 0.00 0.01Kiadások 0.15* -0.09 0.17* 0.13 -0.23Hatásnagysága a kiadásoknak 0.17 - 0.10 - -

*p <0.05, ** p<0.001

Az „aktív és együttm�köd� tanulás” együtthatói megmutatták, hogy „n�nek lenni” és „nappalitagozatosnak lenni” pozitívan kapcsolódott a bevonódás ilyen formájához. „Fehérnek lenni”,„intézményt váltott hallgatónak” és „m�vészeteket és tudományt hallgatónak lenni” mind negatívösszefüggésben állt az „aktív és együttm�köd� tanulással”. Három intézményi sajátosság (méret,hallgatói szelekció, rész munkaid�s hallgatók százalékos aránya) kapcsolódott negatívan az „aktív ésegyüttm�köd� tanulás” korrigált átlagaihoz.

Az egyetlen hallgatói sajátosságok, melyek nem álltak összefüggésben a „hallgató-fakultásinterakcióval”, a „n�nek lenni” és a „Fehérnek lenni” voltak. Intézményi szinten, a méret, amester/doktori hallgatók számának százalékos aránya és a rész munkaid�s hallgatók százalékos arányanegatívan függtek össze az intézményi „hallgató-fakultás interakciói” pontszámainak korrigáltátlagaival, miközben a kiadások pozitívan kapcsolódtak a „hallgató-fakultás interakcióhoz”. Egyegységnyi szórásnégyzetbeli növekedés a kiadásokban együtt járt 0.40-nyi vagy egy szórásnégyzetben0.10-nyi növekedéssel az intézményi „hallgató-fakultás interakciói” korrigált átlagokban.

Minden hallgatói sajátosság a modellben szignifikáns kapcsolatban állt az „oktatásitapasztalatszerzési” pontszámokkal. „N�nek lenni”, „nappali tagozatosnak lenni”, „kampuszon lakni”

75

és „m�vészeteket és tudományt hallgatni” pozitív kapcsolatban álltak az „oktatásitapasztalatszerzéssel”, miközben „Fehérnek lenni”, „intézményt váltottnak lenni” vagy „els�-generációsnak lenni” mind negatívan kapcsolódtak. Mind az intézmény lakhatási jellemz�i és mind am�vészeteket és tudományt hallgatók aránya pozitív kapcsolatban álltak az „oktatásitapasztalatszerzés” korrigált átlagaival.

A „nappali tagozatos beiskolázási szám” és a „kampuszon élés” pozitív módon kapcsolódott anegyedévesek „támogató kampusz környezetr�l” alkotott percepcióival. Ezzel ellentétben, „Fehérneklenni”, „intézményt váltott hallgatónak lenni” és „m�vészeteket és tudományokat hallgatónak lenni”negatívan függtek össze a kampusz környezetr�l el�nyben részesített észrevételekkel. Háromintézményi sajátosság (méret, mester/doktori hallgatók beiskolázási aránya, diplomákpárhuzamossága) negatívan függött össze a „támogató kampusz környezet” korrigált átlagával.

Korlátozások, megkötések

Ügyelni kell arra, hogy a kutatás eredményeit nehogy túláltalánosítsuk. A vizsgálat megállapításaiazon nyilvános intézményekre korlátozódnak, melyek részt vettek az NSSE 2004-es felmérésében.Habár a nyilvános f�iskolák és egyetemek, melyek részt vettek a 2004-es Fels�oktatási HallgatóiJelentésben14, jellemezték a nyilvános intézményeket általában, a vizsgálatok különböz� intézményimintákat használtak, amelyek különböz� eredmények produkálhattak. Hozzátéve, hogy a kiadásokjelentésének módjai eltér�ek a nyilvános és magán f�iskolák és egyetemek körében, valószín�tlennekt�nik, hogy e kutatás eredményei pontosan megismételhet�ek lennének egy magán intézményekkörében elvégzett vizsgálat során. Ezen eredmények ugyanakkor egy id�pontban való pillanatfelvételtképviselnek. Általában, a 2004-es felmérés megállapításai összhangban vannak a korábbi évekeredményeivel; mindazonáltal, lehetséges, hogy a különböz� évekb�l származó adatok különböz�eredményeket hoznának.

Ezen kívül, a Fels�oktatási Hallgatói Jelentés egy viszonylag rövid felmérés, és nem méri ahallgatói bevonódás összes szempontját vagy a hallgatói tanulás dimenzióit. Ha további itemeketvontunk volna be, vagy más kérd�ívet használtunk volna, az eredmények lehet, hogy ismeretlenmódokon eltértek volna. Hasonlóképpen, a hallgatói és intézményi kontrollváltozók sz�kös skálájáthasználtuk az elemzés során. A vizsgálatban más kontrollváltozók használata talán más eredményekethozott volna létre. Szintén, nem teljesen világos, mib�l állt a kiadási mér�szám, mely ahasználatunkra rendelkezésre állt az elemzés során. Az oktatási és a tanulmányi támogatási kiadásokat,vagy hallgatói szolgáltatási és intézményi támogatási kiadásokat is használhattunk volna. Habár egyáltalános kiadások mér�szám használata a jelenlegi tanulmány egy korlátja, az egyesített kiadások egymegbízhatóbb becslését adták az oktatási kiadásoknak, mint a korábbi tanulmányok mér�számaitették. Valójában, a feltételezett pontosságba vetett hit a kiadások kategóriáinak használatában azáltalános kiadási mér�szám helyett csalóka lehet, mivel ugyanabban a kategóriában a kiadásokatalapvet�en különböz� célokra lehet felhasználni. A korábbi kutatások oktatási kiadásokkal kapcsolatosrészletek hiányosságainak megörökléséb�l adódóan nem meglep�, hogy az összefüggések a kiadások,a hallgatói bevonódás és a tanulási eredmények között tipikusan meglehet�sen gyengék vagyesetenként kétértelm�ek.

Talán a legfontosabb az, hogy a vizsgálat eredményei nem használhatóak fel ok-okozatikövetkeztetések levonására az intézményi sajátosságok, hallgatói sajátosságok, bevonódás és tanulásieredmények közötti összefüggések esetében. Az összes hallgató-szint� adat gy�jtése keresztmetszetimintavételezéssel történt. Id�beli rendezés nélkül, nem lehetséges okozati állításokat kimondani. Azszintén lehetséges, hogy a vizsgálatba be nem került változók befolyásolták a hallgatókintézményválasztásának módjait (melyik f�iskolát vagy egyetemre járjanak), és szinténbefolyásolhatták a hallgatók bevonódási szintjét és/vagy a tanulási eredményeket. A „kihagyott

14 The College Student Report (2004)

76

változó torzítás” miatt lehetetlen okozati állításokat kimondani. (Cellini, 2008). Habár számosstatisztikai eljárást dolgoztak ki arra, hogy számoljanak az ilyen típusú torzítással, beleértve azinstrumentális változók módszerét (Angrist és mtai., 1996), és a hajlandósági mutató alapú párosítást(prospensity-score matching) (Titus, 2007), komoly gondok vannak a változók azonosításávalkapcsolatban azzal, hogy azok instrumentális változókként használhatóak-e fel, vagy hajlandóságimutatókat lehet-e velük kiszámolni (példaként lásd: Bound, 1995). Ezen problémák korlátozzák minda két eljárás alkalmazhatóságát. Továbbá, e statisztikai módszerek nem kompatibilisek a leíróhierarchikus lineáris modellekkel. Fontos felismerni mindazonáltal azt, hogy a kapcsolatokraösszpontosító leíró tanulmányok fontos szerepet töltenek be a fels�oktatási kutatásokban. AmintCellini (2008, p. 348) megjegyezte: „leíró kvantitatív és kvalitatív vizsgálatok egyforma módon

fontosak a korrelációs mintázatok létrehozásában, az elméletek kialakításában és a figyelmünk olyan

területek felé való irányítása, melyeknél a további kutatások indokoltak”.

Eredmények értelmezése

Ezen megkötések és korlátozások ellenére a mostani vizsgálat megállapításai fontoskövetkezményekkel bírnak az elmélet, a kutatások és a gyakorlat számára. E tanulmány eredményeifelfedték, hogy statisztikailag szignifikáns különbségek voltak az átlagos tanulási eredmények közöttaz intézményekben. Mindazonáltal eme intézmények-közötti eltérések nagyon csekélyek voltakösszehasonlítva az intézményen-belüli, hallgatók között meglév� különbségekhez képest. Azintézményi különbségek voltak a felel�sek a szerzett kognitív javak varianciájának 2%-áért és aszerzett nem-kognitív javak varianciájának 4%-áért mind az els�éves és mind a negyedéves hallgatókkörében. A magyarázott variancia becslései csupán kissé voltak nagyobbak a hallgatók bevonódásiértékei esetében. Az intézmények-közötti különbségek feleltek az els�éves hallgatók bevonódásipontszám-varianciájának 3-5%-áért és a negyedéves hallgatók bevonódási pontszám-varianciájának2-6%-áért. Amint Pascarella és Terenzini (1991, 2005) megjegyezte, hasonló megállapításokat tettekmások is más fels�oktatási hallgatói tanulmányokban.

A variancia hiánya a tanulási eredmények és a hallgatói bevonódás értékeiben szinténfigyelmeztetésként hat abban a tekintetben, ha túl nagy hangsúlyt fektetünk ezekre a mér�számokra amegbízhatósági jelentési rendszerekben (accountability reporting systems). Az intézményipontszámok eltérhetnek és el is térnek a College Student Report különböz� adminisztrációs bázisaiközött. Az eltérések mind a mérési hibáknak és mind a mintavételi hibáknak is elkönyvelhet�ek. Ha azintézmények közötti különbségek kicsik, még a legenyhébb intézményi pontszámokban bekövetkez�véletlenszer� változások is lényeges hatásokkal bírnak az adott intézmény helyzetére a többiintézményhez képest. Az intézmény-szint� átlagok legkisebb változásának túlértékelésében rejl�veszélyei miatt Kuh (2007) határozottan figyelmeztetett az ellen, hogy a kapott értékeket felhasználjákaz intézmények összehasonlítására vagy rangsorolására.

Az oktatásra, tanulmányi támogatásra, hallgatói szolgáltatásokra és az intézményi támogatásra tettalapképzési oktatási kiadások egyesítése nem hozott létre er�s mér�számot, amely közvetlenülkapcsolódott volna a hallgatók tanulási eredményeinek széles skálájában lév� intézményikülönbségekhez. Ehelyett, a kiadások szignifikánsan és pozitívan egyetlen tanulási eredménymér�számmal függtek össze (az els�éves hallgatók önbevallott, kognitív tanulási eredményeinekintézményi korrigált átlagával). A kiadások és az els�éves hallgatók szerzett kognitív javai közöttiösszefüggés plusz más intézményi sajátosságok feleltek az intézmények-közötti szerzett kognitív javakvarianciájának 17%-áért. Pontosabban, egységnyi szórásnégyzet (vagy 30%) növekedés a kiadásokbanegyütt járt 0.21-nyi szórásnégyzet növekedéssel a kognitív fejl�dés korrigált átlagaiban. A tény, hogya kiadások összefüggtek az els�évesek kognitív tanulási eredményeivel, de más tanulásieredményekkel nem, nem feltétlenül meglep�, ha hozzátesszük, hogy az alapképzési oktatásra szántkiadások általában aránytalanul vannak szétosztva az olyan programok számára, melyek az els�évesek

77

tanulási és tudományos sikerének növelése érdekében lettek megtervezve (Gardner és mtai., 1997;Upcraft és mtai., 1989).

Az alapképzési oktatásra szánt egyesített kiadások pozitív kapcsolatban álltak az ötb�l két hallgatóibevonódás benchmarkkal (a „tudományos kihívással” és a „hallgató-fakultás interakcióval) mind azels�- és mind a negyedévesek körében. Az els�éves hallgatók körében egységnyi szórásnégyzetbelinövekedés a kiadásokban együtt járt 0.20-nyi szórásnégyzet növekedéssel a „tudományos kihívás”intézményi korrigált átlagaiban és 0.24-nyi szórásnégyzetbeli növekedéssel a „hallgató-fakultásinterakció” átlagaiban. A hatásnagyságok a negyedéves hallgatók körében mérsékeltek voltak. Egyegységnyi szórásnégyzetbeli növekedés a kiadásokban együtt járt 0.17-nyi szórásnégyzetbelinövekedéssel a „tudományos kihívás” intézményi korrigált átlagaiban és 0.10-nyi szórásnégyzetbelinövekedéssel a „hallgató-fakultás interakció” korrigált átlagaival. Itt is, er�s összefüggések azels�éves hallgatók körében azt a tényt tükrözik, hogy a kiadások az els�évesek célozzák.

A „tudományos kihívás” pontszámok voltak az egyik a kett� benchmark közül, amelyeklegszorosabban kapcsolódtak mind az els�éves mind a negyedéves hallgatók kognitív fejl�déséhez.Ugyanakkor, a „tudományos kihívás” és a „hallgató-fakultás interakció” szignifikánsan összefüggöttmind az els�éves és mind a negyedéves hallgatók nem-kognitív fejl�déséhez. A szignifikánskapcsolatok jelenléte mind a kognitív és mind a nem-kognitív tanulási eredmények és a „tudományoskihívás” pontszámai között, együtt a szignifikáns kapcsolatokkal a kiadások és a „tudományoskihívás” szintjei között er�teljesen sugallja, hogy a kiadások közvetett összefüggésben állnak atanulási eredményekkel. Ezek a szignifikáns közvetett összefüggések az alapképzési oktatásra szántkiadások és tanulási eredmények közt, melyeket felfedtünk, összhangban vannak Pascarella és

Terenzini (1991) következtetésével, hogy a legtöbb és fontosabb fels�oktatási hatások közvetettek.Ezek a megállapítások azt sugallják, hogy ahelyett, hogy a pénzt közvetlen módon költenénk ahallgatók tanulásának, intézményben maradásának (retention) és diplomaszerzési rátájánakbefolyásolására, az intézményvezet�k az er�forrásaikat a f�iskolák olyan szempontjaira helyezzék el,amelyr�l a tapasztalat, az elmélet és a kutatás is jelzi, hogy kapcsolatban állnak a tanulással és asikerrel a f�iskolákban (példaként lásd: Kuh és mtai., 2007; Pike és mtai., 2006; Webber és Ehrenberg2009). A mostani tanulmány megállapításai azt mutatják, hogy ilyen stratégia kiváltképp megfelel�,amikor a cél a hallgatók nem-kognitív fejl�désének növelése vagy a negyedévesek kognitívfejl�désének javítása.

E tanulmány eredményei fontos betekintést is nyújtanak az összefüggésekbe az oktatásiszempontból céllal rendelkez� tevékenységekkel kapcsolatos hallgatói bevonódások és a hallgatóitanulási eredmények között. Mind az öt bevonódási érték (benchmark) szignifikánsan és pozitívanfüggött össze a hallgatók kognitív és nem-kognitív szerzett javaival a tanulásban és fejl�désben. Astatisztikai álláspontból nézve ez a megállapítás meglep�. Elég gyakori, hogy amikor egy kimenetiérték (outcome measure) közepesen inter-korrelációs változók egy csoportja (mint például az ebben atanulmányban használt bevonódás értékek) általi regresszió analízisét végezzük, elnyomó (suppressor)hatások megfordíthatják a vizsgált összefüggések irányát egy vagy több független változó esetében(Ethington és mtai., 2002). Ebb�l következ�en, nem lenne meglep�, ha egy vagy több bevonódás érték(benchmark) negatív kapcsolattal rendelkezne a hallgatói tanulással szemben, ha mind az ötbenchmark értéket egy regressziós modellbe helyeznénk el. Ez nem fordult el� ebben a tanulmányban.Tehát, úgy t�nik, hogy az NSSE benchmark által képviselt öt bevonódás típus egyedülálló és pozitívhozzájárulással bír a hallgatók tanulásához és fejl�déséhez. Kétségtelenül, némely kapcsolatoker�sebbek a többinél, de az összes összefüggés pozitív és statisztikailag szignifikáns. Gyakorlatiszemszögb�l tekintve ezek az eredmények azt sugallják, hogy a hallgatói tanulásban bekövetkezettlegnagyobb javulások valószín�leg az olyan intézményi politikákból és gyakorlatokból erednek,melyek javítják a hallgatói bevonódási pontszámokat több dimenzió mentén is (Kuh és mtai., 2005;Pascarella és Terenzini 2005).

78

E tanulmány több említésre méltó hasonlóságot és különbséget is azonosított az intézményisajátosságok és az els�- és negyedévesek bevonódási szintjeinek összefüggései között. Habár akiadások és hallgatói bevonódások közötti összefüggések nagyon stabilnak voltak tekinthet�ek azels�éves és negyedéves hallgatók körében, ugyanaz nem mondható el más intézményi sajátosságok ésa hallgatók bevonódása közötti kapcsolatairól. Intézményi méret (FTE beiskolázási szám) negatívankapcsolódott a „hallgató-fakultás interakcióhoz” az els�éves hallgatók körében, de negatívankapcsolódott a negyedévesek „aktív és együttm�köd� tanulásához”, „hallgató-fakultás interakcióihoz”és a „támogató kampusz környezetr�l” alkotott nézeteikhez is. A mesterképzés� oktatás akiemelkedése szintén úgy t�nt, hogy negatív befolyást gyakorolt a negyedévesek bevonódására. Abeiskolázási szám százalékos aránya, amely a mester/doktori hallgatók számára lett meghatározva,szintén negatívan függött össze az els�éves hallgatók „támogató kampusz környezetr�l” alkotottpercepcióival, de negatívan kapcsolódott a negyedévesek „hallgató-fakultás interakcióival” és a„támogató kampusz környezetr�l” alkotott véleményeivel is. A diplomák párhuzamossága szinténnegatívan kapcsolódott a negyedévesek „támogató kampusz környezetr�l” alkotott percepcióiról.Végül, az intézményi hallgatói szelekció szignifikánsan és pozitívan összefüggött a „tudományoskihívással” az els�éves hallgatók körében, de nem a negyedéves hallgatókéban. Ehelyett aszelektivitás negatívan kapcsolódott a negyedévesek „aktív és együttm�köd� tanulásával”.

A hallgatói bevonódás és hallgatói sikermér�k (mint például a hallgatói perzisztencia éselégedettség) közötti pozitív kapcsolatok miatt sok f�iskola és egyetem a hallgatói bevonódás magasszintekre való er�sítésének módjait keresi. A legtöbb intézmény ezek közül a kisebbségi hallgatók ésaz els�-generációs hallgatók bevonódására összpontosítottak. E vizsgálat eredményei azt sugallják,hogy az els�-generációs hallgatók fókuszba állítása indokolt. Mindazonáltal, a kisebbségi hallgatók„nem-bevonódása” iránti aggodalmak felnagyítottak lehetnek. Ebben a tanulmányban a Fehér férfiakvoltak kitéve annak, hogy a legkevésbé lesznek elkötelezettek. Ráadásul ezek a veszélytényez�kugyanolyan nagyok voltak a negyedévesek, mint az els�éves hallgatók számára.

Összegzés

Számít-e a pénz a f�iskolai hallgatók tanulásában és fejl�désében? A tanulmány eredményeirealapozva a válasz a kérdésre úgy t�nik, hogy „Igen”-nek min�síthet�. Az alapképzési oktatásra szántkiadások közvetlen módon a tanulási eredmények sz�k rétegével álltak kapcsolatban (az els�éveshallgatók kognitív fejl�désével). A kiadások és tanulási eredmények közötti közvetett kapcsolatok, ahallgatói bevonódás által közvetítve, a tanulási eredmények szélesebb körére gyakoroltak hatást.Habár érdekesek e tanulmány eredményei csupán szemléltet� jelleg�ek. Ezen eredmények nemmondanak ki ok-okozati viszonyokat a kiadások, a bevonódás és a tanulási eredmények között. Sokkaltöbb kutatás szükséges, hogy feltárjuk ezeket a kapcsolatokat, és megértsük azokat a feltételeket,amelyek esetében a pénz számít.

79

Függelék

Kognitív tanulásban és fejl�désben szerzett javak (� = 0.87)

• Széleskör� általános oktatásban való részvétel• Foglalkozással vagy munkával kapcsolatos ismeretek és képességek elsajátítása• Érthet� és hatékony írás• Érthet� és hatékony beszéd• Kritikus és analitikus gondolkodás• Kvantitatív problémák elemzése• Információs vagy számítógépes technológiák használata• Hatékony önálló tanulás• Való életb�l vett komplex problémák megoldása

Nem-kognitív tanulásban és fejl�désben szerzett javak (� = 0.85)

• Hatékonyan együttdolgozni másokkal• Helyi, állami vagy nemzeti szavazásokon való részvétel• Önismeret• Más rasszú vagy etnikumú háttérrel rendelkez� emberek megértése• Egyéni érték és etikai kódex kifejlesztése• A közösség jólétéhez való hozzájárulás• Egy elmélyültebb szellemiségi érzék kifejlesztése

Tanulmányi Kihívás (� = 0.75)

• Órákra való felkészülés (tanulás, olvasás, írás, próbálás és stb. kapcsolatosan a képzésiprogramokhoz)

• A szöveggy�jtemények és tankönyvek elolvasásának száma, vagy a könyv-hosszúságú„tanfolyamcsomagok” (tananyagjegyzetek) elolvasásának a száma

• 20 oldal vagy hosszabb írott jegyzetek és tanulmányok száma; 5 és 19 oldalhossz közöttijegyzetek vagy tanulmányok száma; 5 oldalnál rövidebb jegyzetek vagy tanulmányok száma

• Órai tevékenységek, melyek hangsúlyozzák az elméletek vagy új ötletek alapelemeinekelemzését

• Órai tevékenységek, melyek hangsúlyozzák az elméletek, ötletek és tapasztalatok szintézisétés szervezését új, összetettebb értelmezésekbe és kapcsolatokba

• Órai tevékenységek, melyek hangsúlyozzák a módszerek, bizonyítékok és információkértékér�l való ítéletek meghozását

• Órai tevékenységek, melyek hangsúlyozzák az elméletek vagy elképzelések gyakorlatiproblémák vagy új helyzetek során való alkalmazását

• Keményebben dolgozni annál, mint ahogy te hitted, hogy képes vagy annak érdekében, egyoktató elvárásainak vagy mércéinek megfelelj

• Kampusz környezet, mely hangsúlyt fektet a tanulásra és a tudományos munkára szánt id�re

Aktív és Együttm�köd� Tanulás (� = 0.65)

• Feltett kérdések az osztályban, vagy az osztályban történ� viták, megbeszélésekhez valóhozzájárulás

• Készített órai prezentációt• Kurzus folyamán részt vett más hallgatókkal együtt projektekben

80

• A kurzus feladatainak az elvégzése érdekében együttdolgozott a többi hallgatóval azosztálytermen kívül

• Más hallgatókat tanított vagy oktatott (tutorált)• Részt vett egy közösségi-alapú projektben, mint egy általános kurzus része• Megbeszélt-e ötleteket az olvasmányaiból vagy az óráiról másokkal az évfolyamtársain kívül

(hallgatók, családtagok, munkatársakkal, stb.)

Hallgató-Fakultás Interakció (� = 0.75)

• Megbeszélte a jegyeit vagy feladatait egy oktatóval• Beszélt-e karrierterveir�l egy oktatóval vagy tanácsadóval• Megbeszélt-e ötleteket az olvasmányaiból vagy az óráiról más az évfolyamon nem tanító

oktatóval• A kurzuson végzett feladatokon kívül is dolgozott együtt az oktatókkal (bizottságok,

tájékoztatás, hallgatói élettel kapcsolatos tevékenységek, stb.)• Az egyetemi teljesítményér�l a hallgató pontos visszajelzést kap (írott vagy szóbeli)• Oktatókkal dolgozott együtt kutatási projekteken a kurzusokon kívül is vagy a képzési

követelményeken kívül is

Oktatási Tapasztalatszerzés (� = 0.62)

• Tanterv-melletti (co-curricular) tevékenységekben való részvétel (szervezetek, publikációk,hallgatói önkormányzat, sport és stb.)

• Kihelyezett gyakorlat (practicum), szakmai gyakorlat, terepgyakorlat, együttm�ködésselkapcsolatos tapasztalatok vagy klinikai feladatok

• Közösségi szolgáltatás és önkéntes munka• Idegen nyelv� kurzustevékenységek vagy külföldön való tanulás• Független tanulmányok vagy önállóan kialakított szakosodás (major)• A szakzárás módja (komprehenzív vizsga, záró képzés (capstone course), szakdolgozat,

projekt és stb.)• Komoly hangvétel� beszélgetések a hallgatókkal a vallásokról, politikai álláspontokról vagy

egyéni értékekr�l• Komoly hangvétel� beszélgetések a különböz� rasszokról vagy etnikumokról• Elektronikus technológiák felhasználása a feladatok megbeszélése vagy teljesítése során• A különböz� gazdasági, szociális, rasszú és etnikumú hátterekkel rendelkez� hallgatók

érintkezéseit er�sít� kampusz környezet• Egy tanulási közösségben vagy más formális képzésben való részvétel, ahol a hallgatók

csoportja két vagy több évfolyamot vagy csoportot (classes) ölel fel

Támogató Kampusz Környezet (� = 0.78)

• Olyan kampusz környezet, mely biztosítja a támogatást mely megadja a szükséges segítséget,hogy tanulmányi (academically) sikereket érjél el

• Olyan kampusz környezet, mely segít megbirkóznod a nem-tanulmányi felel�sségeiddel(munka, család, stb.)

• Olyan kampusz környezet, mely biztosítja a támogatást, amely ahhoz szükséges, hogymegbirkózz a szociális kihívásokkal

• A kapcsolatok min�sége más hallgatókkal• A kapcsolatok min�sége az oktatókkal• A kapcsolatok min�sége az adminisztrációs személyzettel és irodákkal

81

Hivatkozások

Angrist, J. D., Imbens, G. W., & Rubin, D. B. (1996). Identification of causal effects usinginstrumental variables. Journal of the American Statistical Association, 91, 444–455.

Astin, A. W. (1984). Student involvement: A developmental theory for higher education. Journal ofCollege Student Development, 25, 297–308.

Astin, A. W. (1985). Involvement: The cornerstone of excellence. Change, 17(4), 35–39.

Astin, A. W. (1993). What matters in college? Four critical years revisited. San Francisco: Jossey-Bass.

Baird, L. L. (1976). Using self-reports to predict student performance. New York: The College Board.

Berdie, R. (1971). Self-claimed and tested knowledge. Educational and Psychological Measurement,31, 629–636.

Bound, J., Jaeger, D. A., & Baker, R. M. (1995). Problems with instrumental variables estimationwhen the correlation between the instruments and the endogenous explanatory variable is weak.Journal of the American Statistical Association, 90, 443–450.

Bowen, H. R. (1980). The costs of higher education: How much do colleges and universities spend perstudent and how much should they spend?. San Francisco: Jossey-Bass.

Bryk, A. A., & Raudenbush, S. W. (1992). Hierarchical linear models: Applications and data analysismethods. Newbury Park, CA: Sage.

Carini, R. M., Hayek, J. H., Kuh, G. D., Kennedy, J. M., & Ouimet, J. A. (2003). College studentresponses to web and paper surveys: Does mode matter? Research in Higher Education, 44, 1–19.

Cellini, S. R. (2008). Causal inference and omitted variable bias in financial aid research: Assessingsolutions. Review of Higher Education, 31, 329–354.

Coleman, J. S., Campbell, E. Q., Hobson, C. J., McPartland, J., Mood, A. M., Weinfeld, F. D., et al.(1966). Equality of educational opportunity. Washington, D.C.: U. S. Government Printing Office.

du Toit, S., du Toit, M., Mels, G., & Cheng, Y. (2007). LISREL for Windows: SURVEYGLIM user’sguide. Chicago, IL: Scientific Software. Retrieved April 17, 2008, fromhttp://www.ssicentral.com/lisrel/ techdocs/SGUG.pdf#pagemode=bookmarks.

Elliott, M. (1998). School finance and opportunities to learn: Does money well spent enhancestudents’ achievement? Sociology of Education, 71, 223–245.

Ethington, C. A. (1997). A hierarchical linear modeling approach to studying college effects. In J.Smart (Ed.), Higher education: Handbook of theory and research (Vol. 12, pp. 165–194). New York:Agathon.

Ethington, C. A., Thomas, S. L., & Pike, G. R. (2002). Back to the basics: Regression as it should be.In J. C. Smart (Ed.), Higher education: Handbook of theory and research (Vol. XVII, pp. 263–293).Dordrecht, The Netherlands: Springer.

Ewell, P. T. (2008). Assessment and accountability in America today: Background and context. In V.M. H. Borden & G. R. Pike (Eds.), Assessing and accounting for student learning: Beyond the

82

Spelling’s Commission (New Directions in Institutional Research Series No. S1, pp. 7–17). SanFrancisco: Jossey- Bass.

Gansemer-Topf, A. M., & Schuh, J. H. (2006). Institutional selectivity and institutional expenditures:Examining organizational factors that contribute to retention and graduation. Research in HigherEducation, 47, 614–641.

Gardner, J. N., Van der Veer, G., et al. (1997). The senior year experience: Facilitating integration,reflection, closure, and transition. San Francisco: Jossey-Bass.

Gellin, A. (2003). The effect of undergraduate student involvement on critical thinking: A meta-analysis of the literature, 1991–2000. Journal of College Student Development, 44, 746–762.

Hayek, J. C. (2001). A student-centered approach for identifying high performing colleges anduniversities. Dissertation Abstracts International, AAT 3024295.

James, E., & Alsalam, N. (1993). College choice, academic achievement and future earnings. In E. P.Hoffman (Ed.), Essays on the economics of education (pp. 111–138). Kalamazoo, MI: W. E. UpjohnInstitute for Employment Research.

James, E., Alsalam, N., Conaty, J. C., & To, D. (1989). College quality and future earnings: Whereshould you send your child to college? American Economic Review, 79(2), 247–252.

Kalton, G. (1983). Introduction to survey sampling (Sage University Paper series on QuantitativeApplications in the Social Sciences, 07-035). Beverly Hills, CA: Sage.

Kinzie, J., Schuh, J. H., & Kuh, G. D. (2004, November). A deeper look at student engagement: Anexamination of institutional effectiveness. Paper presented at the annual meeting of the Association forthe Study of Higher Education, Kansas City, MO.

Kuh, G. D. (2001). The National Survey of Student Engagement: Conceptual framework and overviewof psychometric properties. Bloomington, IN: Indiana University Center for Postsecondary Research.

Kuh, G. D. (2003). What we’re learning about student engagement from NSSE. Change, 35(2), 24–32.

Kuh, G. D. (2007). Risky business: Promise and pitfalls of institutional transparency. Change, 39(5),30–35.

Kuh, G. D., Hayek, J. C., Carini, R. M., Ouimet, J. A., Gonyea, R. M., & Kennedy, J. (2001). NSSEtechnical and norms report. Bloomington, IN: Indiana University Center for Postsecondary Research.

Kuh, G. D., Hu, S., & Vesper, N. (2000). ‘‘They shall be known by what they do:’’ An typology ofcollege students. Journal of College Student Development, 41, 228–244.

Kuh, G. D., Kinzie, J., Buckley, J., Bridges, B. K., & Hayek, J. C. (2006, July). What matters tostudent success: A review of the literature. Commissioned report for the national symposium onpostsecondary student success: Spearheading a dialog on student success. Washington, D.C.: NationalPostsecondary Education Cooperative. Retrieved June 23, 2008, fromhttp://nces.ed.gov/IPEDS/research/pdf/ Kuh_Team_Report.pdf.

Kuh, G. D., Kinzie, J., Cruce, T., Shoup, R., & Gonyea, R. M. (2007). Connecting the dots:Multifaceted analyses of the relationships between student engagement results from the NSSE, and theinstitutional practices and conditions that foster student success. Final report prepared for LuminaFoundation for Education. Bloomington, IN: Center for Postsecondary Research.

83

Kuh, G. D., Kinzie, J., Schuh, J. H., Whitt, E. J., et al. (2005). Student success in college: Creatingconditions that matter. San Francisco: Jossey-Bass and American Association for Higher Education.

Kuh, G. D., Schuh, J. H., Whitt, E. J., et al. (1991). Involving colleges: Encouraging student learningand personal development through out-of-class experiences. San Francisco: Jossey-Bass.

Leveille, D. E. (2006). Accountability in higher education: A public agenda for trust and culturalchange. Berkeley, CA: University of California Center for Studies in Higher Education.

McCormick, A. C., Pike, G. R., Kuh, G. D., & Chen, D. P. (2009). Comparing the utility of the 2000and 2005 Carnegie classification systems in research on students’ college experiences and outcomes.Research in Higher Education, 50, 144–167.

National Center for Education Statistics. (2000). IPEDS finance data FASB and GASB—What’s thedifference? Retrieved October 28, 2004, from http://nces.ed.gov/ipeds/web2000/gasb-fasb.asp.

National Survey of Student Engagement. (2004). Student engagement: Pathways to collegiate success.Bloomington, IN: Indiana University Center for Postsecondary Research.

Ouimet, J. A., Bunnage, J. B., Carini, R. M., Kuh, G. D., & Kennedy, J. (2004). Using focus groups toestablish the validity and reliability of a college student survey. Research in Higher Education, 45,233–250.

Pace, C. R. (1980). Measuring the quality of student effort. Current Issues in Higher Education, 2, 10–16.

Pace, C. R. (1984). Measuring the quality of college student experiences. An account of thedevelopment and use of the College Student Experiences Questionnaire. Los Angeles: HigherEducation Research Institute.

Pace, C. R. (1985). The credibility of student self-reports. Los Angeles: Center for the Study ofEvaluation, University of California Los Angeles.

Pascarella, E. T., & Terenzini, P. T. (1991). How college affects students: Findings and insights fromtwenty years of research. San Francisco: Jossey-Bass.

Pascarella, E. T., & Terenzini, P. T. (2005). How college affects students: A third decade of research(Vol. 2). Sacn Francisco: Jossey-Bass.

Pascarella, E. T., Whitt, E. J., Nora, A., Edison, M., Hagedorn, L. S., & Terenzini, P. T. (1996). Whathave we learned from the first year of the national study of student learning? Journal of CollegeStudent Development, 37, 182–192.

Pike, G. R. (1995). The relationship between self reports of college experiences and achievement testscores. Research in Higher Education, 36, 1–21.

Pike, G. R. (2007). Adjusting for nonresponse in surveys. In J. C. Smart (Ed.), Higher education:Handbook of theory and research (Vol. XXII, pp. 411–449). Dordrecht, The Netherlands: Springer.

Pike, G. R., & Kuh, G. D. (2005). A typology of student engagement for American colleges anduniversities. Research in Higher Education, 46, 185–210.

Pike, G. R., Kuh, G. D., & Gonyea, R. M. (2003). The relationship between institutional mission andstudents’ involvement and educational outcomes. Research in Higher Education, 44, 243–263.

84

Pike, G. R., Smart, J. C., Kuh, G. D., & Hayek, J. C. (2006). Educational expenditures and studentengagement: When does money matter? Research in Higher Education, 47, 847–872.

Pohlmann, J., & Beggs, D. (1974). A study of the validity of self-reported measures of academicgrowth. Journal of Educational Measurement, 11, 115–119.

Porter, S. R. (2006). Institutional structures and student engagement. Research in Higher Education,47, 521–558.

Raudenbush, S. W., Bryk, A. S., Cheong, Y. F., Congdon, R., & du Toit, M. (2004). HLM6:Hierarchical linear and nonlinear modeling. Chicago: Scientific Software International.

Rock, D. A., Baird, L. L., & Linn, R. L. (1972). Interaction between college effects and students’aptitudes. American Educational Research Journal, 9, 149–161.

Rock, D. A., Centra, J. A., & Linn, R. L. (1970). Relationships between college characteristics andstudent achievement. American Educational Research Journal, 7, 109–121.

Ryan, J. F. (2004). The relationship between institutional expenditures and degree attainment atbaccalaureate colleges. Research in Higher Education, 45, 97–114.

Ryan, J. F. (2005). Institutional expenditures and student engagement: A role for financial resources inenhancing student learning and development? Research in Higher Education, 46, 235–249.

Secretary of Education’s Commission on the Future of Higher Education. (2006). A test of leadership:Charting the future of U. S. higher education. Washington, D.C.: U. S. Department of Education.

Smart, J. C., Ethington, C. A., Riggs, R. O., & Thompson, M. D. (2002). Influence of institutionalexpenditure patterns on the development of students’ leadership competencies. Research in HigherEducation, 43, 115–132.

Thomas, S. L. (2006). Sampling: Rationale and rigor in choosing what to observe. In C. F. Conrad &R. C. Serlin (Eds.), The SAGE handbook for research in education: Engaging ideas and enrichinginquiry (pp. 393–404). Thousand Oaks, CA: Sage.

Titus, M. A. (2007). Detecting selection bias, using propensity score matching, and estimatingtreatment effects: An application to the private returns to a Master’s degree. Research in HigherEducation, 48, 487–521.

Toutkoushian, R. K., & Smart, J. C. (2001). Do institutional characteristics affect student gains fromcollege? Review of Higher Education, 25, 39–61.

Tyler, R. W. (1932). Service studies in higher education. Columbus: Bureau of Educational Research,Ohio State University.

Upcraft, M. L., Gardner, J. N., et al. (1989). The freshman year experience. San Francisco: Jossey-Bass.

Webber, D. A., & Ehrenberg, R. G. (2009, August). Do expenditures other than instructionalexpenditures affect graduation and persistence rates in American higher education (unpublishedresearch report). Ithaca, NY: Cornell Higher Education Research Institute.

Wenglinskey, H. (1997). When money matters: How educational expenditures improve studentperformance and how they don’t. Princeton, NJ: Educational Testing Service.

85