XIII. Mellékletek
1. számú melléklet: Mintavételi eljárások
Mintavételi eljárások
Valószínűségi mintavétel: véletlen mintavétel; rétegzett mintavétel; klaszteres mintavétel; ezek kombinációja a mintavétel során.
Célzott mintavétel: reprezentativitást/összehasonlítást célzó; különös esetet vizsgáló; szekvenciális;
célzott mintavételi technikákat kombináló.
Kényelmi mintavétel: elérhetőségi; önkéntes.
Kevert módszerek: egyszerű (basic); szekvenciális; egyidejű (concurrent); többszintű (multilevel); a kevert módszerek kombinációja.
Reprezentativitást/összehasonlítást lehetővé tévő mintavételi eljárások: tipikus eset; deviáns eset;
intenzitás; maximum-variációs; homogén; reputációs.
Különös esetet vizsgáló: feltáró (revelatory) eset; kritikus (azaz döntő jelentőségű) eset; a politika/szakpolitika szemszögéből fontos eset; teljes körű; kritérium-alapú.
Szekvenciális mintavétel: teoretikus mintavétel; megerősítő/cáfoló esetek; opportunista/emergens minta; hólabda.
1. számú táblázat: A célzott és a valószínűségi mintavétel különbségei
A kontraszt Célzott mintavétel Valószínűségi mintavétel
elnevezések célzott/nemvalószínűségi/kvalitatív tudományos/véletlen/kvantit
általánosíthatóság lehet ilyen célja (transzferábilitás) van ilyen célja (külső érvényesség) azokat az eseteket választja ki, amelyek együttesen reprezentálják az adott populációt
a minta mérete rendszerint kicsi, harminc, vagy annál kevesebb eset
az információ mélysége (depth) az információ kiterjedtsége (breadth)
42
hogyan veszik a mintát szakértői vélemény alapján matematikai képletek segítségével
mintavételi keret informális keret, valamivel nagyobb, mint maga a minta
2. számú táblázat: A mintavételi eljárások céljai
Stratégia Cél Példa és megjegyzés
kritérium
sztenderd kérdőíves vizsgálat esetében utánkövető, a mélyebb megértést célzó
tipikus eset ami a leggyakrabban,
átlagos módon
történik
azok is értsék, mi történik a színtéren, akik nem részesei – nem az általánosítás a célja
homogén adott alcsoport
mélységi vizsgálata – lehetővé teszi a csoportos interjút
pl. roma nők a közéletben; felépülő szenvedélybetegek az egyházi rehabilitációs intézményekben
hólabda hasonló
sajátosságokkal jellemezhető személyek elérése
pl. felépülő szenvedélybetegtől kérdezzük, hogy kit ajánlana/segítene még megkérdezni indokolt az óvatosság az eset megválasztása és vizsgálata során (nem a „szenzációt” keressük) variációs-intenzív mint az előbb, de
melyek a kulcsfontosságú dimenziók, amelyektől az eset kritikus esetnek számít? –
43 különösen fontos ezt tudni akkor, ha egyetlen programot/helyszínt/csoportot tudunk
fontos elméleti konstrukció lehetséges megnyilvánulási formái
a mintában felfedezett konstrukció variáció (emergent concept – ez lényegében a
ha a trendeket azonosítottuk, keressünk ennek ellentmondó eseteket (vö. Karl Popper, sk.
a tipikus eset és a max. variáció kombinációja (pl. adott egészségügyi probléma kezelésénél az átlagos költségekkel járó, a kevesebb és a többletköltséggel járó megoldások vizsgálata) – kevesebb a hozadéka, mint a max. variációs mintavételnek, de több, mint a tipikus eset szerinti mintavételnek
célzott random az eredmények hitelességét növeli
kevésbé reprezentatív, mint a valószínűségi random lehetetlen azonosítani azt a populációt, amelyből a mintát vennénk – főképpen az
44 2. számú melléklet: A Social and Health Evaluation Unit (SHEU) nyitó kérdéssora
Köszönjük, hogy segítségünkre lesznek egy értékelő modell kialakításában.
Munkánk célja: (rövid, egymondatos leírás).
Az Önök tudása, véleménye az értékelő folyamat egyik fontos pillére. Kérjük, legyenek segítségünkre abban, hogy a lehető legjobb értékelési tervet állíthassuk össze, és válaszoljanak az itt következő kérdésekre. A kérdések három területre vonatkoznak: a program eredményeire, folyamataira, és az érintett felek nézőpontjára.
Elvárások
Milyen előzetes elvárásuk, elképzelésük van az értékeléssel kapcsolatban?
Az első terület: az eredmények
A lehető legpontosabban fogalmazva, melyek azok az eredmények, amelyeket a program segítségével el akarnak érni?
Ezek közül milyen eredmények mentén érdemes Önök szerint értékeltetni a programot?
Milyen információk érhetőek el számunkra, amelyek alátámaszthatják, hogy ezeket az eredményeket sikerült elérni?
Milyen más eredményekhez tudjuk hasonlítani az értékelésre kerülő program eredményeit?
A második terület: a folyamatok
Melyek azok a lényegi vonások, amelyek az Önök programját a legjobban megkülönböztetik más hasonló programoktól?
A program működtetése során milyen tanulságokat sikerült idáig összegyűjteni? (Mi az a néhány legfontosabb tanács, amit egy hasonló program kezdeményezőinek adnának?)
Melyek voltak a legfontosabb újítások a programban az elmúlt évek folyamán? Miként került ezekre sor?
Az értékelés ideje alatt hányan használják majd a program szolgáltatásait?
A harmadik terület: a kockázatviselő felek
Kik azok a további érintettek, akiknek a véleménye Önök szerint fontos az értékelés szempontjából?
45 3. számú melléklet: A Maryland Scientific Methods Scale (Madaleno & Waights nyomán, 4.o.)
Az MSMS egy általánosan elfogadott skála, amelynek mentén saját értékelő kutatásunk egyes aspektusait bírálhatjuk el. A hatásosság értékelésére alkalmas, a folyamatértékelést alapelveit nem építi be. Külső, független értékelést feltételez. Bár egy komplex értékelés minőségét ennek alapján nem tudjuk biztosan megítélni, a skála ismerete hasznos az értékelő kutatások logikájának megértéséhez, és bizonyos korlátokkal használható a szociális értékelő kutatások megtervezéséhez is. A skála különböző, egyre nagyobb érvényességet, megbízhatóságot, reprezentativitást jelentő szintek között differenciál:
1. a programban részt vevő és a programból kimaradó, egymással összemérhető két csoport egyidejű összehasonlítása; vagy az intervencióban részesülő csoport a beavatkozást megelőző és azt követő állapotának egyszerű összehasonlítása.
2. az intervencióban részesülő és nem részesülő, egymással összemérhető csoportok egyidejű összehasonlítása, vagy az intervencióban részesülő csoportok kezelést megelőző és kezelést követő állapotának összehasonlítása. A változások kontrollálása céljából a vizsgálat előre definiált változók mentén történik meg.
3. A programban részt vevő csoport kezdeti és kimeneti állapotának összehasonlítása a programban részt nem vevő csoport kezdeti és kimeneti állapotának összehasonlításával. Erős befolyásoló, nem kontrollált, és aligha kontrollálható tényező lehet a kliensek eltérő motivációja a változásra a két csoportban (ld. a Hawthorne-hatás problematikáját).
4. Kvázi-random elrendezés az előző szint két csoportjának esetében, amikor a csoportokba történő beválasztás véletlenszerűnek tekinthető. Számos esetben ez a módszertani szempontból erős és megalapozott elrendezés komoly etikai problémákat vethet fel (milyen jogon dönt a kutató a segítség megadásáról vagy elutasításáról?) A véletlenszerűség tulajdonítása kérdéses lehet. Ugyanakkor az a változat, ahol a két csoport aktuális tudásunk alapján egyaránt joggal hatásosnak tekintett intervencióban részesül, etikai szempontból már nem kifogásolható.
5. Random kontroll elrendezés: ez a módszertani szempontból robusztus eljárás sem hibátlan, mert szociális projektek esetében csak nehezen biztosítható, hogy programban/vizsgálatban maradás a két csoportnál egyenlő, és nincs a vizsgálatot befolyásoló egyéb tényező. Szinte biztosan van: hiszen egy válságos élethelyzetben lévő személy/csoport nem maradhat segítség nélkül pusztán azért, mert elrontanák a kutatást. Itt is megoldást jelenthet, ha nem a program/intervenció elmaradása jelenti az alternatívát, hanem egy másik program/kezelés.
A második világháborút követően amerikai orvosok azt tanulmányozták, hogyan halnak meg a hirosimai atomtámadás áldozatai. A sugárbetegség spontán leírását sikerült rögzíteni – azon az áron, hogy semmit nem tettek a betegek életéért, vagy legalább szenvedésük enyhítéséért. (Rubin &
Babbie, 2007)
A GRADE az MSMS-hez hasonló skála:
- Az „A” szint: az ismételten elvégzett random kontroll (RCT) vizsgálatok egybehangzó, konzisztens eredményeit tekinti meggyőző bizonyítéknak.
46 - A „B” szint esetében egyetlen RCT eredményeit több kontrollált klinikai vizsgálat támasztja
alá.
- A „C” szintű kutatásokban hosszmetszeti összehasonlítás zajlik, módszere a megfigyelés, kontrollcsoportot nem vonnak be.
- A „D” szintre kerülnek az esettanulmányok, az egyedi intervenciók utánkövetését tartalmazó vizsgálatok.
- A leírásban szinte semmilyen módszerességet nem alkalmazó „E” szint aligha tekinthető követendő példának, mert nagyon sok az esetlegesség, és nagy a véletlenek szerepe.
(GRADE (Grading of Recommendations Assessment, Development and Evaluation) Working Group 2007)
A meggyőző bizonyítékokat szolgáltató, a kísérleti elrendezések logikáját követő vizsgálatok meggyőzőek lehetnek, de számos gyakorlati problémát vetnek fel a szociális programok esetében.
Hogyan kontrolláljunk egy szociális intervenciót, ahol többnyire a fő cél a kapcsolati erőforrások összességének mozgósítása? Legtöbbször a kvalitatív kutatásokban/kevert módszertan szerint végzett vizsgálatokban alkalmazott triangulatív megközelítés lesz az alkalmas keret, ahol az eredmények egymásra vetítése során az egybehangzó, a program elméletét kirajzoló eredmények biztosítják az érvényességet.
Prevenciós programok értékeléséhez jól strukturált szempontokat nyerhetünk az EMCDDA magyar nyelven elérhető kiadványából (Kézikönyv drogprevenciós tevékenységek tervezéséhez és és értékeléséhez, http://drogfokuszpont.hu/wp-content/uploads/drogprevencio_kezikonyv.pdf)
A terápiás/rehabilitációs hatékonyság vizsgálatának dilemmáiról és módszereiről a Szociális Szemle
2015 (1-2) tematikus számában találhatóak további anyagok
(http://szocialismunka.btk.pte.hu/sites/szocialismunka.btk.pte.hu/files/files/szocialis_szemle_2015_
viii_1_2_online.pdf, (41-75). Ugyanitt érhető el a felépülési tőke kérdőívének magyar fordítása is.
(292. o.)
47 XIV. Felhasznált irodalom
Bateson, G. (1972/2000). The logical categories of learning and communication. In.: G. Bateson (1972/200). Steps to an Ecology of Mind. Chicago: University of Chicago
B. Erdős, M. (2015a). Az értékelés értékelése. Egy alkalmazás a szenvedélybeteg-segítés területéről.
Szociálpolitikai Szemle 1(5).
B. Erdős M. (2015b). Az értékelő kutatás egy korszerű modellje: = A contemporary approach to evaluation research. Szociális Szemle 8(1-2) pp. 30-40.
B. Erdős, M., Kelemen, G. (2015) A terápiás közösségek értékelésének javasolt modellje. Szociális Szemle (1-2) 220-234.
B. Erdős, M. (2010). Értékelő kutatások a szociális szférában: A Trident-módszer. Szociális Szemle 3(1), 30–40.
B. Erdős M. (2011). From Ideology to Eidos: Recovering from State Socialism in Hungary. Audem: The international journal of higher education and democracy 2(1) pp. 5-22.
B. Erdős M.; Juhász G.; Molnár D. (2012). Active Citizenship in a Post-transitional Context. Acta Universiatis Sapientiae Social Analisis 2(1) pp. 57-78.
B. Erdos, M., Kelemen, G. (2011) The Finite Universe: Discursive Double Bind and Parrhesia in State Socialism. In: History of Communism. (2) pp. 281-308.
B. Erdos M. (2016). The Role of Evaluation Research in a Country in Transition, High Wycombe: Buckinghamshire New University, Occasional Papers; 14.
Boszormenyi-Nagy, I., Krasner, B. (1986) Between Give and Take: A Clinical Guide to Contextual Therapy. New York: Brunner/Mazel.
Cooperrider, D. L., Whitney, D. (1999) Appreciative Inquiry. San Francisco: Berrett-Kochler Communications Inc.
Corbin, J. & Strauss, A. (2008). Basics of qualitative research. 3rd edition. London: Sage.
Csoba J.; Prókai O. (2011). Esetkönyv. Példatár a szociális munka egyéni esetkezelésének gyakorlatához. Debrecen: Debreceni Egyetem Szociológia és Szociálpolitika Tanszéke
Denzin, N. (2006). Sociological Methods: A Sourcebook. 5th ed. Chicago: Aldine Transaction.
Durkheim É. (2003). Az öngyilkosság. Szociológiai tanulmány. Budapest: Osiris Ellis, R. (2013). Policy, Evaluation and Practice. Szociális Szemle 6(1-2), 7–9.
Ellis, R. (2015). Evaluating evaluation – The Trident approach. International workshop. Pécsi Tudományegyetem, 2015. szeptember 24.
Ellis, R. & Hogard, E. (2006). The Trident: A three-pronged method for evaluating clinical, social and educational innovations. Evaluation 12(3), 372–383.
European Monitoring Centre for Drugs and Drug Addiction (2017), Evaluating drug policy: a seven-step guide to support the commissioning and managing of evaluations, Publications Office of the European Union, Luxembourg.
48 Fjellström, M. (2008). A learner-focused evaluation strategy developing medical education through a deliberative dialogue with stakeholders. Evaluation 14(1), 91–106.
Foxcroft, D. (2015) Environmental, Developmental and Informational Interventions for Substance Misuse Prevention. Nemzetközi Gyermek és Tinédzseraddiktológiai Konferencia, Győr, 2015. április 20-22.
Füzer, K. (2013) The project class: making and breaking social capital in urban and rural development.
Szociális Szemle (1-2) 28-34.
Gambrill, E (1999) Evidence-Based Practice: An Alternative to Authority-Based Practice Volume: 99 issue: 3, page(s): 283-294
Glied, V. (2014) A határtalan város határai.- „Civilek” és az Európa Kulturális Fővárosa – Pécs 2010 program. (Boundaries of a Borderless Town: “NGOs” and the European Capital of Culture, Pécs, 2010) in: Tuka, Á., Glied, V. (szerk.) Pécs a többszintű kormányzás csapdájában. (Pécs Entrapped in Multi-level Governance) Pécs: ID Research Kft/Publikon Kiadó. 173-203.
GRADE (Grading of Recommendations Assessment, Development and Evaluation) Working Group 2 Granfield, R. & Cloud, W. (1999). Coming clean: Overcoming addiction without treatment. New York:
New York University Press.
Hankiss, E. (2007). Interpretations of the Transformation Processes in Eastern Europe http://www.talaljuk-ki.hu/index.php/article/articleview/932/1/62/. Last accessed: 20th June, 2008.
Hermans, L. Cunningham, S. Slinger, J. (2014) The usefulness of game theory as a method for policy evaluation. Evaluation (1) 10-25.
Hochmuth, M. (1952) Kenneth Burke and the “new rhetoric.” Quarterly Journal of Speech, 38, 133-144.
Hogard, E. (2007). Using consultative methods to investigate professional–client interaction as an aspect of process evaluation. American Journal of Evaluation 28(3), 304–317.
Hogard, E. & Ellis, R. (2006). Evaluation and communication: Using a communication audit to evaluate organizational communication. Evaluation Review 30(2), 171–187.
Kelemen G.; B. Erdős M. (2010). Health learning as identity learning in the therapeutic community.
Addiktológia: Addictologia Hungarica 9(3) pp. 2016-225.
Kelly, G.A. (1955) The Psychology of Personal Constructs. New York: Norton.
Kincheloe, J. L. (2007). The power of difference in knowledge production: Multilogicality in the bricolage and postformalism. http://freireproject.org/content/critical-pedagogy-and-research. Last accessed 20th November, 2010.
Korthagen, F. A. J. (2014). Promoting core reflection in teacher education: Deepening professional growth. In: L. Orland-Barak & C. J. Craig (Eds), International Teacher Education: Promising pedagogies (Part A), (pp. 73-89). Bingley, UK: Emer
Lund, G. E. (é.n.). Fifth generation evaluation. Letöltve 2015. 03. 12-én: http://www.haslebo-
partnere.dk/dyn/files/normal_items/427-file/Fifth-Generation%20Evaluation%20by%20Gro%20Emmertsen%20Lund.pdf
49 Madaleno, M, Waights, S. (n.d.) Guide to Scoring Methods Using the Maryland Scientific Methods
Scale. What Works Centre for Local Economic Growth.
https://whatworksgrowth.org/public/files/Scoring-Guide.pdf
Miller, R. B. (2002) Crisis and Responses: the Politics of the Social Sciences in the United States (1980-1982) http://histoire-cnrs.revues.org/548 (Last retrived: 11.03.2016)
Moreau, K. A.; Clarkin, C. L. (2011). Thinking Beyond Measurement, Description and Judgement:
Fourth Generation Evaluation in Family-Centered Pediatric Healthcare Organizations. Journal of MultiDisciplinary Evaluation, [S.l.], v. 8, n. 17, p. 33-45, nov. 2011. ISSN 1556-8180. Available at:
http://journals.sfu.ca/jmde/index.php/jmde_1/article/view/329. Date accessed: 29 jan. 2019.
Palinkas, L. A., Horwitz, S. M., Green, C. A., Wisdom, J. P., Duan, N. & Hoagwood, K. (2015).
Purposeful sampling for qualitative data collection and analysis in mixed method implementation research. Administration and Policy in Mental Health 42(5), 533–544.
Paton, M. (2008). Reflective journals and critical thinking. Faculty of Economics and Business, The University of Sydney, Australia
Paul, R., Elder, L. (2006) The miniature guide to critical thinking: Concepts and tools. Dillon Beach, CA, Foundation for Critical Thinking.
Rawlings, B. (2001). Evaluative research in therapeutic communities. In B. Rawlings & R. Yates (Eds.), Therapeutic communities for the treatment of drug users (pp. 209–223). London: Jessica Kingsley Publishers.
Reynolds M (2014) Equity-focused developmental evaluation using critical system thinking.
Evaluation (1) 75-95.
Rossi, P.H., Lipsey, M.W., Freeman, H.E. (2006) Evaluation: A Systematic Approach. Thousand Oaks:
Sage 1-30.
Rubin, A., Babbie, E. (2007) Essential Research Methods for Social Work. Belmont, CA:
Thomson/Brooks and Cole
Sanders, JR (1994) (ed.) The Joint Committee on Standards for Educational Evaluation: The Program Evaluation Standards, 2nd edition. Sage Publication, Thousand Oaks, USA, p.23-24; 63; 81-82,125-126 (see www.wmich.edu/evalctr/jc/)
Schön, D. A. (1983). The reflective practitioner - how professionals think in action. Basic Books
Stufflebeam, D. L., Sinkfield, A.J. (2007) Evaluation theory, models, and applications. San Francisco:
Jossey-Bass (81-131)
Tapella, E., Rodriguez-Bilella, P. (2014) Shared learning and participatory evaluation: The sistematización approach to assess development interventions. Evaluation (1) 115-133.
Thornicroft, G, Slade, M. (2014). New trends in assessing the outcomes of mental health interventions. World Psychiatry 13(2) pp. 118–124.
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4102275/
Tráserné Oláh, Zs. (2010). Projektmenedzsment. Csongrád Megyei Kereskedelmi és Iparkamara, Szeged.
50 Uhl, A. Ives, R. & Members of the Pompidou Group (2010) Evaluation of the drug prevention activities: theory and practice. Council of Europe
Van Dijk T., A. (2006) Discourse and manipulation. Discourse and Society 17(2) pp. 359-383.
Van Dijk, T, A. (2009) Critical Discourse Studies: A Sociocognitive Approach. Wodak, R., Meyer, M.
(eds.) Methods of critical discourse analysis. London: Sage. 62-85.
Watzlawick, P, Weakland, J. H., Fisch, R. (1974) Change. Principles of Problem Formation and Problem Resolution. New York: Norton.
Weiss, C. (1993) Where Politics and Evaluation Research Meet. Evaluation Practice 14(1) pp. 93-106.
Wenger, E. (2004). Knowledge management as doughnut: Shaping your knowledge strategy through communities of practice. Ivey Business Journal (3) 1–8.
West, SL, O’Neal, KK (2004) Project D.A.R.E. Outcome Effectiveness Revisited. Am J. Public Helath (6) 1027-1029.