SOU 2004:79
Allt ljus på storstadspolitikens lokala utvecklingsavtal? Förslag till nationellt utvärderingsprogram
Till statsrådet Mona Sahlin
Regeringen bemyndigade den 23 oktober 2003 statsrådet Mona Sahlin att tillkalla en särskild utredare med uppdrag att utvärdera de rapporter m.m. som tagits fram inom ramen för de lokala utvecklingsavtalen samt lämna ett förslag på ett nationellt utvärderingsprogram för lokala utvecklingsavtal (Dir. 2003:136). Med stöd av bemyndigandet förordnades samma dag socionom Helene Lahti Edmark som särskild utredare.
Socionom Christina Johansson har tjänstgjort som sekreterare i utredningen sedan den 15 december 2003.
Utredningen antog namnet Utredningen om utvärdering av de lokala utvecklingsavtalen.
Regeringen beslutade den 22 april 2004 om tilläggsdirektiv (Dir. 2004:40). Enligt detta direktiv skall utredningen redovisa delbetänkandet rörande ett förslag på ett långsiktigt nationellt utvärderingsprogram senast den 15 juli 2004.
Utredningen får härmed överlämna delbetänkandet Allt ljus på storstadspolitikens lokala utvecklingsavtal? Förslag till nationellt utvärderingsprogram (SOU 2004:79). Övriga frågor som omfattas av uppdraget kommer att behandlas i utredningens slutbetänkande senast den 31 mars 2005.
Malmö i juli 2004
Helene Lahti Edmark
/Christina Johansson
Sammanfattning
Bakgrund
De allt tydligare tendenserna under 1990-talet mot en ökande social och etnisk segregation i storstäderna har varit en stark drivkraft bakom tillskapandet av en samlad storstadspolitik i Sverige. Sedan 1998 driver regeringen på riksdagens uppdrag en nationell storstadspolitik. Politikens övergripande mål är dels att öka de svenska storstadsregionernas förutsättningar för en långsiktigt hållbar tillväxt genom att bidra till nya arbetstillfällen, dels att bryta den sociala, etniska och diskriminerande segregationen. Det senare målet är särskilt inriktat på bostadsområden med stor andel hushåll i socioekonomiskt utsatta positioner.
Ett av de instrument som tillskapats för att bryta segregationen och vända utvecklingen i positiv riktning i dessa stadsdelar är de lokala utvecklingsavtalen. Genom att länka samman storstadspolitiska mål med lokalt framtagna mål önskar man åstadkomma relevanta långsiktiga insatser byggda på underifrånperspektiv och samverkan. I detta arbete är utvärdering en viktig del för att följa upp och kritiska granska vilka erfarenheter och kunskaper som arbetet leder fram till. År 1999 tecknades de första utvecklingsavtalen mellan stat och kommun med överenskommelser om ett gemensamt åtagande när det gäller sociala insatser på stadsdelsnivå. Sju ko mmuner
med
sammanlagt 24 stadsdelar berörs av avtalen.
Som en del i programmet anlitade de sju avtalskommunerna lokala utvärderare från universitet och högskolor för att ta till vara gjorda erfarenheter och därmed kunna utveckla verksamheten. Dessa utvärderingar publicerades och publiceras ännu successivt i anslutning till programmet. De lokala utvärderingsuppdragen kombinerades med ett nationellt utvärderingsuppdrag förlagt till Integrationsverket, som fick i uppdrag att sammanställa och analysera det gemen-
1
Malmö, Göteborg, Stockholm, Huddinge, Haninge, Södertälje och Botkyrka.
samma resultatet. Integrationsverket kom att bygga upp ett statistiskt analysinstrument och presentera ett flertal rapporter innan de avslutade sitt nationella uppdrag år 2002. Flera av de lokala utvärderingarna är ännu idag inte färdigställda och har därmed inte kunnat ingå i den nationella utvärderingen.
Som ett led i att finna en långsiktig lösning för att säkra politikområdets kunskapsuppbyggnad och för att trygga kvaliteten i utvecklingsarbetet har vi fått i uppdrag att i detta delbetänkande lämna ett förslag på ett långsiktigt nationellt utvärderingsprogram för lokala utvecklingsavtal (Direktiv 2003:136). Förslaget skall ta hänsyn till relevant kompetens som är av betydelse för det lokala utvecklingsarbetet.
Vårt förslag
Ett institut för utvärdering av urban politik
Vi föreslår inrättande av ett institut med en tvärpolitisk och tvärsektoriell inriktning på utvärdering av urban politik, här benämnt Institutet för utvärdering av urban politik (IUUP) eller The Institute for Evaluation on Urban Politics.
Med utgångspunkt från det underlag som presenteras i detta delbetänkande föreslår vi att institutet inrättas som ett separat och oberoende statligt institut, i syfte att säkerställa en långsiktig struktur för utvärdering, tillvaratagande av erfarenheter och befrämjande av kunskapsuppbyggnad kring det urbana politikområdet. Institutet bör vara sektorsövergripande med tvärvetenskaplig inriktning för att möta utvärderingsbehov från ett politikområde som överbryggar ett flertal politik- och sakområden.
Institutet bör bygga på en bred förankring, inledningsvis omfattande flera av de aktörer som medverkat i de befintliga lokala utvecklingsavtalen. Därmed finns en möjlighet att tillvarata erfarenhet och kompetens som utvecklats i arbetet med de lokala utvecklingsavtalen. Flera av aktörerna har långvarig kunskap om likartade insatser inom politikområdet, vilket utgör en värdefull kunskapsresurs för framtida utvecklingsarbete.
Långsiktighet krävs om målet att bygga kunskap ska kunna realiseras. Att samla ihop, sprida erfarenheter och utbyta exempel kan eventuellt ske inom ett kort tidsintervall, men att systematisera erfarenheterna, analysera dem och anrika dem till generaliserbar
kunskap kräver en satsning över tid och koppling till relevant analyskompetens.
En tydlig och fast struktur bör utvecklas utifrån en konkret kärna bestående av tillsvidareanställd personal med forskningsbaserad utvärderingskompetens. Genom att koppla institutet till en stimulerande och kunskapsbyggande miljö ökar förutsättningarna för ett långsiktigt kvalitativt arbete med utvärderingar. Om institutet exempelvis samlokaliseras med annat lämpligt institut eller lärosäte medför detta även vinster bl.a. i form av ett kunskapsbefrämjande utbyte och delade administrationskostnader.
Verksamhet och uppdrag
Institutet ska på uppdrag av styrelsen initiera, planera och koordinera utvärdering och forskningsinsatser på området urban politik, samt fungera som en kunskapsbas i kontakt med intressenter på olika nivåer; från lokal till internationell nivå.
Institutets uppgifter kan översiktligt beskrivas utifrån en rad stödord:
Samla och koordinera olika kunskapskällor inom sakområdet. Att samla in, systematisera, tematisera, sammanfatta och förmedla befintlig utvärdering, forskning och kunskap kring politikområdet innebär att bygga en grund för en kunskapsbas.
Utvärdera, vilket innebär att initiera och genomföra utvärderingar och förstudier eller uppdra åt externa aktörer att utvärdera. Ha en samordnande funktion för interna och externa utvärderare. Utveckla utvärderingskvalitet inom politikområdet men också generell utvärderingskompetens. Bidra till lärande kring metoder att följa upp insatser.
Erfarenhets- och kunskapsutbyte. Aktivt medverka till och befrämja erfarenhets- och kunskapsutbyte, bland annat genom att stödja bildandet av nätverk, anordna nätverksträffar, dialoger, seminarier och konferenser kring aktuella frågor.
Bygga kunskap. Med bas i ovanstående genomföra kvalificerade analyser som ansluter till befintliga forskningsteorier och/eller bistå med utveckling av nya teorier. Ta tillvara och korsbefrukta befintlig sektorsspecifik utvärdering och forskning, samt att stimulera koppling mellan praktik och forskning.
- Stödja och främja genom att erbjuda en interaktiv med möjlighet för aktörer på politisk, organisatorisk och praktisk nivå att erhålla stöd, utbildning eller konsultation när det gäller utvärdering av insatser i politikområdet.
Organisering
Ansvaret för planering av utvärderingar förläggs i vårt förslag på en organisation som samlar olika intressenter och aktörer på det aktuella området. Det kan omfatta representanter från forskning, administration (byråkratin), praktiker (professionella), brukare, eller andra som kan anses tillföra viktiga perspektiv. Denna förankring förenar ambitioner om en utvärderingsverksamhet grundad i frågeställningar som är angelägna ur flera perspektiv, med att bereda möjlighet till ett brett inflytande. Detta medför att även parter som medverkar i planeringsprocessen kan bli en av målgrupperna för utvärderingen.
För att säkra ett brett förankrat inflytande och att befintlig kompetens tas tillvara föreslår vi att en styrelse bildas med fyra aktörer som aktiv bas: stat, kommun, forskare och övriga intressenter.
En fast kärna med flexibel extern resurs
För att skapa stabilitet och kontinuitet krävs en kärna eller fast personalgrupp med tvärsektoriell kompetens. Erfarenheter från andra institut säger att denna bas måste ses i ett långsiktigt perspektiv. Det bör särskilt uppmärksammas att i ett utvärderingsinstitut är det två huvudsakliga former av kompetens som är grundläggande; dels en kvalificerad utvärderingskompetens, dels ämneskompetens kring olika sakfrågor inom politikområdet.
Det storstadspolitiska arbetet är under ständig utveckling. Att binda resurser enbart till en specifik personalstab vore att tidigt begränsa de frågeställningar som institutet kan hantera. För att således undvika inlåsning i ett specifikt sakområde eller begränsas av den ursprungliga personalgruppens utvärderingskompetens, bör institutet ha en flexibel resurs som under olika perioder kan tas i anspråk för utvärderingsuppdrag beroende på vilka frågor som är aktuella. Här finns utrymme dels för att utvidga urvalet av utvärderingsmetoder, dels för att inhämta specifik kompetens. Detta kan förslagsvis ske genom ett kvalificerat samarbete med andra special-
inriktade kunskapsproducenter, som enskilda forskare, kommun- och landstingsförbund, FoU-enheter, lokala forskargrupper, myndigheter, forskningsinstitut.
Flexibla referensgrupper
Med en storstadspolitik i utveckling är det viktigt att behålla en öppenhet för nya infallsvinklar och aktörer. Referensgrupper bör därför utses. En flexibel sammansättning av referensgrupper kan därmed utgå från dagens frågeställningar utan att förlora en beredskap för framtida utmaningar.
Konsekvenser
Vårt förslag omfattar i första hand en principiell struktur för ett nationellt utvärderingsprogram. För att kunna realiseras behöver förslaget ytterligare beredas av instanser med relevant kompetens för att på en mer detaljerad nivå beräkna de kostnadsmässiga konsekvenserna. Vår preliminära bedömning är att detta institut i ett första skede bemannas med 10–15 personer. Med en genomsnittlig årskostnad per anställd på ca 750 tkr, skulle förslaget medföra kostnader på uppskattningsvis 7–11 miljoner kr per år, exklusive kostnader för lokaler.
Vi utgår från att förslaget finansieras inom givna resursramar och att medel för utvärdering och uppföljning av aktuella frågor inom respektive politikområde omprioriteras till institutet.
Omfattningen av institutets verksamhet och därav följande resursbehov menar vi är beroende av storstadspolitikens fortsatta inriktning, omfattning och mål. Finansiell resurstilldelning, utöver de grundläggande kostnaderna för institutets basverksamhet som angetts ovan, får avvägas med hänsyn till omfattningen av institutets uppdrag.
1. Inledning
1.1. Direktiv
Regeringen beslutade den 23 oktober 2003 att tillkalla en särskild utredare för att utvärdera de rapporter m.m. som tagits fram inom ramen för arbetet med de lokala utvecklingsavtalen. Utredaren skall inventera, sammanställa och analysera rapporterna i syfte att omvandla gjorda erfarenheter till kunskap.
Den särskilde utredaren fick därutöver i uppdrag att, med beaktande av relevant kompetens inom de områden som är av betydelse för det lokala utvecklingsarbetet, lämna förslag på ett långsiktigt nationellt utvärderingsprogram för lokala utvecklingsavtal. Utvärderingsprogrammet är ett led i politikområdets kunskapsuppbyggnad och i utvecklingsarbetets kvalitetssäkring.
I detta delbetänkande behandlas frågan om ett nationellt utvärderingsprogram. Den 22 april 2004 meddelades tilläggsdirektiv med förlängd utredningstid för delbetänkandet. Huvuduppdraget beräknas vara klart och redovisas i mars 2005.
Direktiv (2003:136) samt tilläggsdirektivet (2004:40) bifogas i sin helhet (se bilaga).
1.2. Utgångspunkter för förslaget och arbetets gång
I vårt förslag på ett nationellt utvärderingsprogram har vi haft ambitionen att finna en struktur och en organisation som över tid kan erbjuda funktioner som efterfrågas i direktivet.
Det nationella utvärderingsprogrammet skall vara långsiktigt. Detta innebär att vi har vinnlagt oss om att säkra en struktur och organisationsform för det nationella utvärderingsprogrammet som garanterar en kontinuitet över tid.
Det nationella utvärderingsprogrammet är ett led i politikområdets kunskapsuppbyggnad. Storstadspolitiken är i sin tvärsektoriella ansats ett relativt nytt politikområde. För att samla in befintlig kunskap och bygga upp ny kunskap på området krävs en tydlig struktur. Som ett led i detta politikområdes kunskapsuppbyggnad och för att erfarenheter och kunskap ska kunna förankras i såväl akademiska kretsar som bland berörda praktiker, bör möjligheter till ett kontinuerligt utbyte kunna erbjudas.
Storstadspolitiken griper över flera politiska områden och sektorer, den går på tvärs genom departement och förvaltningar. En sådan tvärvetenskaplig ansats kräver en samordning av flera inbördes mycket olika verksamhetsområden och vetenskapsfält. Storstadspolitiken inbegriper aktörer på såväl statlig, regional som lokal nivå och ett nationellt utvärderingsprogram bör således kunna tillfredsställa kunskapsbehov av olika slag och kunna utgöra ett stöd i ett fortsatt utvecklingsarbete.
Vi menar att ett nationellt utvärderingsprogram ska ge möjlighet till en kritisk granskning av politikområdet i sin helhet. Vi utgår även från att ett nationellt utvärderingsprogram ska vara användbart av aktörer på flera olika nivåer, där man utifrån sina specifika behov kan kunna ta del av den kunskap man söker. Då utvärderingsprogrammet inte bara kan betraktas som ett led i politikområdets kunskapsuppbyggnad utan också som del i utvecklingsarbetets kvalitetssäkring, har vi bedömt det som angeläget för vår utredning att förankra frågan genom att inhämta erfarenheter och idéer från personer i olika positioner i förhållande till det lokala utvecklingsarbetet.
Vår ambition är att det nationella utvärderingsprogram som presenteras i vårt förslag ska betraktas som användbart för många av de intressenter som är berörda av de lokala utvecklingsavtalen, d.v.s. beslutsfattare och tjänstemän på såväl statlig som lokal nivå, medborgare i stadsdelarna och en intresserad allmänhet i stort. Detta menar vi främjar att resultatet av utvärderingarna används.
Under utredningsarbetet har vi således lagt oss vinn om att ha en kontinuerlig dialog med olika praktiker, forskare och tjänstemän i syfte att utbyta erfarenheter och diskutera olika förslag. Kontakter med berörda personer grundlades bl.a. då utredaren deltog i s.k. dialogmöten
1
i de sju kommuner som tecknat lokala utvecklingsavtal
1
Dialogmöten är en återkommande form för samverkansdialoger mellan storstadskansliet
och respektive kommun i syfte att utbyta erfarenheter, stämma av arbetet och följa utvecklingen.
med staten. Utredarens medverkan på dialogmötena gav tidigt möjlighet att informera om utredningens arbete och har senare bidragit till ett fortsatt utbyte med aktivt engagerade på olika nivåer.
Vi har under utredningstiden intervjuat och/eller besökt ett drygt 30-tal personer, samt genomfört åtta fokusgrupper
2
med ett drygt
40-tal deltagare med olika funktioner och roller i förhållande till de lokala utvecklingsavtalen. Vår ambition med fokusgrupperna var att få kontakt med personer engagerade i de lokala utvecklingsavtalen som på något sätt har berörts av utvärderingar och som därmed kan tänkas ha idéer och förslag om hur ett nationellt utvärderingsprogram bör ut-formas. En beskrivning av fokusgrupp som metod bifogas, liksom en översikt över utredningens kontakter (se bilaga).
Utredaren har även haft kontakt med två arbetsgrupper inom ramen för storstadssatsningen, den s.k. Huddingegruppen
3
(med
fokus på vägar till kunskaps- och erfarenhetsspridning) och den s.k. Internationella gruppen
4
(som studerat internationella kontak-
ter och nätverk inom politikområdet). Utredningen har tagit del av arbetsgruppernas rapporter, men någon fortlöpande samverkan har inte varit möjlig då arbetsgrupperna avslutade sitt arbete i denna utrednings inledningsskede.
Utredningen har under våren även gjort ett studiebesök på Dutch Urban Expert Center i Utrecht, Holland, samt besökt forskare och forskningsinstitut i Sverige som varit intressanta för frågan. Vi har även fortlöpande tagit del av litteratur och erfarenheter av utvärderingar rörande storstadspolitiskt arbete, samt orienterat oss i andra organisationers sätt att lösa frågan om utvärdering. Professor Tapio Salonen har fungerat som vetenskaplig rådgivare åt utredningen.
2
Fokusgrupp är en form av gruppintervju som bl.a. har till syfte att få fram ett brett spektra
av idéer och åsikter kring en fråga. Se bilaga Metodappendix om fokusgrupper.
3
Ju2003/3863/STO. Kan hämtas från storstadskansliets hemsida www.storstad.gov.se
4
Ju2003/4070/STO. Kan hämtas från storstadskansliets hemsida www.storstad.gov.se
2. Bakgrund
Bakgrund
De nordiska länderna har under senare hälften av 1900-talet präglats av en väl utvecklad välfärdspolitik som bland annat omfattat starka inslag av bostadspolitiska och regionalpolitiska ambitioner. Det regionalpolitiska inslaget har inneburit en balansgång mellan glesbygd och tätorter och först senare inriktats på en uttalad nationell stadspolitik av mer europeisk modell
1
. En påfallande snab b utveckling under 1990-talet med accelererande segregation främst i storstädernas ytterområden har lett till en politisk fokusförskjutning, uttryckt i allt mer omfattande samlade strategier och handlingsprogram inriktade på att lösa städernas problem (Schulman 2000). Nordiska Ministerrådet efterlyste i en rapport 1997
2
en samordning
mellan flera politikområden och en “bredspektret politisk indsats” för att kunna möta socioekonomisk och etnisk segregationsproblematik i de aktuella bostadsområdena. Särskilt poängteras att bostadspolitiken inte ensamt klarar av denna komplexa uppgift. Ett enskilt politikområde som bostadspolitik kan endast i begränsad utsträckning motverka vissa negativa verkningar. Detta stämmer väl överens med slutsatserna i en EU-rapport
3
, refererad i en översikt från Nordregio
(Schulman 2000), där vikten av en samordning och kombination av åtgärder i syfte att få en effektiv och sammanhållen stadspolitik poängteras. Enligt samma rapport har den europeiska stadspolitiken fram till nyligen varit inriktad på storstädernas tillväxt och sociala utjämning. En tydlig trend är dock riktningen mot en breddad (dvs.
1
Med stadspolitik som begrepp avses här offentliga insatser på olika beslutsnivåer som har
betydelse för städernas utveckling. En explicit stadspolitik på den nationella nivån är en politik som är direkt riktad mot städerna, medan en implicit politik får indirekta konsekvenser för städerna utan att direkt fokusera dem. En annan begreppslig skillnad är en partiell politik, dvs. uppdelad på olika politikområden, alternativt integrerad eller samordnad politik (Schulman 2000).
2
Boligpolitik mod segregation (1997:544).
3
Refererad EU-studie från 1997 av det s k Euricur. För vidare referens se Schulman (2000).
som även omfattar mindre städer och orter), sammanhållen och helhetsorienterad stadspolitik med inriktning på såväl sociala, ekonomiska, ekologiska som kulturella aspekter. Gemensamma inslag och nyckelbegrepp i den europeiska storstadspolitiken är enligt sammanställningen: 1) Samordning av olika politikområden, 2) “Area-based approach”, dvs. inriktning mot geografiskt avgränsade och särskilt utsatta områden, 3) “Underifrånperspektiv” (lokalt arbete och partnerskap), 4) Helhetslösningar (samfinansiering av lokala åtgärdsprogram) samt 5) Uppföljning och utvärdering (löpande uppföljningar och forskningsinsatser)
4
.
Norden har först under det senaste decenniet utformat en samordnad stadspolitik som kan liknas vid den europeiska (jämför t.ex. Nordiska ministerrådets rapporter). De allt starkare tendenserna under 1990-talet mot en ökande social och etnisk segregation i storstäderna har varit en utlösande faktor, bland annat i Sverige, för en mer samlad stadspolitik. Politiskt fokuseras främst sociala insatser för att bekämpa och förebygga storstadens problem, men även samhällsekonomiska frågor som betonar storstädernas betydelse för landet lyfts fram. Den storstadspolitik som vuxit fram inspireras av de europeiska erfarenheterna med huvudsaklig inriktning på bostadsområden med stor andel boende i utsatta positioner.
Således tillsattes en storstadsutredning år 1988, vilket bidrog till att levnadsvillkoren framför allt i en rad s.k. utsatta förortsområde n
5
uppmärksammades. År 1994 tillsatte regeringen Storstadskommittén, vars slutbetä nkande
6
lades till grund för en proposition om en sam-
ordnad storstadspolitik. I propositionen (1997/98:165) Utveckling och rättvisa – en politik för storstaden på 2000-talet utkristalliserades huvudsakligen två övergripande mål för storstadspolitiken:
1. dels det s.k. tillväxtmålet med inriktning på att öka de svenska
storstädernas attraktivitet genom att ge förutsättningar för en långsiktigt hållbar tillväxt
2. dels det s.k. segregationsmålet med inriktning på att skapa jäm-
lika levnadsvillkor genom att bryta social, etnisk och diskriminerande segregation.
4
Integrationsverket (2002) Förort i fokus – interventioner för miljoner. Integrationsverkets
rapportserie 2002:01.
5
Se diskussion om begreppet i Integrationsverkets rapport Förort i fokus (2002).
6
Storstadskommittén (1998) Tre städer. SOU 1998:25
För att utveckla och samordna storstadspolitiken tillsattes en tvärdepartemental storstadsdelegation under ledning av integrationsministern med bistånd av ett storstadskansli placerat på Regeringskansliet.
De senaste satsningarna
Under senare delen av 1990-talet har regeringen tagit initiativ till stora nationella program i syfte att möta situationen i bostadsområden med hög andel boende i utsatta socioekonomiska situationer, som den s.k. Blommansatsningen
7
1995, Nationella exempel
1998 och nu senast de lokala utvecklingsavtalen (den s.k. Storstadssatsningen) 1999. Parallellt kan nämnas Stockholms stads kommunalt finansierade satsning Ytterstadssatsningen och EU-finansierade insatser inom ramen för URBAN som bedrivits bl.a. i Malmö och Göteborg. Även senare har satsningar påbörjats eller diskuterats, som Stadsdelsförnyelsen i Stockholm eller Välfärd för alla i Malmö. Insatser i de aktuella områdena förekommer även inom den ordinarie kommunalt finansierade verksamheten.
Tillväxt och insatser mot segregation
I storstadspropositionen 1997/98:165 formulerades således en storstadspolitik med målet att ge storstadsregionerna goda förutsättningar för långsiktigt hållbar tillväxt. Detta innebär enligt propositionen att politiken dels (i enlighet med tillväxtmålet) bör bidra till att nya arbetstillfällen skapas inom storstadsregionerna och i övriga delar av landet, dels (i enlighet med segregationsmålet) att bryta den sociala, etniska och diskriminerande segregationen i storstadsregionerna. I det senare ingår även att verka för jämlika och jämställda levnadsvillkor för storstädernas invånare. Särskild vikt läggs vid stöd till de mest utsatta bostadsområdena.
För att nå det senare målet utvecklades ett nytt instrument, de lokala utvecklingsavtalen
8
, populärt kallad Storstadssatsningen. De
lokala utvecklingsavtalen är ett strategiskt instrument som reglerar statliga och kommunala åtaganden i utsatta bostadsområden i storstadsregionerna. Avtalen tecknas mellan staten och de berörda kom-
7
Namnet associerar till initiativtagaren och dåvarande integrationsministern Leif Blomberg.
8
I texten används vid något tillfälle även den informella förkortningen LUA om de lokala
utvecklingsavtalen.
munerna och godkänns slutligen av regeringen. Avtalen innehåller mål, åtgärdsplaner, en plan för uppföljning och utvärdering samt den överenskommelse som träffats för hur kostnaderna för insatserna ska finansieras. Fyra centrala metoder är knutna till avtalen och utvecklingsarbetet; mål och utvärdering, underifrånperspektiv, samverkan och långsiktighet. Avtalen revideras årligen i en dialog mellan staten och kommunerna baserat på uppföljningsrapporter från kommunerna och på de utvärderingar som genomförts. Regeringen har tecknat lokala utvecklingsavtal med sju kommuner och omfattar totalt 24 stadsdelar. De medverkande kommunerna är Botkyrka kommun, Göteborgs kommun, Haninge kommun, Huddinge kommun, Malmö kommun, Stockholms kommun och Södertälje kommun.
Staten har hittills avsatt drygt två miljarder kronor för utvecklingsarbetet och de berörda kommunerna har till motsvarande belopp gjort olika motprestationer. Det senare var en förutsättning som reglerades i avtalen.
De lokala utvecklingsavtalen presenteras närmare i kommande kapitel.
3. Lokala utvecklingsavtal – ett instrument med utvärdering
De lokala utvecklingsavtalen innehåller och åtföljs av ett omfattande utvärderingsprogram på såväl lokal som statlig nivå. I detta avsnitt ger vi en kortfattad beskrivning av det lokala utvecklingsavtalets konstruktion, visar på utvärdering som en av dess centrala metoder samt hur det nationella utvärderingsuppdraget genomförts.
3.1. De lokala utvecklingsavtalens konstruktion
Riksdagen beslutade 1998 om en ny nationell storstadspolitik. De lokala utvecklingsavtalen introducerades samtidigt som ett instrument för att genomföra den nya politiken.
De lokala utvecklingsavtalen är i första hand ett instrument för arbetet med att bryta den sociala, etniska och diskriminerande segregationen i storstäderna. I Regeringens skrivelse Lokalt utvecklingsarbete i storstäderna (Skr. 2003/04:49)
1
hämtar vi följande samman-
fattande beskrivning av de lokala utvecklingsavtalens konstruktion:
De lokala utvecklingsavtalen består av en s.k. avtalskappa och ett antal bilagor. Avtalskappan reglerar kommunens och statens åtaganden, parternas mål och ansvariga utvärderare. Bilagorna innehåller till exempel åtgärdsplaner, samverkansavtal, framtidsbilaga och utvärderingsprogram. Åtgärdsplanerna kan alltmer ses som stadsdelarnas egentliga utvecklingsprogram med nulägesbeskrivning, analys, strategi och val av insatser.
I avtalet redovisas en sammanhängande målkedja. Den innehåller övergripande nationella mål beslutade av riksdagen och lokala effektmål som kommunerna tagit fram i samverkan med andra aktörer. Utvärdering görs både på nationell och på kommunal nivå.(ibid s. 23–24)
1
Regeringens skrivelse Lokalt utvecklingsarbete i storstäderna (Skr. 2003/04:49).
2
Förkortningen ”ibid” efter citat betyder ”i samma skriftliga källa”, dvs. i den senast använda
referensen. Tanken med förkortningen är att underlätta läsningen.
De lokala utvecklingsavtalen bildar således en ram för de överenskommelser som stat och kommun träffar om åtaganden i berörda stadsdelar. Då segregationens mekanismer är komplexa och lokala förutsättningarna och behov ser olika ut kan innehållet i de lokala utvecklingsavtalen skifta mellan de olika kommunerna (och stadsdelarna). Samtliga har dock en gemensam struktur för hur de är konstruerade.
Med avtalen följer en fortlöpande revideringsprocess med årliga lägesrapporter i en dialog mellan stat och kommun.
3.2. Utvärdering som en central metod
För genomförandet av de lokala utvecklingsavtalen är fyra centrala metoder knutna till avtalen och utvecklingsarbetet
- Mål och utvärdering
Målstyrningsmodellen är avsedd att ge en möjlighet att länka samman de storstadspolitiska målen med de mål som tagits fram på lokal nivå. Målstyrning formar grunden för uppföljnings- och utvärderingsarbetet.
- Underifrånperspektiv
Storstadspropositionen betonar på flera ställen vikten av ett utvecklat underifrånperspektiv som nödvändig betingelse för att nå långsiktiga effekter av de insatser som görs.
- Samverkan
Samordning, samsyn och samverkan över sektorsgränser, politikområden och mellan lokal, regional och central nivå samt utvecklande av nya samverkansformer ges en stor betydelse i det lokala utvecklingsarbetet.
- Långsiktighet
Till skillnad från tidigare projektbidragsmodeller finns en strävan att göra långsiktiga bedömningar i valet av insats. Framgångsrika metoder och nya samverkansformer förväntas införlivas i ordinarie strukturer och finansieras med befintliga medel när den statliga satsningens finansierande del avslutas.
Utvärdering ingår således som en del i de centrala metoder som presenterats ovan.
I den nordiska traditionen har utvärderingar ofta levt en relativt undanskymd tillvaro trots en lång och utvecklad tradition av utredningsverksamhet inom offentlig sektor.
3
Detta återspeglas i uttalan-
den som gjordes i den svenska storstadskommitténs slutbetänkande Tre städer (SOU 1998:25)
4
så sent som 1998, då bristen på uppfölj-
ningar och avsaknaden av intresse för utfallet skarpt kritiserades:
Den allvarligaste kritiken riktar vi mot flertalet av de statliga stödinsatserna, för den nästintill totala avsaknaden av uppföljning och utvärdering av de genomförda satsningarna... Detta är upprörande. Först satsar stat och kommun miljardbelopp på tusentals enskilda projekt, sedan visar man ett högst mediokert intresse för resultaten. (ibid s. 122).
En ambition med storstadssatsningen var att tidigt skapa beredskap för att ta hand om den flora av erfarenheter och resultat som satsningen skulle generera. I förhållande till tidigare satsningar, som "Blommansatsningen" och "Nationellt exempel", fanns en medveten ambitionshöjning när det gällde vikten av att avsätta medel för utvärderingar och uppföljningsrapporter. Ambitionshöjningen kan ses som ett av svaren på den kritik som framfördes i Tre städer (SOU 1998:25). Genom att ställa krav på kommunerna om genomförande av lokala utvärderingar som en av förutsättningarna vid upprättande av lokala utvecklingsavtal (och därmed beviljas tillgång till statliga medel), ville man från statligt håll försäkra sig om en dokumentation kring och bedömning av resursernas användning. Ambitionen var inte bara att följa insatserna och deras effekter, utan även att ”följa utvecklingen i utsatta bostadsområden och bidra till kunskaps- och erfarenhetsspridning till kommuner, myndigheter och andra aktörer” (Schulman 2000, s. 43). Erfarenheter skulle tas tillvara för att primärt utveckla insatserna i de utvalda kommunerna, men också för att ge möjlighet till spridning till kommuner med en likartad situation. Genom att utvärderingarna även hade som syfte att ge råd, stöd och kritik under arbetets gång, förväntades de kunna leda till förbättringar i genomförandet av insatserna.
Med de lokala utvecklingsavtalen ville man således från centralt håll betona vikten av en löpande uppföljning och en långsiktig kunskapsuppbyggnad bl.a. i form av utvärdering.
3
Se exempelvis Furubo (2004).
4
Storstadskommittén (1998) Tre städer. SOU 1998:25, Stockholm.
Kommunerna har således självständigt ansvarat för att genomföra lokala utvärderingar vilket reglerats i de lokala utvecklingsavtalen. Man har anlitat externa utvärderare från högskolor och universitet för att utvärdera de lokala satsningarna. Drygt ett hundratal utvärderingar och externa rapporter har producerats på lokal nivå och arbetet med att sammanställa och värdera detta material ingår bland annat i denna utrednings huvuddirektiv.
5
Parallellt med de lokala utvärderingarna förlades ett nationellt utvärderingsuppdrag till Integrationsverket, i avsikt att få en överblick och en samlad analys av utvecklingen.
Integrationsverket har i vissa fall lagt ut uppdrag till externa utförare.
6
Regeringen har dessutom lagt ut ytterligare utvärderingsuppdrag på andra utförare som bidragit med studier av storstadsarbetet.
7
3.3. Integrationsverkets nationella utvärderingsuppdrag
För att således säkerställa en överblick och samlad analys av erfarenheterna av de lokala utvecklingsavtalen, fick Integrationsverket i april 1999 i uppdrag att vara huvudansvarig för en nationell utvärdering. Den nationella utvärderingen skulle enligt regeringens beslut löpa parallellt med de lokala utvecklingsavtalen, dvs. under treårsperioden 1999–2002. Integrationsverket genomförde mycket riktigt uppdraget under denna period. Under tiden förlängdes dock de lokala utvecklingsavtalen tidsmässigt bland annat genom att kompletteras med ett erbjudande om utsträckt avtalstid.
Huvudsyftet med den nationella utvärderingen, som beskrivs i Integrationsverkets slutrapport
8
, var att "skapa ett underlag som gör
det möjligt att dra relevanta slutsatser om hur det framtida storstadsarbetet och även den framtida utvärderingen kan utformas" (ibid s. 7).
I slutrapporten konkretiseras flera syften (vår kursivering):
5
Utredningens arbete i denna fråga kommer att redovisas under år 2005.
6
Riksantikvarieämbetet, Kulturgeografiska institutionen vid Uppsala universitet, Socialhög-
skolan i Lund och Mångkulturellt centrum i Borkyrka.
7
Andra uppdragstagare har varit: Verket för näringslivsutveckling (NUTEK), Institutet för
tillväxtpolitiska studier (ITPS), Statskontoret, Brottsförebyggande rådet (BRÅ) och Mångkulturellt centrum i Botkyrka.
8
Integrationsverkets rapportserie 2002:5 På rätt väg?
1. Att beskriva utvecklingen i de berörda storstadsområdena så långt det är möjligt, bland annat med hjälp av att tydliggöra tillståndet i områdena.
2. Att analysera storstadspolitikens övergripande mål att bryta segregationen, bland annat genom att diskutera storstadssatsningens områdesfokuserade strategi i förhållande till detta mål.
3. Att granska genomförandet av storstadspolitiken, bland annat utifrån honnörsorden långsiktighet, underifrånperspektiv, samverkan och helhetssyn.
4. Att analysera storstadssatsningens hinder och möjligheter.
5.
Att lämna förslag på hur framtidens politik och praxis bör utvecklas.
Integrationsverket löser uppdraget
Integrationsverket sökte olika vägar till information och kunskap för att belysa insatserna och deras sammanhang. En ambition var att presentera lägesrapporter om tillståndet främst i de utvalda områdena, för att i ett senare skede, om möjligt, kunna avläsa effekter av insatserna.
Vidare bildades en referensgrupp med uppgift att löpande bidra med synpunkter, ge stöd i strategi- och metodfrågor och medverka vid tolkning av resultaten
9
. Integrationsverket s ökte stöd från forskare ur olika discipliner och utvecklade ett statistiskt instrument, STATIV, för att säkerställa statistik av intresse för storstadsarbetet och som hämtade material från en rad källor. En enkätstudie genomfördes bland boende i de bostadsområden som berördes av storstadssatsningen och två delrapporter med inriktning på ett nordiskt perspektiv respektive medier delegerades till externa aktörer. Integrationsverkets arbete presenterades (med något undantag) som delrapporter i Integrationsverkets rapportserie
10
. R apporterna har producerats dels inom verket, dels i samarbete med en rad externa aktörer. Inriktningarna på rapporterna belyser olika infallsvinklar som bedömts viktiga för att få ett mångsidigt underlag.
9
I referensgruppen återfinns representanter från centrala myndigheter, kommuner,
universitet och Kommunförbundet.
10
Att rapporterna presenteras i denna rapportserie innebär att de dels är tillgängliga för beställning i upptryckt format, dels finns att tillgå via Integrationsverkets hemsida i pdfformat.
I slutrapporten På rätt väg?
11
producerats:
Organisation för demokrati och delaktighet (Integrationsverkets rapportserie 2000:8) presenterar resultat från en enkätundersökning om de organisatoriska förutsättningarna för storstadsarbetet.
Målområdesindikatorer och analyser (Integrationsverkets rapportserie 2001:06) presenterar indikatorer som kan användas för att följa upp utvecklingen i de områden som berörs av storstadssatsningen.
Utvecklingen i storstadssatsningens 24 bostadsområden 1997–2000 (Integrationsverkets rapportserie 2001:09) kompletterar föregående rapport genom en demografisk beskrivning av områdena. Främst belyses utvecklingen när det gäller sysselsättningsgrad, socialbidragsberoende respektive utbildningsnivå.
Förort i fokus – interventioner för miljoner (Integrationsverkets rapportserie 2002:01) är en kunskapsöversikt över forskning kring interventioner i utsatta bostadsområden i Sverige och Norden på 1990-talet.
Miljonprogram och media – Föreställningar om människor och förorter (Ericson, Molina & Ristilammi 2002) är en analys av massmedias beskrivningar av förorten.
På rätt väg? Slutrapport från den nationella utvärderingen av storstadssatsningen (Integrationsverkets rapportserie 2002:05) sammanfattar och kompletterar de övriga rapporterna och presenterar slutsatser baserade på den gångna tidsperioden.
I slutrapporten uppges att rapporten inte innehåller slutsatser om resultatet av insatserna eftersom det anses ha förflutit för kort tid för att kunna urskilja och se effekter av insatserna. I stället redovisar man en lägesbeskrivning för utvecklingen i de stadsdelar som ingår i avtalen när det gäller arbetet med att bryta segregation.
Integrationsverkets nationella utvärdering genomfördes enligt tidsplanen och avslutades år 2002. När Integrationsverket avslutade
11
Integrationsverkets rapportserie 2002:5 På rätt väg?
sitt uppdrag pågick dock fortfarande lokala utvärderingar i kommunerna. Integrationsverkets möjlighet att genomföra uppföljande studier inom uppdraget försvann därmed liksom möjligheten att studera effekter av insatserna. Utan en longitudinell studie är det svårt att hävda ett långsiktigt perspektiv. Integrationsverkets slutrapport kan således snarare betraktas som en avstämning under pågående arbete än som en slutrapport.
Reaktioner på Integrationsverkets nationella utvärdering som framkommit under vårt arbete berör bl.a. just detta faktum, att uppdraget avslutades innan aktiviteterna inom satsningen vare sig var slutförda eller utvärderade.
4. Vad är utvärdering?
Efterlysning
Utvärderare som är modig, klarspråkig, oberoende, tvärvetenskapligt mångkunnig, genomskådande, metodiskt oklanderlig, analytiskt fulländad och tillika processtödjande. En snabb och socialt tillgänglig medaktör med väl förankrade analyser, en suverän överblick och mandat att påverka. En utvärderare med förmåga att kommunicera med vem det vara månde, vara väl insatt i utvärderingsmetoder och forskningsanalytiska förklaringsmodeller och avslutningsvis kunna sammanfatta essensen av sakfrågorna på ett intresseväckande och igenkännbart sätt.
Den omnipotenta utvärderare som vi inspirerats att efterlysa ovan, är en sällsynt varelse enligt vår mening. Att härbärgera alla dessa egenskaper är få (om ens någon) förunnat. I våra möten med de åtta fokusgrupperna
1
är detta dock en inte helt ovanlig "beställning". Det
är inte heller ovanligt att deltagarna i grupperna uttryckt besvikelse över utvärderarnas bristande förmågor, svårtillgängliga och svåranvändbara alster och svävande slutsatser.
Men vad är då utvärdering och vad är det utvärderaren förväntas prestera?
4.1. Varifrån och varthän
Ett av de stora områdena i vår tid som det återstår att förvetenskapliga är politiken. Utvärdering av offentlig politik med strikt naturvetenskapligt inriktade metoder kan ses som ett försök att driva ut känslor och demoner ur politiken och göra den mer resultatorienterad, faktabaserad, välövervägd och rationell. Vedung (2004, s. 17)
1
Se Inledning eller Metodappendix om fokusgrupperna.
I Sverige finns sedan ansenlig tid tillbaka en rik och upparbetad tradition av att producera statliga publikatio ner
2
bland annat med
ambition att klarlägga tillståndet bland befolkningen och fungera som underlag för ställningstaganden och politiska beslut. Från 1950- och 1960-talen kan man betrakta utvärdering som en naturlig del i denna tradition, dock utan att själva begreppet utvärdering användes
3
. En sj älvklar del av en politisk och administrativ kultur var (och är) att förse beslutsfattare med underlag av utvärderingskaraktär. Först efter många år lyftes detta fram som en specifik verksamhet. Utvärdering beskrivs, med en blick i backspegeln, som tämligen osynlig, en "osjälvständig företeelse", en "icke-profession" (Furubo 2004)
4
. Utvärderingen har således först l ångt senare betraktats som en egen kompetens. Detta accentuerades inte minst i samband med utvecklingen av en allt starkare tilltro till ett rationellt tänkande och på statens möjligheter att lösa problem och styra utvecklingen genom en rationell hantering av planering, genomförande och därpå följande uppföljning och utvärdering. Tydligast kom detta till uttryck genom den s.k. sociala ingenjörsmodellen, med en tilltro till ett nära samband mellan vetenskap och politiskt beslutsfattande och en tro på vetenskapliga utvärderingar.
Det handlar om att staten skall intervenera därför att vi tror att staten eller kommunerna kan överblicka de samhälleliga förloppen, att vi vet hur problemen skall lösas och kan bedöma alla effekter och förlopp våra lösnings-interventioner har gett upphov till (Furubo 2004, s. 5).
Efter hand uppmärksammades dock att det inte alltid blev som man planerade, att oavsett hur väl man planerade kunde oförutsedda bieffekter eller avvikelser uppstå. Ett ökande intresse för genomförandets eller implementeringens problem och icke förutsedda effekter uppstod samtidigt som en diskussion fördes om det orealistiska i att kunna förvänta sig värdeneutrala vetenskapliga utvärderingar. Beslutsfattarnas ensamrätt att beställa och nyttja utvärderingar ifrågasattes. Vedung (2004) beskriver hur tilltron till en radikal
2
Exempelvis Låginkomstutredningen (1970), Levnadsnivåundersökningarna (LNU, 1974,
1981, 1991), Undersökningar av svenska folkets levnadsförhållanden (ULF, en rad skrifter utgivna av Statistiska centralbyrån sedan 1975), över huvud taget rapporter och publikationer från en rad olika kommittéer som Kommittén Välfärdsbokslut, Storstadskommittén, etc.
3
Enligt Furubo (2004) ses Sverige som ett av pionjärländerna när det gäller att anamma
tanken om utvärdering på 60-talet, tillsammans med länder som Storbritannien, Tyskland, Nederländerna, USA, Canada.
4
En mer ingående beskrivning av framväxten av utvärderingar ges exempelvis i International
Atlas of Evaluation (Furubo, Rist & Sandahl, 2002).
rationalism efter hand ersattes med nyliberala strömningar som bland annat tog sig uttryck i New Public Management med grundläggande element som 1) tro på ett professionellt ledarskap (effektivitet, produktivitetskrav), 2) indirekt snarare än direkt styrning och kontroll (konkurrens, kvalitetssäkring, mål/resultatstyrning) och 3) fokus på medborgare och brukare som kunder (brukarinflytande, stadsdelsnämnder, nöjd-kund-index)
5
.
Vedung (2004) beskriver utvärdering som del i en megatrend i dag. Drivkraften att göra den offentliga politiken mer vetenskaplig finns kvar sedan 50-talet. Utvärdering tenderar att vara en självskriven del i den tidstypiska liberala tankeströmning som präglar New Public Management (med modernisering, rationalisering). Utvärdering får en ökad betydelse med kostnadskriser i den offentliga sektorn och dess åtföljande krav på ökad produktivitet och effektivitet. I spåren av en kritik av den representativa demokratin ses deltagarorienterad och dialoginriktad utvärdering som delar av ett botemedel.
Andra tendenser handlar om att
- utvärderingsaktiviteterna har ökat både i Sverige och i andra länder
- utvärderingar har blivit mer institutionaliserade i och med ett ökat intresse för att integrera utvärdering i exempelvis statliga organisationer
- den akademiske utvärderaren med forskarbakgrund har fått konkurrens av en bred och växande kår av interna utvärderare, utvärderingspraktiker, expertpaneler, konsulter, med flera
6
- utvärdering fyller allt fler funktioner, som ledningsverktyg, som att öppna möjligheter till dialog mellan olika intressenter, som att möta behovet av att hantera en omfattande och komplex kunskapsström som ökat till följd av ett expanderande informationssamhälle (Dahler-Larsen och Foss Hansen 2003)
5
Se vidare exempelvis Vedung 2004.
6
Ett tecken på detta är ett växande antal professionella föreningar för utvärdering, som
Svenska Utvärderingsföreningen (SVUF) 2003, Dansk evalueringsselskab 2000, European Evaluation Society (EES) 1994, m.fl.
4.2. Begreppet Utvärdering – en framåtsyftande tillbakablick
Utvärderingsbegreppet har beskrivits som något av en "semantisk magnet"
7
som kommit att beteckna en allt vidare rad av aktiviteter.
Risk för en viss begreppsförvirring råder, inte minst därför att det inte finns någon enighet kring vad som ska betecknas som utvärdering. Utöver en viss gemensam grund kan oenigheten präglas av uttolkarnas skillnader i referensramar och traditioner
8
. Dett a innebär att för utvärderingen är perspektivvalet av stor betydelse såväl för vilken fångst man får i sitt nät när man söker kunskapskällor, som hur källorna analyseras. En positiv aspekt med detta är möjligheten att jämföra eller ställa olika utvärderares resultat och tolkningar mot varandra och i bästa fall "…bidra till en helhetsförståelse och fungera frigörande" (Halvorsen 1992). Därmed finns det anledning att vara observant på vilken definition och vilken referensram en utvärderare utgår ifrån
9
.
Vad är då skillnaden mellan uppföljning och utvärdering?
En uppföljning innebär att ett förlopp dokumenteras och beskrivs. Den beskriver utfallet, det som faktiskt hände – t.ex. att 80 procent av deltagarna fick (eller inte fick) ett reguljärt arbete efter programmets slut – men den säger ingenting om varför det hände eller vad som skulle ha hänt i frånvaro av det studerade programmet. (Hemström & Martinsson 2002)
En uppföljning ryms inom ramen för en utvärdering. Uppföljningen kan i själva verket ses som de första stegen i en utvärdering. Men där uppföljningen avslutas fortsätter i stället utvärderingsarbetet ytterligare ett steg, nämligen med själva värderingen. Med en brett accepterad definition av utvärdering, här formulerad av Holmer (2003), kan utvärdering således beskrivas som
en systematisk kartläggning och bedömning av en pågående eller avslutad verksamhet. Utvärdering betyder att man beskriver, analyserar och till sist värderar en verksamhet.
7
Begreppet är hämtat från Vedung (1991), som i sin tur blivit inspirerad av andra forskare.
När ett begrepp blivit så populärt och använt att det börjar omfatta en allt större mängd nya betydelser, förlorar det samtidigt något av sin specifika innebörd. Termen har ”attraherat så många snäva och vidsträckta innebörder att den blivit svårhanterlig i samhällsvetenskaplig teoribildning”.
8
I forskarsammanhang kan det exempelvis skilja sig åt mellan en strikt naturvetenskaplig
eller nationalekonomisk tradition i förhållande till en mer samhällsvetenskapligt inriktad tradition.
9
Se vidare i den växande floran av litteratur kring utvärderingar, där bland annat flera böcker
av Vedung är flitigt använda som referens.
Med en något utvidgad definition beskriver Dahlberg och Vedung (2001) utvärdering inom den offentliga sektorn som en ”noggrann bedömning av en pågående eller avslutad intervention i syfte att den skall spela en roll i samtida eller framtida praktiska handlingssituationer”. Här inbegrips således även tanken att utvärderingen ska ligga till grund för överväganden kring kommande handlingar, vilket ligger i linje med detta utredningsuppdrag. Syftet med en utvärdering kan i detta fall enligt författarna sammanfattande benämnas som "en framåtsyftande tillbakablick”.
Medan en uppföljning således avser att följa upp och dokumentera en aktivitet, görs dessutom i en utvärdering en bedömning eller värdering i avsikt att söka förklaringar och orsakssammanhang. Denna värdering eller bedömning innebär en tydlig vägning mot en värdenorm eller mot bedömningskriterier. Att denna bedömning görs, säger dock inget om innehållet i de värdenormer eller kriterier som väljs och inte heller något om kvaliteten på det arbete som genomförs.
4.3. Kontrollerande, främjande, stödjande
Oavsett hur man slutligen definierar vad en utvärdering är, så finns det en rad centrala frågor man måste ställa sig för att kunna ta ställning till vilken typ av utvärdering man är intresserad av. Frågorna är inte minst viktiga att ta ställning till inför en beställning av en utvärdering eller formulerande av ett utvärderingsprogram, men kan också utgöra en återkommande påminnelse om utvärderingens syfte under arbetets gång
10
:
- Varför ska utvärderingen göras och hur ska den användas?
- För vem ska utvärderingen göras? Ur vilket perspektiv?
- Vad ska utvärderas? Vad är studieobjektet?
- Vem ska utvärdera? Ska det ske internt eller externt?
- Hur och när ska utvärderingen genomföras?
Flera av dessa frågor kommer i osorterad ordning att återkommande belysas och diskuteras på olika platser i denna utredning. Här först dock några generella utgångspunkter.
10
Efter Vedung (1991) och Holmer (2003).
Oavsett hur man definierar vad en utvärdering är, så kan den användas på många sätt och i många syften. Detta antyds exempelvis i den tidigare beskrivna utvecklingen av utvärderingsverksamheten, med aktuella tendenser som en allt snabbare utbredning och intensifierad användning av utvärderingar. Genom att vara uppmärksam på och diskutera motiven för och syftet med utvärderingen, liksom vem utvärderingen främst är till för, ökar möjligheten till ökad förståelse för och motivation inför genomförandet av utvärderingarna
11
. Då är d et även lättare att svara på om utvärderingen i första hand ska vara vägledande (formativ) eller betygssättande (summativ) och om inriktningen ska vara processuell (inriktad på organisation och arbetssätt) eller substantiell (inriktad på produkt eller sakområden som folkhälsa, integration, inflytande)
12
.
Det är således viktigt att helt enkelt ställa sig frågan varför. Här ska vi dock nöja oss med att besvara frågan genom att använda en vanligt förekommande indelning för utvärderingars inriktning eller funktion. Funktionerna förekommer ofta samtidigt, men någon av aspekterna brukar vara den dominerande. Utvärderingens funktion kan enligt denna indelning beskrivas som
- kontrollerande
- främjande
- kunskapsutvecklande
Så gott som samtliga utvärderingar har ett inslag av kontrollerande karaktär. Medel och resurser har satsats, nu vill man veta hur de har använts och vad de har lett till. Med varierade och breda kontrollerande utvärderingar införskaffas underlag för kommande beslut och strategiska överväganden för beslutsfattare och opinionsbildare
13
. Förut om att se detta som en möjlighet till granskning, bedömning och eventuell revidering av verksamheter, kan man här även finna en demokratisk aspekt; medborgarens möjlighet att få insyn i hur allmänna medel används och vad aktiviteterna eventuellt resulterat i. Vedung (1991) lyfter fram fyra viktiga perspektiv i
11
Man kan exempelvis tänka sig skäl som legitimerande, strategiska, symboliska, osv. Se diskussion i exempelvis Sahlin (1996).
12
När det gäller studier av offentliga insatser brukar man i utvärderingskretsar benämna detta som ett led i att vaska fram den s.k. programteorin, dvs. att ”ta reda på vad det var som man egentligen hade tänkt sig att uppnå med programmet…och hur man hade tänkt sig att åstadkomma detta i olika steg” (Holmer 2003).
13
Exempel på utvärderingar: Utfallsredovisning (resultat, bieffekter), Täckningsredovisning (vem har nåtts), Prestationsredovisning (vad har gjorts), Kostnadsredovisning (hur har pengarna använts), Legalitetsredovisning (följs lagar och regler), osv. (Vedung 1991).
förhållande till den kontrollerande funktionen: politikerperspektivet, myndighetsperspektivet, medborgarperspektivet och brukarperspektivet.
När en utvärdering har en främjande karaktär, inriktas den i regel på att stödja den personalgrupp som berörs till kritisk granskning och (metod)utveckling av den egna verksamheten. Avsikten kan vara att upptäcka och studera hinder och möjligheter i arbetet med programmet för att kunna utveckla och förbättra verksamheten så att den bättre stämmer överens med såväl interna och externa mål, som behov och önskemål från brukarna (Vedung 1991).
En tredje inriktning är av kunskapsutvecklande karaktär. Här prioriteras en mer långsiktig utveckling av mer generaliserbar kunskap, bland annat genom en närhet till forskning och teoribildning. "Utvärderingen bidrar till förståelse av grundläggande händelser och processer. Den testar teorier eller söker ny kunskap om offentliga styrstrategier eller myndigheters sätt att fungera" (Vedung 1991).
Alla dessa inriktningar finns företrädda i utvärderingarna kring de lokala utvecklingsavtalen. Men även om alla dessa tre inriktningar till och med kan förekomma vid samma tillfälle, så är ofta någon av dessa inriktningar den mest dominerande. Allt fler betonar vikten av främjande och kunskapsbyggande inslag, inte minst mot bakgrund av en ökande fokusering på hållbarhet och långsiktighet. Genom att ta tillvara, utveckla och stimulera befintliga resurser ökar möjligheten att skapa lärande miljöer i organisationen och därmed behålla och utveckla en bredare kunskapsbas.
Exempel Ett exempel på det senare beskrivs av Holmer i en studie av självvärdering som stöd för personal- och verksamhetsutveckling (vilket även är titeln på Holmers bok, 2003)
14
. Holmer menar att det är viktigt att man förhåller sig till självvärdering på ett seriöst sätt genom att strukturera och systematisera gruppens reflektioner och självgranskning. Självvärderingen måste betraktas som en regelrätt arbetsuppgift och bestämda tidpunkter måste avsättas speciellt för denna reflektion. Vidare bör det finnas stöd för reflektionen, t.ex i form av bestämda återkommande temarubriker, men också möjlighet till återkommande externt stöd för att stimulera granskningen. Genom att deltagarna dokumenterar reflektionstillfällena (ofta i dagboksform) kan de själva följa sin utveckling,
14
Samtal maj 2004.
samtidigt som ett värdefullt underlag skapas för kommande forskningsutbyte
15
. Samtidi gt kräver detta tillit mellan grupp och forskare. Om en forskare ska få tillgång till ett material så bör det ligga i uppgiften att också reflektera tillsammans med gruppen kring materialet, menar Holmer. Holmer varnar för självvärderingar som rutiniseras och banaliseras genom att självgranskningen reduceras till ifyllande av blanketter som någon annan (ofta en utvärderande forskare eller utvärderare) ska analysera. Ett annat sätt att missutnyttja självvärderingar är att betrakta dem som en typ av självdeklaration eller kontrollinstrument
16
. Detta är effektiva sätt att strypa den möjlighet till metod- och kunskapsutveckling som annars finns i självvärderingen, menar Holmer.
Detta exempel illustrerar hur utbytet mellan en självvärderande grupp och en utvärderande forskare i ett idealt fall kan säkerställa en interaktiv process, eller skapa en interaktivitet mellan intern och extern utvärdering. Men hur kan man då betrakta skillnaden mellan en intern och en extern utvärdering?
4.4. Intern eller extern utvärdering?
En av de frågor som initiativtagare till utvärderingar initialt behöver ta ställning till, är om utvärderingen ska genomföras internt eller externt
17
. Men vad är internt och externt och hur meningsfull blir denna uppdelning om man studerar den närmare? I fallet med de lokala utvecklingsavtalen skulle man kunna hävda att de lokala utvärderingarna är externa, eftersom de kommuner som ingår i avtalet har anlitat utvärderare vid universitet, högskolor och konsulter. När det gäller Integrationsverket och det nationella
15
I en utvärdering (Haraldsson 2004) av verksamheter som följt Holmers struktur fick deltagarna frågan om hur de uppfattade självvärderingen i förhållande till inriktningarna
a) främjande, b) kontrollerande, c) gav baskunskaper. Svaret blev att alla delarna fanns med, men att punkt a) upplevdes som starkast.
16
Holmer visar på att deltagarna upplever att självvärderingarna bidragit till en ökad samverkanskompetens. Detta kan ses som en kontrast till självvärderingar som Högskoleverket initierat på högskolor och universitet, där Högskoleverket i vissa fall behandlat materialet som självdeklarationer och använt dem som underlag för åtgärder. Holmer menar att Högskoleverket gjort misstaget att utgå från och endast ställa frågor utifrån sin egen praktik och därmed inte förmått involvera de frågor som varit aktuella i den lokala praktiken.
17
Med intern utvärdering avses att utvärderaren är en del av (eller anställd i) den organisation som utvärderas. I en extern utvärdering har utvärderaren ett utvärderingsuppdrag, men är anställd utanför den organisation som utvärderas.
utvärderingsuppdraget blir det genast lite knepigare. Integrationsverket ingår på ett sätt i en statlig linjeorganisation (intern), men har samtidigt främst fokuserat kommunala aktiviteter (extern). Integrationsverket har dock i likhet med kommunerna använt sig av externa konsulter. Vilket stärker en extern profil.
18
Låt oss, innan vi krånglar till detta alltför mycket, studera några argument som talar för eller emot den hittills någorlunda enkla och frekvent använda uppdelningen mellan internt och externt:
Intern utvärdering Extern utvärdering Fördelar: * Kan genomföras snabbt; kända beslutsgångar och känd miljö * Hög kunskapsnivå om verksamheten, ingen speciell inläsning krävs * Lätt att återföra resultat av utvärderingen inom organisationen * En kompetens byggs upp inom den egna verksamheten
Fördelar: * Större möjlighet till objektivitet genom att komma utifrån. Ökar legitimitet och trovärdighet. * Större möjlighet till kritisk granskning utifrån externa referensramar * Större möjlighet till spridning av resultaten även utanför den utvärderade organisationen * Större möjlighet till nytänkande utanför befintliga ramar * Större tyngd i en konfliktsituation
Nackdelar: * Risk för bristande objektivitet och hemmablindhet * Risk för strategisk försiktighet eftersom man är en del av verksamheten (har lojaliteter, relationer, är beroende) * Risk för att resultaten inte sprids utanför organisationen
Nackdelar: * Tidsödande inläsning i början av utvärderingen * Kan vara svårt att få tillgång till material, kontakter * Risk för sämre spridning av resultaten * Risk att objektiviteten får stryka på foten i jakt på fler utvärderingsuppdrag
Tabell inspirerad av egen verksamhet plus litteratur (Vedung, Holmer, Tranquist, med flera)
Argumenten kan säkerligen mångfaldigas och tål att reflekteras över. Några som har reflekterat över och problematiserat begreppsparet internt/externt är Dahler-Larsen och Foss Hansen (2003)
19
. De menar att traditionella indelningen i internt och externt tenderar att
18
Vedung (1991) föreslår en uppdelning av extern och intern utökade med ett antal underavdelningar (som extern-intern, intern-extern, intern-intern, osv.). Frågan är komplex!
19
Danska forskare som studerat den danska biståndsorganisationen Danida, motsvarande svenska SIDA.
lösas upp när man studerar utvärderingsprocessen över tid. Insatser från såväl interna som externa aktörer kan kombineras eller förhandlas mellan parterna bland annat beroende på var i utvärderingen man befinner sig. I princip kan således de olika faserna i utvärderingen i varierande grad organiseras internt, externt eller förhandlas mellan dessa båda sidor.
Ett danskt exempel
I ett försök att överblicka och illustrera delar av denna komplexa process skapar Dahler-Larsen och Foss Hansen en förenklad tabell. I tabellen delas utvärderingsprocessen upp i olika faser. Detta kombineras med vem som är aktör i de olika faserna. För att i viss mån begränsa komplexiteten delas aktörerna endast in i tre roller. Tabellen nedan är inspirerad av Dahler-Larsens och Foss Hansens tabell, dock med en anpassning av aktörer till svenska förhålland en
20
:
Faser i utvärderingsprocessen Arrangör Utförare Personal/Medborgare
Initiering av utvärderingen
X
Definiera syftet med utvärderingen X
X
Definiera evaluand
21
och uppdraget X
(X)
Skapa utvärderingsdesign
X
X
Samla in data för utvärderingen
X
(X)
Analysera och sammanfatta data
X
(X)
Dra slutsatser och ge rekommendationer
X X
Använda utvärderingen
(X)
X
Tabell inspirerad av Dahler-Larsen & Foss Hansen (2003)
I tabellen kan rollerna i stort sett definieras som åtskilda, medan de i många fall överlappar varandra i den verkliga situationen. Ett otal kombinationsmöjligheter är möjliga. En arrangör kan exempelvis genom att bestämma utvärderingsdesignen i hög grad specificera
20
Arrangör: Beställer, planerar och fastställer utvärderingsaktivitetens övergripande form (t.ex. i form av utvärderingspolicy). Utförare: Är de utvärderare som är ansvariga för datainsamling, analys och rapportering. Personal/Medborgare: Exempel på målgrupper vars informationsbehov skall uppfyllas av utvärderingsresultat.
21
Evaluand=här: den som ska utvärderas.
utvärderingsuppgiften. Detta kan i sin tur komma att begränsa utvärderarens metodmässiga valfrihet. På liknande sätt kan det exempelvis finnas en överlappning mellan utvärderare och brukare när det gäller vilka slutsatser som kan dras och därmed vilka rekommendationer som kan ges. I vissa utvärderingar har utvärderaren en omfattande roll vid utfärdandet av rekommendationer, som kanske även sträcker sig till förberedelser av hur rekommendationerna ska omsättas. I andra situationer kan en brukare (som kanske samtidigt är arrangör) förbehålla sig rätten att utfärda slutsatser efter att utvärderingsrapporten presenterats.
Ytterligare exempel: Ett extern utvärderingsinstitut kan initiera en utvärdering, definiera syftet, evaluanden och uppdraget. Den kan också skapa en utvärderingsdesign. Därefter samlar den utvärderade organisationen (evaluanden) in material som är nödvändigt för att besvara de frågor som det utvärderande institutet har ställt. Evaluanden analyserar kanske även till viss del sina egna data. Det generella huvudansvaret för att dra slutsatser och ge rekommendationer återgår dock till det externa utvärderingsinstitutet.
I denna situation kan den externa utvärderaren definiera processen som självutvärdering då organisationen som är i fokus faktiskt utför datainsamlingen. Mycket av grunden för utvärderingen definieras dock inte av den organisation som står i fokus.
En motsatt situation är lika möjlig. Här definieras processen av den organisation som står i fokus, medan en extern utvärderare inkallas under en begränsad del av insamlingsprocessen. I detta fall kan den externa utvärderarens funktion i vissa fall vara att legitimera utvärderingens ”externa utseende”. Ytterligare en variant är att syftet och uppdraget definieras internt men utvärderingsdesignen avgörs av en extern konsult.
Det finns således all anledning att ha respekt för den eventuella förvirring som kan inträffa då det gäller att identifiera vad som är vad, internt eller externt. Ett flexibelt tänkande och en fördjupad analys kan leda förbi en förenklande tolkning av begreppsparet internt/externt för att fokusera det Dahler-Larsen och Foss Hansen menar finns bakom etiketten, nämligen frågan: Vem påverkar vad i loppet av en komplex utvärderingsprocess?
5. Allt ljus på lokala utvecklingsavtal? Underlag till ett nationellt utvärderingsprogram
Utredaren skall, med beaktande av relevant kompetens inom de områden som är av betydelse för det lokala utvecklingsarbetet, lämna förslag på ett långsiktigt nationellt utvärderingsprogram för lokala utvecklingsavtal.
Utvärderingsprogrammet är ett led i politikområdets kunskapsuppbyggnad och i att kvalitetssäkra utvecklingsarbetet.
Ur SOU-direktiv 2003:136
Vår ambition i detta delbetänkande är att lyssna till och ta vara på erfarenheter från ett flerårigt arbete med insatser framför allt inom ramen för de lokala utvecklingsavtalen, men också från andra källor med erfarenhet från likartat arbete. Med detta som grund vill vi bidra till att skapa en struktur i form av ett långsiktigt nationellt utvärderingsprogram, där det arbete som gjorts och det arbete som kommer att göras inte bara ska sammanställas som en katalog över enskilda erfarenheter, utan också granskas och analyseras så att erfarenheterna kan utgöra stommen i en mer generaliserbar kunskapsbank.
Utgångspunkten i detta kapitel har således varit en strävan att ta vara på erfarenheter och idéer främst från personer i olika roller och funktioner och som på olika sätt varit involverade i de befintliga lokala utvecklingsavtalen, men också från referenspersoner och annat referensmaterial som kunnat berika med andra perspektiv. Genom att ta fasta på formuleringen "med beaktande av relevant kompetens", har vi bedömt det som en viktig del i vårt arbete att föra en direkt dialog med olika aktörer kring vad ett förslag till ett nationellt utvärderingsprogram ska innehålla för att uppfattas som angeläget och användbart för dessa aktörer. Vi har utifrån temat nationellt utvärderingsprogram ställt frågor till fokusgrupper, till mötesdeltagare i varierande sammanhang och i enskilda samtal, frågor som: Behövs ett nationellt utvärderingsprogram? Vem är det till för? Vad
bör fokus vara för ett sådant program? Uppgift? Vem ska göra det? Hur ska det organiseras? Och framför allt: vad skulle krävas för att du skulle finna det intressant, användbart eller meningsfullt?
I det här kapitlet ger vi exempel på synpunkter från det material vi dokumenterat i våra möten med fokusgrupper och andra kontakter
1
, stundtals även reflekterat i förhållande till andra källor. Det rika materialet har kommit att utgöra ett viktigt bidrag till vårt underlag vid utformandet av vårt slutliga förslag till ett nationellt utvärderingsprogram
2
.
5.1. Ett användbart nationellt utvärderingsprogram
När vi i våra kontakter har ställt frågan ”behövs ett nationellt utvärderingsprogram?” så har det inte rått någon tvekan: det behövs. Samtalen har snarare handlat om vilket syfte och vilka funktioner som bör prägla ett sådant program, vad det ska kunna användas till, hur det ska kunna bli användbart eller hur man ska undvika att det utmynnar i att ”en anonym forskargrupp sitter nånstans” och ägnar sig åt utvärderingar som sedan inte används eller kommer till nytta. Användbarhet återkommer som en röd tråd i samtalen
3
. Här efterfrågas inga hyllvärmande tjocka böcker, utan snarare dialog, sammanfattningar, konkreta råd och stöd, kritisk granskning, kunskapsbyggande och möjligheter till att göra ett bättre arbete med en större kunskap och bättre redskap i bagaget. Vad är det då som inbegrips när man föreställer sig ett nationellt utvärderingsprogram som man kan ha nytta av?
1
En sammanställning över kontakter finns i bilaga, inklusive en förteckning över deltagare i
fokusgrupperna. I bilaga återfinns även en närmare presentation av fokusgrupp som metod.
2
De grupper vi bjudit in och de kontakter vi tagit har på olika sätt varit engagerade i Stor-
stadssatsningen eller intresserade av frågeställningar som berör utvärdering eller forskning kring urbana frågor. Vi är medvetna om att referenterna (främst i fokusgrupperna) domineras av professionella aktörer inom den offentliga sektorn, vilket vi i efterhand ser som en viss begränsning med materialet. Vid en fördjupad studie rekommenderas en utvidgning till flera intressentgrupper.
3
I det följande hanteras en rad begrepp som skulle kräva en djupgående diskussion kring
definition och innebörd. I denna utredning saknas dock tyvärr tidsutrymme för en sådan fördjupning.
Granska och kontrollera
Kontroll och kritisk granskning ses som en av de självklara uppgifterna för ett nationellt utvärderingsprogram. Att undersöka om målen har uppnåtts och att bevaka om pengarna använts som tänkt, dvs. om de finansierat metodutveckling och experiment, bidragit till utveckling av ordinarie verksamhet eller använts primärt för att täcka ”hål” i ordinarie verksamhetsbudget. Frågorna som beskrivs och som behöver besvaras är många, tidsperspektiven och omfattningen skiftande. Främst efterfrågas dock utvärderingar som ger besked om måluppfyllelse, resultat och effekter (helst utifrån ”mätbara välfärdskriterier”) och studier av vad som kan ses som framgångsrika metoder och strategier respektive mindre framgångsrika:
- Utvärdera gjorda erfarenheter, titta i backspegeln, klargöra framåt/LU
4
- Nytta; ifrågasättande och granskande/KS
- Följa resultat och effekter/LB
- Bevaka utfall av stora programsatsningar/U
- Uppföljningsinstrument, upptäckaruppgift/SK
- Avkräva ansvar på rätt nivå/PL
- Visa vad konkret som fungerar, t.ex. pluseffekter vid samarbete/DT
- Att se satsningen ur ett samhällsekonomiskt perspektiv
Att granska kritiskt utifrån tydliga kriterier och ha modet att ifrågasätta och framföra tydliga slutsatser ses som ytterst eftersträvansvärt. Här efterlyses dock inte bara en kritisk granskning som inriktar sig på lokala verksamheter, utan hela processen med alla dess aktörer bör granskas (vilket exempelvis även inkluderar de statliga aktörerna)
5
. Detta inklu derar även en granskning av själva modellen eller konstruktionen lokala utvecklingsavtal
6
.
4
Exempel på sammanfattade utsagor från fokusgruppsdiskussioner. Förkortningarna i
anslutning till utsagan står för: Lokala utvecklingsansvariga (LU), Kommunsamordnarna (KS), Storstadskansliet (SK), Lokala boende (LB), Departementstjänstemän (DT), Centrala myndigheter (CM), Lokala projektledare (PL) och Utvärderare (U). Se även bilaga om fokusgrupper.
5
Enligt Furubo (2004) används utvärderingar i regel för att studera och påverka aktiviteter
på den operativa nivån och på handfast implementering (genomförande). Mycket få utvärderingar berör en prövning av själva policyn eller programmet. Furubo förklarar detta bland annat med att värdefaktorn här är avgörande, vilket gör bedömningarna komplexa. Eller med andra ord: Programmen bärs upp eller är djupt präglade av (politiska) värderingar om människa och samhälle.
6
Se vidare under avsnittet Allt ljus på lokala utvecklingsavtal?
Få överblick och utveckla kunskap
Gemensamt för våra kontakter är en upplevelse av bristande överblick, att det händer så mycket som man inte hinner ta del av, det utvärderas men man hinner inte läsa eller hittar inte fram till materialet och inte minst en känsla av att erfarenheter gjorts som man kunde ha nytta av men som man inte känner till. Med ett nationellt utvärderingsprogram ser man en möjlighet att få hjälp med denna orientering. Den samlande funktionen är så pass viktig att den under våra samtal ständigt återkommit under olika benämningar: rosetten, ett samlande nav, en samlande kropp, ett centrum i ett cykelhjul, en "body", osv.
Ett gränsöverskridande helhetsgrepp efterlyses för att öka chanserna till överblick över ett komplext politik-, verksamhets- och kunskapsfält:
- Övergripande, för att förstå det lokala i ett större sammanhang/LU
- Ge jämförbarhet projekt/stadsdel/övergripande för staden och för landet/PL
- Jämföra storstäder europeiskt/SK
- Se effekterna av integrationssatsningar genom att studera hela samhället/LB
- Sammanfatta övergripande, se tendenser/LU
- Utforma riktlinjer – ge förslag på metoder/U
- Medvetenhet om verksamheten i förhållande till välfärdspolitiken i stort/LU
Överblicken handlar så väl om omvärldsanalys med nationella och internationella utblickar, som "invärldsanalys", dvs. vad händer i den egna eller angränsande organisationen, sektorn, stadsdelen, projektet. Att kunna placera en utvärderingsfråga i ett större sammanhang ses som angeläget för att fördjupa förståelsen, vilket också inbegriper vikten av att på alla nivåer kunna behålla ett "tvärperspektiv” mellan politikområden, sektorer, förvaltningar, osv. Ett starkt uttryckt önskemål är att ett nationellt utvärderingsprogram ska ha förmåga att inte göra halt inför eventuella sektorsindelningar utan i stället kunna utveckla ett holistiskt perspektiv.
Samla in och tematisera
Ett exempel på orienterande material som efterfrågas är bakgrundsfakta och basinformation på ett generellt plan, tillgång till statistik och analysstöd eller tillgång till lättillgängliga och sammanfattande överblickar över aktuella rapporter och forskning. Ytterligare en viktig funktion är att tillhandahålla temabaserade sammanställningar av tidigare erfarenheter av strategier och metoder och verksamheter såväl lokalt, som nationellt och internationellt ("what works?").
- Erfarenhetsbank/DT
- Samla erfarenheter, ta tillvara/LU
- Samordna, sammanställa och analysera utvärderingar och rapporter inom respektive tema (samordna temaforskning)/U
- Överblick över aktuell och kommande forskning. Identifiera
”vita fläckar”/CM
- Kan hantera stora volymer och komplexitet/KS
- Samla storstadsrelaterat material/SK
Utveckla och sprida kunskap
Som en påbyggnad på denna orienterande bas uttrycks vikten av fortsatt kunskapsutveckling och kunskapsspridning. Inte minst efterfrågas stöd när det gäller att koppla arbete i den praktiska verksamheten till teorier och tidigare forskning. Som ett led i detta ingår att tydliggöra befintliga kunskaper för att undvika en kunskapshämmande "hemmablindhet", dvs. att man inte längre förmår vara uppmärksam på hur man arbetar.
- Översätta byråkraters och forskares kunskap så att den blir tillgänglig för praktiker och politiker och andra byråkrater/KS
- Kunskaps- och erfarenhetsspridningscentral/U
- Reda ut begrepp (som underifrånperspektiv)/LU
- Klargöra svårigheten att mäta effekter
Vikten av att hantera kunskapsluckor när det gäller själva utvärderingsinstrumentet för att därmed kunna identifiera vad som är möjligt att mäta med utvärdering är ytterligare en aspekt som speciellt uppmärksammas.
Koordinera och stödja
Ett väl fungerande nationellt utvärderingsprogram bör således även kunna tillhanda varierande stödfunktioner. Rollen som "bollplank", koordinator och nätverksutvecklare kombineras med utvecklande av riktlinjer, handledning och rådgivning. Exempel nämns som att bistå med stöd vid uppbyggnaden av ett program, att bistå med kompetens när det gäller att beställa utvärderingar och att vara behjälplig med att bedöma vad som är utvärderings bart
7
.
- Ej styrande, endast stödjande/U
- Vara stöd i en ”riggning” (uppbyggnad)/DT
- Stödja och utveckla beställarkompetens
- Ge stöd till lokala projektledare, bollplank/LU
Råd om verktyg och metoder
Genomgående efterlyses således möjligheter att få olika typer av stöd. Det kan gälla planering av ett program för att bygga in möjligheter till utvärdering, men det kan också gälla metod- och kunskapsutveckling i den egna verksamheten. Inte minst efterfrågas stöd för att kunna ta tillvara de erfarenheter som görs under arbetets gång och använda dem under pågående programtid. Detta kan exempelvis handla om olika former av konkreta verktyg:
- Ge verksamheter metod och verktyg för självgranskning och självutvärdering/U
- Mall med utgångspunkt i bestämda kriterier för alla, kompletterat med specifika tillägg/PL
- Tydliga frågebatterier/KS
- Få råd kring beställning/utvärderar och beställarkompetens/KS
Samtidigt som "mallar" efterfrågas finns det även en stor skepsis till alltför stelbenta ramar som utesluter lokala variationer. Mallarna kan i stället vara frågebaserade, dvs. rekommendera att vissa frågor ställs.
7
Samtidigt uttrycks här farhågor om att alltför snäva beställningar kan begränsa möjligheten
till kunskapsbyggande och generaliserbarhet.
Koordinera och stödja nätverk
Den kunskapsspridning som sker vid personlig kontakt i nätverk och olika former av samverkan ses som angelägen. Här skulle ett utvärderingsprogram kunna fylla en funktion för att stödja och underlätta samordning, dialog och utvecklande av nätverk, även innan ett nytt program inleds
- Central samordning innan programstart/U
- Skapa dialoger och ge möjlighet att påverka/LB
- Bro mellan forskare och praktiker/KS
- Studera samverkan/dialog folk-politiker/PL
- Samordning och nätverk för utvärderare/U
- Konflikt bostadsområde/ordinarie verksamhet/LU
Framåtsyftande
Att ett nationellt utvärderingsprogram ska leda till större kunskap och bättre underlag för beslut och planering betraktas av de flesta som självklart. Flera efterlyser således ett nationellt utvärderingsprogram som kan leva upp till det som tidigare i utredningen benämnts "framåtsyftande tillbakablick". Kompetensen – att ett nationellt utvärderingsprogram utifrån en bred kunskap ska kunna bistå med rekommendationer – är eftertraktad, inte minst för att få en "snabbkoll på utvecklingen", "fånga in förändringspotentialen" eller ”ge kunskap för att kunna arbeta förebyggande”.
Avslutningsvis efterlyses ett nationellt utvärderingsprogram som inte drar sig för att lyfta upp frågor till diskussion, "sticka ut hakan" och ge sig in i debatten. Som utifrån en gedigen analys "vågar stå för nåt och tycka till". Kanske kan man sammanfatta detta som en efterlysning av en viss uppfriskande uppkäftighet.
Med uppfriskande uppkäftighet
Det är en sammansatt bild av ett kunnigt och vitalt nationellt utvärderingsprogram som här växer fram här. Behovet av ett program tycks vara gediget, liksom synen på att det går att skapa en resurs som är användbar för långt flera än beslutsfattarna (vilket eventuellt kan tolkas som en tendens till ett efterfrågat underifrånperspektiv). De temapunkter som sammanfattar materialet ovan
kan jämföras med de utvärderingsfunktioner som i kapitel fyra benämndes kontrollerande, främjande och kunskapsutvecklande. Tydligt är dock ett klart ökande behov av stöd när det gäller övergripande orientering för att kunna placera in egen verksamhet och utvärderingar i olika sammanhang i ett samhälle som tenderar att översvämmas av information och influenser. Detta stämmer väl överens med de allmänna utvecklingstendenserna kring utvärdering. Det ökade behovet leder till att allt fler organ inrättas inom offentlig sektor för att sprida utvärderingstänkandet och höja den interna utvärderingskompetensen, men också till en större betoning på kunskapsbyggande utvärderingar och kompetensutvecklande utvärderingsmetoder när det gäller den egna personalen
8
. Ambitionen att utveckla ett lärande inom den egna organisationen kan därmed betraktas som ett steg mot det som benämns ökad hållbarhet och långsiktighe t
9
.
5.2. Viktiga egenskaper
I föregående avsnitt diskuterades frågan om vilket syfte och vilka funktioner ett nationellt utvärderingsprogram skulle kunna ha för att betraktas som intressant eller användbart. De svar som redovisas nedan får ses som ett förtydligande komplement kring aspekten om det finns några egenskaper eller krav som man bör vara speciellt uppmärksam på i ett förslag till ett nationellt utvärderingsprogram.
Ett par av de mest frekvent förekommande svaren på frågan om viktiga egenskaper handlar om oberoende och långsiktighet. Andra är bredd och kvalitet. Några kommentarer:
Långsiktighet
I samtliga kontakter (med något enstaka undantag) kommenteras att en förutsättning för att bygga ett användbart nationellt utvärderingsprogram är ett långsiktigt åtagande. I annat fall finner man det
8
Se kapitel 4. Se även seminarierapporter från Svenska utvärderingsföreningens konferens i
april 2004 (www.svuf.nu).
9
Enligt Holmer (2003) finns det ”tre villkor för att ett individuellt lärande också skall bli ett
organisatoriskt, nämligen motivation, förmåga och möjlighet att handla” (vår kursivering). Det är således viktigt att inte bortse från att en långsiktig kompetenshöjande utveckling kan påverka ”möjlighet att handla”, exempelvis genom att de faktiska förutsättningarna för en verksamhet förändras.
inte meningsfullt att satsa på ett nationellt utvärderingsprogram. Det framkommer tydligt att de lokala utvecklingsavtalen av de flesta ses som ett i raden av ett pärlband av insatser som avlöser varandra eller löper parallellt. Om man endast skulle koppla ett nationellt utvärderingsprogram till de lokala utvecklingsavtalen, skulle det därför betraktas som ett utslag av ett kortsiktigt tänkande.
- Sluta inte för tidigt!/KS
- Längre tidsperspektiv än satsningen/LB
- Tid. Det behövs ett mycket långt tidsperspektiv tid/LB
- Långsiktighet (20 år)/KS
- Mandat att finnas över tid
Oberoende
En av de mest frekvent återkommande egenskaperna som nämns i våra kontakter är att aktörerna inom det nationella utvärderingsprogrammet ska stå fria och obundna, vara "oberoende". Oberoende innebär i detta sammanhang främst att det nationella utvärderingsprogrammet bör stå utanför den organisation där programaktiviteterna äger rum. Risken är annars stor att programansvariga har inflytande över utvärderingen på ett sätt som gör att man kan ifrågasätta dess trovärdighet
- Oberoende utvärderare/CM
- Oberoende är viktigt/U
- Oberoende, staten ska inte peta/KS
- Oberoende/DT
- Fria/SK
- Obundna/PL
- Konjunkturoberoende oavsett regeringsparti/KS
Opartiskhet
I nära anslutning till oberoende nämns opartiskhet. Risken med en alltför nära relation kan vara att den utvärderande organisationen har egna mål och intressen att bevaka som inte alltid stämmer överens
med en opartisk bedömning
10
. Företrädesvis placeras det opartiska utanför de ordinarie statliga och kommunala organisationerna.
- Utan egenintresse/U
- Objektivitet/CM
- Neutral (ej egen verksamhet)/DT
- Ställa sig utanför/SK
- Centralt (ej lokalt för de håller sig till sitt)/CM
Mod, kraft och mandat
Modet att våga uttala sig och modet att ta en strid är också egenskaper som värderas högt. Att våga granska kritiskt och framföra slutsatser på ett kraftfull sätt kräver både mod, kraft och mandat.
- Mandat/CM
- Mod att ta initiativ, sticka ut hakan, ta en diskussion/SK
- Kritisk granskning, våga ställa fräcka frågor/SK
- Ge korrekta kängor/DT
- En röst som hörs i offentlig debatt/CM
- Kraftfull/PL
- Ge rekommendationer. Våga/KS
Kunnighet, mångvetenskaplighet och överblick
En stark gemensam önskan är att ett nationellt utvärderingsinstrument ska präglas av en saklig kunnighet av hög kvalitet, förmåga att göra högkvalitativa analyser utifrån ett tvärvetenskapligt och mångdimensionellt perspektiv och ha en god överblick över kunskapsfältet när det gäller såväl sakfrågor som utvärderingsfrågor.
- Mångvetenskapligt/KS
- Fågelperspektiv/CM
- Överblickande – utifrån flera perspektiv/PL
- Sätta i större sammanhang/LU
- Kvalitet framför kvantitet/KS
- Klarspråk vad avser åtgärder för integration/PL
10
Ett återkommande exempel är att om utvärderingsprogrammet placeras på en myndighet finns det uppenbara risker att myndighetens egna mål inom sitt ämnesområde kommer att påverka utvärderingen.
Flexibilitet och tillgänglighet
Med en fast kärna som utgångspunkt ser många det som en viktig egenskap med lokal förankring och flexibilitet i förhållande till lokala förutsättningar. Med en ambition att möta lokala behov undviks en stelbent standardisering. Flexibiliteten gäller både synen på och hantering av uppdragen, som själva organisationen och dess förmåga att anpassa sig efter uppdragen. Någon illustrerar med bilden av en dragspelsorganisation, medan andra fokuserar på en tillgänglig och obyråkratisk organisation med förmåga att balansera centralt och lokalt.
Krav eller viktiga egenskaper i ett danskt perspektiv
En intressant jämförelse kan göras med de danska forskarna Dahler-Larsen och Foss Hansen (2003)
11
, som i sin forskning har
identifierat sex kriterier eller krav som kan användas som stöd för att värdera olika sätt att organisera utvärderingar av omfattande programverksamheter. Forskarna menar att det är angeläget att ta hänsyn till en rad faktorer, inte minst vid en organisering av utvärderingar och utvärderingsprogram. De faktorer som Dahler-Larsen och Foss Hansen främst lyfter fram är: 1) Opartiskhet och ansvarighet, 2) Oberoende, 3) Förmåga att bidra till internt lärande (erfarenhetsspridning), 4) Förmåga att bidra till utveckling av kunskap genom utvärdering, 5) Förmåga att behålla och utveckla utvärderingskompetens och 6) Förmåga att skräddarsy individuella utvärderinga
12
.
Kriterierna ligger påfallande nära de viktiga egenskaper som våra kontakter efterlyser. Likartade kriterier återkommer i aktuell utvärderingsforskning, men kan också återfinnas i utredningar som Statskontorets utredning om utvärderingsresurser inom Regeringskansliet (Statskontoret 2002)
13
.
11
Dahler-Larsen och Foss Hansen (2003) utgår dels från utvärderings- och forskningslitteratur, men främst från en studie de genomfört av en omfattande projektverksamhet inom Danida, den danska motsvarigheten till SIDA.
12
I en kort sammanfattande översättning från danska presenteras begreppsdiskussionen i bilagan Viktiga egenskaper vid val av organisationsmodell. För fördjupad diskussion kring begreppen hänvisas till Dahler-Larsen och Foss Hansen (2003).
13
En begreppsdiskussion kring kriterierna kan sägas ansluta till de reflektioner som gjordes kring intern respektive extern utvärdering i kapitel 4. Jfr även med Denvalls studie (2001) om kunskapsbildning inom socialtjänsten. Denvall lyfter här fram de svårigheter som kan råda
I utredningen återkommer vi till dessa kriterier och deras eventuella betydelse för en organisering av ett nationellt utvärderingsprogram.
5.3. Vem är det nationella utvärderingsprogrammet till för?
I föregående avsnitt ges exempel på funktioner och egenskaper som betraktas som angelägna när det gäller en önskvärd inriktning på ett nationellt utvärderingsprogram. Men vem är det nationella utvärderingsprogrammet till för? Och vem kan anses ha ansvar för att de erfarenheter och kunskaper som samlas där sedan sprids till avsedda mottagare? Dessa frågorna tillhör de centrala frågor som tidigt bör ställas i utvärderingar på alla nivåer och inte minst vid organisering av ett nationellt utvärderingsprogram.
När vi vänder oss till våra fokusgrupper står det klart att de uppfattar att ett nationellt utvärderingsprogram är till för en mängd olika mottagare eller intressenter:
- Regeringen
- Nationella rikspolitiker, i första hand för att få beslutsunderlag
- Alla politikområden. Departementen, för att bevaka sina sakområden
- Hela organisationen där verksamheten organisatoriskt är förlagd, med praktiker, politiker och byråkrater
- Den ”egna” gruppen, här i form av verksamheten som ansvarar för den lokala insatsen
- Dem det berör (målgruppen, föremål för utvärderingen, andra intressenter)
- Utvärderare, forskare och högskolestudenter
- Kommuner med och utan lokala utvecklingsavtal
I någon fokusgrupp har man benämnt utvärderingens väg som att den ska gå ”uppåt som underlag, nedåt som förädlade metoder”. Det ses som angeläget att det nationella utvärderingsprogrammet inte ska fastna inom ett sakområde (eller ”stuprör”), utan att man ska värna om det tvärsektoriella genom att bevaka bredden på utvärderingsprogrammet.
när rapportskrivaren har en direkt relation till uppdragsgivaren för det föremål som ska betraktas och bedömas. Se även Lahti Edmark 2003.
Faktorer som vem som är beställare av utvärderingen, vem som är genomförare och vem som är föremål för utvärderingen bör rimligtvis vägas in i frågeställningen om vem det nationella utvärderingsprogrammet är till för. Att uppräkningen ovan främst fokuseras på intressenter inom den offentliga sektorn, påverkas högst troligt av vilka föreställningar som finns kring ett nationellt utvärderingsprogram, bland annat genom den förlaga som finns i form av det nationella utvärderingsprogram som nyligen genomförts
14
, med dess beställare, genomförare, osv. Möjligtvis kan beteck-
ningen ”dem det berör” även omfatta aktörer utanför den offentliga sektorn, som lokala boende, intresseföreningar, näringsliv, osv. Uppräkningen påverkas troligen också av vem som kommit till tals i denna utredning. Här får vi självkritiskt konstatera att vi försummat ett bredare medborgarperspektiv genom att i fokusgrupper och övriga kontakter endast marginellt ge utrymme för andra intressenter än dem inom den offentliga sektorn.
Ytterligare kommentarer
Uppräkningen av mottagare för utvärderingsprogrammet ansluter väl till Furubos något självrannsakande uttalande, att "många av oss är alltför fångade i en slags centralistiska utvärderarperspektiv" (Furubo, 2004). Uttalandet ingick i ett inledningsanförande för en utvärderingskonferens i april 2004, där nationella och internationella deltagare utbytte erfarenheter av utvecklingen inom utvärderingsområdet. För 15 år sedan sågs det således som självklart att utvärderingar (endast) var avsedda för beslutsfattare som grund för bättre beslut. Idag är dock bilden mer komplex. Utvärderingar har allt mer kommit att betraktas som en viktig och möjlig källa till alternativa samhällsbilder. Därmed, menar Furubo, blir det allt viktigare att ställa frågan: Vem påverkar vad som ska utvärderas? Vems frågor ställs? Vems kriterier
15
?
14
Här avses Integrationsverkets nationella utvärderingsuppdrag som genomfördes under perioden 1999–2002. Uppdraget avslutades med slutrapporten På rätt väg? (Integrationsverket 2002).
15
Jfr Thomas Schwandt, professor från University of Illinois, USA, som på samma konferens uttryckte att det vore en rimlig utgångspunkt att en rad intressenter borde få ta del av utvärderingar; ”a client, user or customer”, ”citizens and taxpayers”, ”a professional” och till slut ”we all would like to know more about what actually works…”. (Schwandt 2004).
Spridning
Hur erfarenheter och kunskaper som anrikas i ett utvärderingsprogram på bästa sätt ska spridas till ett brett fält av intressenter kommer endast kort att beröras här. Frågan är viktig och detaljrik och kräver en noggrann analys bortom tidsramen i detta uppdrag.
När temat diskuterats i fokusgrupper och andra sammanhang tillmäts dock spridningen av utvärderingar en oerhört viktig roll och ses som en viktig funktion för ett nationellt utvärderingsprogram. Några av de synpunkter som förmedlats sammanfattas i det följande:
En noggrannhet när det gäller spridning av erfarenheter och kunskaper från ett nationellt utvärderingsprogram ses som angelägen. Framför allt betonas spridning i dialogform, inte minst mot bakgrund av ett motstånd mot att (främst) hänvisas till eget sökande i databaser. En kommunikationsplan bör läggas upp för att nå dem som berörs: ute i verksamheterna, bland de övriga utvärderarna, i politiska beslutssammanhang, nationellt inom olika politikområden och inte minst inom den ”egna” gruppen.
Förmedling bör ske i olika former och på alla möjliga olika nivåer; genom att författare till rapporter kommer ut och informerar, att spridningen sker i dialoger som involverar boendetjänstemän och politiker, att nyckelpersoner får till uppdrag att föra frågan vidare till hela organisationen, osv. Det ses som viktigt att ”göra sammanställningar som folk begriper”, men också att texter produceras som är användbara som beslutsunderlag på departementsnivå.
I de kontakter vi haft finns ett brett och engagerat intresse av att få ta del av ett växande kunskapsutbyte där erfarenheter successivt anrikats i mötet med kvalificerade utvärderare.
Huddingegruppen och Internationella gruppen
Två arbetsgrupper som har haft regeringens uppdrag att utifrån olika aspekter studera frågan är den s.k. Huddingegruppen respektive Internationella gruppen. Gruppernas slutsatser sammanfattas kort nedan.
Huddinge kommun beviljades i maj 2003 medel av Regeringen för att leda en arbetsgrupp med uppgift att lämna förslag till verktyg och instrument för ett nationellt erfarenhets- och kunskaps-
utbyte inom ramen för de lokala utvecklingsavtalen
16
. Huddingegruppen presenterade i sin rapport januari 2004 bland annat två övergripande mål för erfarenhets- och kunskapsspridning: Att möjliggöra att de gjorda erfarenheterna och kunskaperna görs tillgängliga för (1) kommuner, myndigheter och de yrkesgrupper som kan tänkas använda resultaten i sitt eget utvecklingsarbete, respektive (2) för forskning. Arbetsgruppen definierar primära och sekundära målgrupper inom stat, kommun, samverkande organisationer, forskarvärlden, yrkesverksamma, intresseorganisationer och massmedia. Huddingegruppen lämnar också ett förslag på metoder och instrument för nationellt erfarenhetsutbyte. Detta kan sammanfattas i följande punkter: (1) Aktiva informationsinsatser ska göras via befintliga kanaler och forum (2) En webbplats med databas ska upprättas (3) Seminarier och konferenser ska anordnas (4) Nätverk för storstadsarbete ska bildas och upprätthållas (5) En skriftserie ska tillskapas för publikationer
17
.
Ytterligare en grupp tillskapades vid samma tidpunkt. Regeringen gav således i maj 2003 Stockholms kommun i uppdrag att samordna en kartläggning av internationellt erfarenhetsutbyte inom ramen för de lokala utvecklingsavtalen. Den Internationella gruppen redovisade uppdraget för storstadsdelegationen i mars månad 2004
18
. Gruppen uppmärksammar i sin rapport att det finns en uppsjö av aktörer och samverkanspartners i storstadsrelaterade frågor. Rapporten visar på ett stort antal internationella organisationer och nätverk som kan associeras till storstadssamarbete fördelat på mellanstatliga och mellankommunala organisationer och nätverk samt övriga nätverk, organisationer och projekt. Sveriges kommuner och landsting uppges ha ett långt utvecklat internationellt samarbete via vänorter, vänregioner och projektpartners i olika håll i världen. EU-samarbetet är en vidare ram för det kommunala och regionala utvecklingsarbetet
19
.
För en vidare diskussion hänvisas till gruppernas rapporter.
16
Ju2003/3863/STO. Arbetsgruppen har bestått av representanter från kommuner, centrala myndigheter och Storstadskansliet. Gruppen presenterade sitt förslag i januari 2004.
17
Se vidare Huddingegruppens rapport.
18
Ju2003/4070/STO. Kan hämtas från storstadskansliets hemsida www.storstad.gov.se
19
I kapitel 6 redogörs för några av dessa exempel. För övrigt hänvisas till rapporten.
5.4. Allt ljus på lokala utvecklingsavtal? Vad ska utvärderas?
Vad är studieobjektet för ett nationellt utvärderingsprogram? Vad ska utvärderas? Ska allt ljus, alla blickar, koncentreras på de lokala utvecklingsavtalen? Frågan om fokus för ett nationellt utvärderingsprogram visade sig leda till en nyansrik och livligt diskuterad fråga av vikt för innehållet men också för en organisering av ett nationellt utvärderingsprogram.
Med stor tydlighet framstår vikten av att ett utvärderingsprogram styrs av medvetna och förankrade perspektivval. Redan det programområde som de lokala utvecklingsavtalen i sig berör har en spännvidd från individ- till samhällsnivå, från temaavgränsade projekt till studier på strukturell nivå. Övergripande teoretiska och politiska frågeställningar kring välfärdsfrågor
20
kan ses som ange-
lägna och förekommer parallellt med det praktiska och nära studiet av det "utsatta" (bostadsområdet, gruppen, individen), om social problematik och bostadssociala frågor. Utvärderingar inriktade på processer, drivkrafter och mönster bakom segregation, fattigdom och olika former av marginalisering efterfrågas, samtidigt som kvalificerade uppföljningar av det praktiska genomförandet av lokala insatser ses som nödvändiga. Insatserna och deras metoder, organisering, förutsättningar och resultat, liksom effekter för och reaktioner hos den enskilde medborgaren kan studeras ur en mångfald perspektiv. Listan kan göras lång.
Uppdraget för detta delbetänkande är att "föreslå ett långsiktigt nationellt utvärderingsprogram för lokala utvecklingsavtal"
21
. De tta bygger på tanken att det parallellt med ett långsiktigt utvecklingsarbete inom storstadspolitiken behövs en likaledes långsiktig utvärderingsverksamhet. Vad betyder då detta för besvarandet av frågan om fokus i det nationella utvärderingsprogrammet?
Fokusgrupperna
Att direktivets formulering ger utrymme för olika (och ibland motsägelsefulla) tolkningar blir tydligt i våra kontakter. När frågan ställs om vad som uppfattas som studieobjekt för ett nationellt utvärderingsprogram, återspeglar svaren ämnets bredd, djup och kom-
20
Som etnisk, social, ekonomisk och kulturell segregation, integration, demokratiutveckling, arbetsmarknadsutveckling, utbildning, bostadspolitik, etc.
21
Direktiv 2003:136.
plexitet. Flera av de förslag till avgränsningar som har lyfts fram vid gruppintervjuer och enskilda samtal berör och illustrerar en komplicerad gränsdragningsproblematik som tänjer gränserna för de lokala utvecklingsavtalen och som i flera fall når långt utanför dessa.
Även om vi i våra möten med fokusgrupper och andra kontakter har haft de lokala utvecklingsavtalen som central utgångspunkt, finns det många som betraktar de lokala utvecklingsavtalen endast som en i raden av statligt initierade interventioner. Detta kan delvis kopplas till en osäkerhet som uttrycks kring själva storstadspolitiken, dess avgränsningar, specifika innehåll och framtida inriktning. Emellanåt ifrågasätts möjligheten att formulera ett relevant utvärderingsprogram kring något som man menar ännu är ett otydligt och svårfångat politikområde.
Vad är det då som öppnar fältet för flera tolkningar och som lyfts fram som motsägelsefullt? En första stötesten tycks vara kombinationen långsiktighet och lokala utvecklingsavtal. Detta har återkommande diskuterats som ett tydligt exempel på motsägelsefullhet eller uttryck för en paradoxal ambition att skapa ett långsiktigt program knutet till en insats med okänd (förmodat begränsad) varaktighet. Skeptikerna befarar att utfästelsen om långsiktighet uttrycker en ambition som inte motsvaras av ett reellt åtagande när (eller snarare "om") de lokala utvecklingsavtalen avslutas. De något mer optimistiska menar att i formuleringen finns ett löfte om att under en längre tid kunna följa utvecklingen i spåren efter de lokala utvecklingsavtalen, vilket kan tolkas som en ambition bortom själva satsningen.
Ytterligare ett engagerande tema har varit vilken typ av resultat och effekter som ska följas. Detta har mycket handlat om på vilken nivå effekter ska utläsas. Ska man sträva efter att utläsa effekter för den enskilde individen eller för bostadsområdet eller bådadera? Meningarna är delade, men argumenten talar för att det är viktigt att följa både individer och bostadsområden. Det gäller dock att slå fast vad som gäller.
Utan tvekan är det komplext att välja ur vilket perspektiv de lokala utvecklingsavtalen ska betraktas. Trots detta går det att utläsa en mängd tydliga förväntningar på vad ett kommande nationellt utvärderingsprogram skulle kunna inrikta sig på. Nedan återges några av de teman som återkommer.
Segregation som företeelse
I samtliga fokusgrupper framhålls vikten av att belysa segregation som företeelse, vilket ansluter till det övergripande storstadspolitiska målet att bryta den sociala, etniska och diskriminerande segregationen i storstadsregionerna och att verka för jämlika och jämställda levnadsvillkor för storstädernas invånare (www.storstad.gov.se). Detta uttrycks på olika sätt, men att studera segregation, dess orsaker och uttrycksformer i samhället tycks i hög grad ses som ett nödvändigt och prioriterat fokus för ett nationellt utvärderingsprogram. I flera fall anses detta perspektiv viktigare än att primärt studera kommunernas stadsdelsutveckling eller enskilda projekt. Några exempel på förslag till studieobjekt
22
:
- Vilka är de viktigaste faktorerna för att motverka segregation?/KS
- Belysa social exklusion och segregation i samhället (speciellt på beslutande nivå)/LB
- Mindre segregation eller mer integration?/CM
- Varför blir vissa områden segregerade?/DT
- Belysa vem som blivit integrerad/LB
- Studera effekterna av integrationsprojekt genom att studera hela samhället/LB
- Majoritetssamhällets ansvar för integrationspolitik och segregationens effekter/KS
Storstadspolitik och välfärd
En återkommande synpunkt är att utvärderingsprogrammets fokus i detta fall inte kan bli tydligare än vad storstadspolitiken självt är. Det är svårt att profilera ett tydligt utvärderingsprogram kring något som man anser inte har en egen tydlig profil eller vars framtid inte betraktas som klargjord. En annan infallsvinkel är att det snarare är välfärdspolitik i stort som är den egentliga referensramen. Att se de specifika storstadsproblemen i förhållande till ett större sammanhang ses som angeläget.
22
Se förkortningar i tidigare not.
- Storstadspolitikens framtid måste klargöras för att studieobjektet/utvärderingsprogrammet ska bli klart och tydligt/CM
- Studera vilken funktion det fattiga området fyller för samhällsutvecklingen/LB
- Glesbygdsproblematik i storstan/KS
- Fokusera det i välfärden som sticker ut, det välfärdsapparaten inte kan hantera/SK
- Holistiskt perspektiv/CM
- Man måste veta vad storstadspolitiken ska vara framöver för att kunna rigga uppföljningen/DT
- Utvärderingsprogrammet beroende av hur storstadspolitiken formuleras framöver/KS
Ett specifikt tema handlar om demokrati, men också det så kallade underifrånperspektivet. Vad ett underifrånperspektiv är uppfattas av flera som otydligt och ej tillfredställande belyst eller avgränsat. En iakttagelse är definitionen på underifrånperspektiv varierar beroende på vilken grupp som uttalar sig. En tendens finns att underifrånperspektivet får beteckna olika positioner som inte nödvändigtvis har att göra med de lokala boende som är föremål för insatserna. I stället kan det omfatta personalgrupper som finns längre ner i den egna eller den angränsande professionella hierarkin inom stat och kommun. De som dock tydligast och mest konsekvent förlägger underifrånperspektivet till dem som bor i insatsområdena är de boende själva.
- Vad är ett underifrånperspektiv?/DT
- Belys och problematisera underifrånperspektivet, från idé till praktik/LB
- Studera underifrånperspektivet i förhållande till makt/LB
- Demokrati, representativitet, inflytande, maktfördelning/LB
Individen, bostadsområdet och/eller samhället
En fråga som ständigt återkommer och som betraktas som besvärande otydlig är om fokus ska ligga på bostadsområdet, på individerna som bor i det utvalda bostadsområdet eller på båda. Svaret kan sammanfattningsvis tolkas som ett kraftfullt både/och. Samtidigt kan det inom en och samma tjänstemannagrupp samsas svar som att främst studera ”individer i ett nationellt fokus” respektive ”stadsdelsutveckling”. Flera uppehåller sig vid dilemmat att det som kan
uppfattas som bra för individens del kan innebära en försämring för området, eftersom det exempelvis kan innebära att en individ flyttar till ett annat bostadsområde eller börjar studera eller arbeta på annan ort. Ska detta uppfattas som bra eller dåligt? Ska man då följa individen eller ska man koncentrera sig på att se tendensen i bostadsområdet? Om man inte tydligt anger perspektiv så innebär det problem när man ska analysera och bedöma resultat och effekter.
- Bestäm om det är individen, området eller båda som ska mätas.
Stopp för förvirringen/CM
- Utvecklingen i områden där de fattigaste samlas/KS
- Boendet, bostadsområdet och dess kvaliteter/DT
- Utvecklings- och förnyelsearbete/KS
- Skärp fokus på utsatta bostadsområden och individer och effekter för dem/SK
- Både områden och individer/SK
- Följa individer, viktigt med nationellt fokus/SK
- Systematisk uppföljning av utvecklingen i områdena och vart pengarna går/PL
- Titta på området (tillägg med lokala förutsättningar)/PL
- Stadsutveckling, med utsatta bostadsområden som svag länk/PL
Organisation, relationer, styrning
Utformning av organisation och organisering av arbetet tilldrar sig också stort intresse. Här lyfts det fram som viktigt att studera organisationen från början till slut, inte bara fokusera på den lokala organiseringen. Detta omfattar studiet av de lokala utvecklingsavtalen som konstruktion, men också allt från storstadsdelegationen och dess funktion, till styrning och prioriteringar av enskilda projekt på lokal nivå.
- Studera organisationens hindrande struktur för förändring i hela kedjan/PL
- Tvärsektoriellt arbete/KS
- Undersök och studera organisationen från början/LB
- Departement/regering och alla nivåers förmåga att hantera sektorsövergripande frågor/CM
- Hur förbättrar vi arbetet och samordningen på departementsnivå?/DT
- Studera beslutsgångar. Var fattas besluten i realiteten?/LB
- Hur ser relationen mellan stat och kommun ut?/PL
- Studera samverkan/dialog folk-politiker/PL
- Vad har omfattningen av utvärderingar haft för effekt, vad har det gett?/KS
- Uppföljning av det holistiska, tvärsektoriella arbetssättet/SK
- Hur påverkar skilda förutsättningar i de lokala utvecklingsavtalen?/CM
Här uppmärksammas även svårigheter med hantering av målkonflikter och hur tolkningen av frågan om mål/behov/insats har sett ut och lösts på olika nivåer. Samtidigt beskrivs det man uppfattas som en paradox, att mål kommer uppifrån för att hantera behov ”underifrån”. Olikheter i förutsättningar att leva upp till målen diskuteras.
Implementering och effekter
Att undersöka, mäta och värdera effekterna av de lokala utvecklingsavtalen tilldrar sig föga förvånande ett centralt intresse. Svaren är dock inte heller här entydiga. I samma grupp kan svar som ”Ej på kommunal insatsnivå” samsas med ett lika tydligt ”På insatsnivå”. Och åter; ska det i så fall vara riktat mot individer, specifika målgrupper eller geografiska områden?
En annan fråga som engagerar är i vilken mån de lokala utvecklingsavtalen har (eller håller på att) införlivas i den reguljära verksamheten. Har det blivit någon metodutveckling? Har utvärdering börjat användas som ett mer medvetet verktyg? Stort intresse finns inför resultat och effekter både när det gäller själva insatserna och deras utfall, som när det gäller metodutveckling och eventuella synergieffekter. Det senare aktualiseras när det gäller de tvärsektoriella dragen, att det inte är enskilda teman som är de mest intressanta, utan det gränsöverskridande arbetet, själva kombinationen av olika sakområden som i den gängse verksamheten ofta är särskilda från varandra även i de fall då målgruppen är densamma. Kan man se skillnad i befintlig organisation?
- Vilken skillnad gör projektet? Lämnar det några spår?/LB
- Är det möjligt att åstadkomma önskvärd förändring med denna insats?/CM
- Effekter för såväl enskilda teman som tvärsektoriellt, sammantaget, för helheten./KS
- Förhålla sig till allt, inte "stuprör"
23
/CM
- Kolla om projekten nått målen/LB
- Effekter utifrån mätbara välfärdskriterier/PL
- Med skärpt fokus följa effekter på utsatta bostadsområden
OCH individer/SK
- De lokala utvecklingsavtalen med eller utan pengar. Vilka effekter får det kommunalt och centralt? Spelar särskilda statsbidrag någon roll?/CM
Inte minst diskuteras frågan om vad som kommer att hända sen, om det kommer att märkas någon skillnad på sikt. Och vad händer i förlängningen av insatserna?
Den viktigaste frågan som ställs kan sammanfattas med: Gör det nytta?
En möjlig sortering
I mångfalden av infallsvinklar kring studieobjektet är det nödvändigt att försöka finna olika sätt att reda i materialet. Tydligt är att de lokala utvecklingsavtalen kan tolkas från en rad olika perspektiv och utan att göra anspråk på att vara heltäckande kan nedanstående förslag vara en möjlig utgångspunkt för sortering. Utgångspunkterna utesluter inte varandra, men leder till olika typer av frågeställningar och jämförelsekriterier.
1. De lokala utvecklingsavtalen som specifik metod/konstruktion. Hur fungerar de lokala utvecklingsavtalen som avtalsinstrument mellan olika statliga och kommunala nivåer? Organisation, styrprocesser? Har nya arbetsformer utvecklats? Samverkansformer? Har ett "tvär"perspektiv stimulerats? Underifrånmedverkan? (Hur) har insatser och idéer som kan hänföras till de lokala utvecklingsavtalen implementerats? Har de lokala utvecklingsavtalen bidragit till förändringar/utveckling som införlivats i ordinarie verksamhet? Går det att identifiera och spåra effekter av de lokala utvecklingsavtalen i ett kort/mellan/långsiktigt perspektiv? Kan således de lokala utvecklingsavtalen som metod och konstruktion ge ett bidrag till andra politikområden som vill
23
”Stuprör” används informellt av flera administratörer som uttryck för tema- eller sektorsområde (som arbete, skola, osv.).
använda en avtalsform exempelvis mellan stat och kommun? Jämförelse: Agenda 21, etc.
2. De lokala utvecklingsavtalen som en lokal områdesbaserad insatsmetod jämfört med andra områdesbaserade insatsmetoder med likartade målsättningar. Vilken behovsbild ligger till grund? Skillnader/likheter jämfört med andra områdesbaserade förändringsmetoder som förekommit tidigare, förekommer parallellt eller är planerade att sjösättas? Hur ser de lokala utvecklingsavtalen ut i ett nationellt eller internationellt sammanhang? Jämförelse: Urban, Stadsdelsförnyelsen, Ytterstadssatsningen, etc.
3. De lokala utvecklingsavtalen som en del i områdes/stads(dels)utveckling. Hur fungerar ett tvärsektoriellt tänkande i stadsdelsutveckling? (Hur) kan de lokala utvecklingsavtalen bidra till utvecklingen i de s. k. utsatta bostadsområdena?
24
Vilka konkreta
insatser och verksamheter prioriteras? Förhållande till linjeorganisation i flera nivåer? Vem initierar, styr, påverkar, deltar? Vem nås? Vilka resultat och effekter får verksamheterna? Goda respektive dåliga exempel. Jämförelse: Utvecklingen i andra stadsdelar, kommunen, regionen, nationellt, internationellt.
4. De lokala utvecklingsavtalen som del i förändring för individer som bor i området. Vilka konkreta insatser prioriteras och vilken behovsbild bygger dessa på? Vem nås av insatserna? (Hur) påverkas eller involveras den enskilde? Hur uppfattar den enskilde sin livssituation, sina möjligheter at påverka, sina möjligheter att förändra sin situation? Ökar faktiska möjligheter till exempelvis jämlika levnadsvillkor? Vilka samband kan finns mellan individens utveckling och boendet i det specifika området? (Hur) kan således de lokala utvecklingsavtalen påverka utvecklingen för den enskilde på området? Jämförelse: Migrationsverkets studie av årskullar. Förändring utan insatser eller förändring för den enskilde i mötet med ordinarie verksamhet.
24
Jfr diskussion i Lahti Edmark (2003).
5. De lokala utvecklingsavtalen som medel för att uppnå övergripande mål som att bryta segregationen
25
: Förändrings-
potential när det gäller orsaker och förekomst av segregation? Hur definieras orsak och verkan av segregation? Samband mellan segregation och individ respektive bostadsområde? Kan segregation brytas med områdesbaserat fokus? Vilka förutsättningar har de lokala utvecklingsavtalen att (bidra till att) bryta segregationen? Är målen relevanta i förhållande till metoden? I vilka avseenden kan de lokala utvecklingsavtalen leva upp till målen? Jämförelse: Antidiskrimineringsarbete.
6. De lokala utvecklingsavtalens roll för att motverka (hantera) negativa konsekvenser av segregation. (Hur) kan de lokala utvecklingsavtalen identifiera och motverka konsekvenser av segregation i det aktuella bostadsområdet? Vilka konkreta insatser och verksamheter genomförs och vilka effekter har de? Förutsättningar i förhållande till målen? Jämförelse: Biståndsarbete.
7. De lokala utvecklingsavtalen som del av utveckling inom en sektor (t.ex. som del i utbildningssektorn). (Hur) har de lokala utvecklingsavtalen bidragit till att utveckla arbete och metoder inom olika sektorer? I vilka avseenden? Hur definieras målen? Vilka förutsättningar har de lokala utvecklingsavtalen att nå delmålen
26
? (Hur) kan de lokala utvecklingsavtalen bidra till att
nå målen? Vad finns det för möjligheter respektive begränsningar? Jämförelse: Ordinarie metodutveckling och kunskapsproduktion inom respektive sakområde/sektor.
25
Övergripande storstadpolitiska mål som omfattar de lokala utvecklingsavtalen är att bryta den sociala, etniska och diskriminerande segregationen i storstadsregionerna och att verka för jämlika och jämställda levnadsvillkor för storstädernas invånare (www.storstad.gov.se).
26
Det övergripande mål som gäller de lokala utvecklingsavtalen har preciserats i 8 delmål: 1) sysselsättningsgraden bör höjas, 2) socialbidragsberoendet minskas, 3) det svenska språket stärkas, 4) elever bör ges förutsättningar att nå målen i grundskolan, 5) vuxnas utbildningsnivå bör höjas, 6) alla stadsdelar bör uppfattas som attraktiva och trygga, 7) folkhälsoläget bör förbättras, 8) det demokratiska deltagandet och delaktigheten bör öka (www.storstad.gov.se).
Regionen Nationen
Internationellt
L U A
Det "utsatt bostadsomr
Kommunen
Segregation
L
a" Det ”utsatta” bostadsomrrådet
Bilden är ett försök att förenklat illustrera studieobjektet. I bilden saknas individerna. Inte bara de 250 000 personer som bebor de 24 stadsdelar som berörs av de lokala utvecklingsavtalen, utan också invånarna i de sju kommunerna, i de kringliggande kommunerna i regionen, i nationen och i ett internationellt perspektiv.
Den viktiga fråga som kvarstår är dock: Ska allt ljus fokuseras på de lokala utvecklingsavtalen?
5.5. Önskemål om organisation
Ett förslag på ett långsiktigt nationellt utvärderingsprogram kan resultera i lösningar av högst skiftande omfång och dignitet. Att vårt uppdrag utgår från en komplex och mångbottnad verklighet råder det inte någon tvekan om. Det utvärderingsprogram som efterfrågas kan komma att återspegla utvecklingen såväl utifrån genomgripande frågeställningar kring segregation och välfärdspolitik, som bostadsspecifika frågeställningar kring utvecklingen i landets fattigaste bostadsområden och resultatet av enstaka projekt. Behovet är stort av att kunna se de minsta beståndsdelarna i ett större sammanhang, liksom att berika och anrika kunskaper från praktiska erfarenheter genom konstruktiv samverkan med forskarsamhället. Det holistiska perspektiv som efterfrågas inte minst i våra fokusgrupper och övriga kontakter kan sägas vara en återspegling av ett insatsområde utan lättavgränsat eller tydliggjort fokus. De förhoppningar som återkommande uttrycks kring ett nationellt utvärderingsprogram är att detta ska förmå att koppla samman det befintliga på tvärs och gå vidare därifrån.
Trots mångtydigheten (eller kanske på grund av den) framkommer det i våra kontakter tydliga önskemål när det gäller hur en organisering av ett nationellt utvärderingsprogram skulle kunna se ut för att uppfattas som användbart, inte bara för beställaren utan för aktörer på flera nivåer.
Fokusgrupper och andra intressenter
En fast samordnande struktur
Fokusgruppernas syn på organisering av ett nationellt utvärderingsprogram finns på en skala mellan ett långsiktigt utvärderingsinstitut med bred representation och en tillfällig utvärderingssatsning som uppstår vid programsatsningar. Det senare betonar vikten av lokal förankring och ser en tillfällig organisation som ett stöd till lokala utvärderare, men alternativet förespråkas endast av någon enstaka grupp. Tvärtom finns flera uttalanden mot denna typ av tillfällig organisering.
Det dominerande förslaget ligger snarare på ett långsiktigt perspektiv med en fast samordnande struktur, där en bred och lokal förankring är en självklar grundpelare. En stiftelse som sammanför stat, kommun och högskola efterfrågas. Denna breda grund av aktörer
betraktas som en förutsättning för att utvärderingsprogrammet ska kunna uppfattas som en angelägenhet för intressenterna.
Stor vikt läggs vid att verksamheten ska vara oberoende och ha en tvärsektoriell och tvärvetenskaplig profil som motsvarar det tvärpolitiska ämnesområdet. Därmed blir det svårt att förlägga verksamheten till något av de befintliga organen, som bevakar något av de ingående sakområdena. Här bör dock utvärderingsprogrammet kopplas till en effektiv intern revision hos de olika intressenterna, för att öka chansen att utvärderingsinsatserna kommer att berika de interna aktiviteterna. Att enbart bindas upp kring segregationsfrågor ses som en begränsande lösning, eftersom det endast är en del av det storstadspolitiska området.
- Tvärvetenskapligt/PL
- En funktion som ansvarar för helhetsbilden men inhämtar sakkunskap från de olika sakområdena/DT
- En slags kropp som håller ihop urban forskning och kunskap/KS
- Intressenter som ska vara med ska vara representerade i styrelse eller som anställda/SK
- Nyskapelse, en mellanorganisation/KS
- En effektiv intern revision som berikar den egna aktiviteten/LB
Huvudansvaret ligger centralt, beslut tas gemensamt
Det råder ingen tvekan i våra kontakter om att staten har ett huvudansvar för ett nationellt utvärderingsprogram. Inga andra instanser bedöms som rimliga, snarare finns det flera uttalade reservationer mot att andra instanser skulle kunna ha detta ansvar: inte kommunerna (frågan är för stor), inte någon enskild myndighet (särintresse), inget enskilt universitet-högskola (risk för allmänforskning på bekostnad av utvärdering) och inte heller kommunförbundet (för svagt mandat).
Detta innebär dock inte att statliga företrädare styr vad som ska utvärderas eller vem som ska utvärdera. Frågeställningarna ska inte heller vara politiskt styrda, myndighetsstyrda eller styrda av någon anonym forskargrupp.
Vad ser man då för möjligheter? Även om förslagen i vissa delar går isär, så återkommer önskningar om ett brett och förankrat inflytande bland flera intressenter för att säkra en genomslagskraft.
- Intressant forskning ska föreslås delegationen, forskare ska inte vara politiskt utvalda/CM
- Staten ger uppdrag till ett oberoende institut med stort mandat, alternativt ett ”halv-verk”, samägt av stat och kommun/KS
- Intressenter ska vara med och finansiera så att man binder upp varandra/SK
- Myndighet med kraft att driva genom förändringar; makt, legitimitet och auktoritet/LU
När det gäller vem som avgör vad som ska utvärderas eller ingår i organisationen, blir tvärkompetensen än tydligare. En blandad kompetens efterfrågas när det gäller att avgöra vilka utvärderingsprojekt som är intressanta att satsa på. Forskare med utvärderarkompetens som kan avgöra vad som är forskningsbart är en part. Kommunala företrädare med kunskap om insatser och utvecklingsarbete i kommunerna en annan. Den tredje parten är staten, med koppling till de statliga sektorsmyndigheterna och olika beslutande organ.
En återkommande synpunkt är att det finns en kärna som är mera fast och en verksamhet runt om som är flexibel. Ett förslag är att bygga utifrån erfarna personer och funktioner i den befintliga satsningen. Profilen bör vara en ”tvär”verksamhet i flera aspekter, man vill undvika att fastna i något ”stuprör” av sakfrågor utan snarare kunna hämta sakkunskap efter behov. Från denna kärna kan forskningsmedel sökas.
- Sju vardera från högskola, kommun, departement/KS
- En ”över”- eller ”tvärinstitutskropp”
Någon menar att denna kärna endast behöver erbjuda centrala kanslifunktioner och att övrig verksamhet bör byggas runt lokala nätverk. För övriga är dock detta inte något alternativ, utan långsiktigheten kräver en fastare form byggd på bred förankring.
Var placeras då detta önskvärda oberoende utvärderingsprogram?
Att besvara denna konkreta fråga visade sig inte vara helt lätt, inte minst med tanke på alla reservationer som tidigare gjorts.
Några vill placera på departementsnivå (mandat, övergripande). Andra vill absolut inte placera på departementsnivå.
Någon kan se en oberoende forskargrupp som alternativ. Andra menar att man måste undvika enskilda högskolor och universitet.
Någon anser att en myndighet kan vara en möjlighet, om frågorna specificeras. Andra menar att myndigheter absolut inte kan komma på fråga eftersom de är för snäva.
Ingen anser att kommunerna är platsen för ett nationellt utvärderingsprogram, vare sig som enskilda kommuner eller representerade av Kommunförbundet.
Den bild som växer fram är ett utvärderingsprogram som kombinerar olika kompetenser och erfarenheter i en grupp bestående av forskare från olika discipliner, tillsammans med praktiker som är förankrade i kommunernas arbete och statliga företrädare med möjlighet till inflytande på central nivå. Ett professionellt och tvärsektoriellt institut som kan ha en koordinerande funktion och samla ”gräddan av politiker, forskare och praktiker” beskrivs som ett önskvärt alternativ. Framför allt bör detta institut ”befolkas av folk från båda världarna”, dvs. såväl den praktiska världen som forskarvärlden.
Det finns en rad önskemål formulerade om vem som ska befolka detta institut:
- Forskare i fronten med spetskompetens som vågar uttala sig och som kan bidra med ny forskning/LU
- Utvärderare som inte enbart är forskare, som gärna även har bakgrund i praktisk verksamhet/LU
- Blandning, folk med temakunskap, både teori och praktik/LU
- Analytiker och syntetiker/CM
- Personer med lokal kunskap i kombination med externa utvärderare/PL
- Forskare från flera områden, tvärvetenskapligt/CM
- Nätverk av utvärderare från olika kommuner/U
- Forskare och personer med metodkunskap/U
- Kunna sina fält och vara välorienterade/KS
- Balans mellan teoretiker och praktiker/SK
Ytterligare reflektioner
Utifrån det material som presenterats hittills har vi sökt vidare efter olika inspirationskällor kring hur ett program av långsiktig karaktär skulle kunna organiseras. I detta sökande har vi än en gång inspirerats av de danska forskarna Dahler-Larsen och Foss Hansen (2003) och
deras sätt att skapa överblick över och förtydliga några alternativa möjligheter att organisera utvärderingar för stora program
27
. Det ä r viktigt att notera att Dahler-Larsen och Foss Hansen i sitt förslag enbart utgår från ett statligt perspektiv och endast från ett politikområde. Trots att vårt uppdrag i dessa delar är mer komplext genom att även omfatta fler aktörer (främst kommunala) och sträcka sig över ett flertal politikområden, har vi emellertid efter smärre justeringar funnit modellen användbar som en utgångspunkt även utifrån vårt ändamål. Dahler-Larsen och Foss Hansen presenterar en tablå med fyra s.k. idealtypiska modeller
28
. Modellerna benämns den integrerade modellen, specialenhetsmodellen, den separata organisationsmodellen respektive den medlande modellen
29
. I vår användning har de två sistnämnda kategorierna sammanförts under rubriken den separata modellen, då vi uppfattar att det ytterligare underlättar överblicken utan att påtagligt förlora i innehåll. Modellerna tar sin utgångspunkt i kärnfrågan var ansvaret för planeringen av utvärdering är placerat i organisationen. Med detta som sorterande princip kan följande fördelning beskrivas:
Den integrerade modellen
Ansvaret för planering av utvärdering återfinns i den linjeorganisation som även är ansvarig för den aktivitet som ska utvärderas. Planering av utvärdering och ansvar för den utvärderade aktiviteten sammanfaller således. Utvärderingen är en process som försiggår inom organisationen.
Den integrerade modellen kan genomföras på flera olika sätt. Utvärderingen kan exempelvis organiseras internt som en självutvärdering, en eller flera externa utvärderare kan engageras eller också kan dessa varianter kombineras. Ett exempel är då man inom olika politiska områden ger forskare från universitet eller statliga forskarinstitutioner uppdrag som externa utvärderare
27
Dahler-Larsen och Foss Hansen har använt modellen i en studie av danska biståndsprojekt. Modellerna är utarbetade på basis av slutsatser från arbete med ett stort empiriskt material, men har också hämtat stöd och inspiration från organisationsteori och litteratur om utvärdering.
28
En idealtyp är en teoretisk analytisk konstruktion som lyfter fram viktiga och typiska drag hos en företeelse och renodlar dem. Med en idealtyp strävar man alltså inte efter att återge verkligheten så exakt som möjligt, utan bortser från drag som anses mindre viktiga. Begreppet associeras främst till Max Weber (Brante & Fasth, 1982).
29
Fritt översatt från danska.
Utvärderingen kan riktas mot skilda målgrupper. I en situation då organisationen samlar kunskap om sig själv (den lärande organisationen) är målgruppen intern. Däremot är målgruppen extern i en situation då en organisation arbetar med utvärdering för att visa ansvarighet gentemot intressenter.
Ansvaret för planering av utvärderingsaktiviteter ligger i linjeorganisationens ledning. Statligt exempel: Ansvaret ligger inom ett departement eller myndighet. Kommunalt exempel: Ansvaret ligger inom en förvaltning.
Specialenhetsmodellen
Ansvaret för planering av utvärdering återfinns på en specialiserad enhet inom linjeorganisationen. Denna enhet ligger separat i förhållande till den enhet som har ansvar för programaktiviteten, dvs. här är föremål för utvärdering. Specialenheten är intern i den mening att den är en del av organisationen. Det handlar inte om självutvärdering eftersom enheten som ansvarar för programmet och enheten som ansvarar för utvärderingen inte är densamma. Utvärderingen är en process som går tvärs igenom linjeorganisationens hierarki.
I specialenhetsmodellen kan utvärderingar genomföras på olika sätt. Ett sätt är att specialenheten ger linjeorganisationen i uppdrag att genomföra en självutvärdering, att annat är att specialenheten utför utvärderingen och ett tredje är att man nyttjar externa utvärderare. En kombination av dessa är också möjlig.
Utvärderingen kan riktas mot såväl interna som externa intressenter.
Ansvaret för planering av utvärderingsaktiviteter ligger inom linjeorganisationens men i en annan enhet än den som omfattas av utvärdering. Går tvärs igenom linjeorganisationens hierarki. Statligt exempel: Ansvaret ligger inom Statskontoret. Kommunalt exempel: Ansvaret ligger inom Stadskontoret.
Den separata organisationsmodellen
Ansvaret för planeringen av utvärderingen är förlagd till en separat organisation utanför den organisation som är ansvarig för den programaktivitet som är föremål för utvärdering.
Utvärderingen går på tvärs över organisationsgränser. I den separata modellen kan utvärderingar genomföras på olika sätt, ofta kombineras olika utvärderingsinslag för att få en bredd i utvärderingarna. Linjeorganisationen kan exempelvis genomföra en självutvärdering, den separata organisationen kan utföra utvärderingen och/eller externa utvärderare genomför utvärdering. En kombination av dessa är också möjlig.
Att etablera en separat organisationsmodell grundar sig oftast på att utvärderingsmottagaren framförallt är extern, som det politiska systemet, allmänheten, brukarna.
Många olika former av expertis kan ingå i medarbetarstaben. Den separata organisationsmodellen ställs ofta inför frågan om hur man uppnår en bra balans mellan experter på frågor inom det politiska området å ena sidan och generell utvärderingsexpertis å den andra. Om organisationen ska fungera som utvärderare krävs tillgång till båda typerna av experter i medarbetarstaben, men vid användning av extra externa utvärderare med specifik expertis på området kan det räcka med att ha generell utvärderingskunskap. Här kan det vara viktigt att hålla isär organisationer med olika expertprofiler. Å ena sidan organisationer som primärt är utvärderingsinstitut och å andra sidan forskningsinstitutioner eller kunskapscentra som primärt producerar väsentlig kunskap på ett bestämt politiskt område och sekundärt genomför utvärderingar på ett sätt som överensstämmer med institutionens primära identitet, roll och funktion.
Ansvaret ligger utanför såväl statliga som kommunala linjeorganisationer. Exempel: Kommittéväsendet, institut, stiftelser.
Integrerad modell Specialenhetsmodell Separat organisationsmodell Planering av utvärdering
Linjeorganisationen Ansvarar även för aktiviteten som ska utvärderas
Specialiserad enhet inom linjeorganisation Separat i förhållande till enheten med programaktiviteten
Planering av utvärdering: Separat organisation i förhållande till organisationen med programaktiviteten
Intern / Extern
Intern: inom organisationen
Intern: inom organisationen men går genom linjeorg. hierarki
Extern: går på tvärs över organisationsgränser
Hur? Exempel: Självutvärdering Uppdrag till externa utvärderare Kombination
Exempel: Linjeorganisationen genomför självutvärdering Specialenheten genomför utvärdering Uppdrag till externa utvärderare Kombination
Exempel: Alla sorter och kombinationer av utvärderingar Ofta ingår olika former av expertis i medarbetarstaben, balans mellan sakkompetens och utvärderarkompetens
Exempel: Inom staten: Departement, myndighet Inom kommunen: Förvaltning
Inom staten: Statskontoret Inom kommunen: Stadskontoret
Utanför stat och kommun: Institut, stiftelser
Tabell inspirerad av Dahler-Larsen och Foss Hansen (2003)
Styrkor och svagheter
Som tidigare nämnts så finns det ingen enskild organisationsform som kan anses vara en "bästa" lösning, utan alla har sina för- och nackdela r
30
. Ge nom att vara uppmärksam så kan dock eventuella nackdelar i viss mån kompenseras. För- och nackdelarna följer intimt diskussionen som i kapitel 4 fördes kring företeelsen intern respektive extern utvärdering. Diskussionen ska inte upprepas här, utan i stället sam-
30
Se rubrik Intern eller extern utvärdering, kapitel 4.
manfattas kort vad som kan uppfattas som de olika modellernas styrkor och svagheter.
När det gäller den integrerade modellen så kan närheten sägas vara både dess styrka och svaghet. Närheten bidrar i regel till hög sakkunskap och utvärderingen kan utformas nära den verksamhet som är berörd och därmed ta hänsyn till lokala förutsättningar, utmaningar och problem. Det finns också en hög potential att bidra till internt lärande. Samtidigt ökar risken att utvärderingen ses som en partsinlaga, med minskad trovärdighet som konsekvens. Risken är också att man som del i organisationen undviker att ställa kritiska frågor eller faller offer för en hemmablindhet eller oförmåga att tänka utanför organisationen. Ofta kan utvärdering ses som en av flera andra arbetsuppgifter, vilket inte främjar utvecklandet av en kvalitativ utvärderingskompetens. Bidrag till teoriutveckling beror på utvärderarnas förmåga att förankra utvärderingsanalysen i en generaliserbar teoretisk ram.
Specialenhetsmodellen har en specifik och specialiserad utvärderingskompetens och ett större avstånd till den utvärderade verksamheten. Detta bidrar dels till en större förmåga att fortlöpande utveckla utvärderingsmetoder, dels till möjligheten att granska och ställa kritiska utvärderingsfrågor. Trovärdigheten kan därmed öka till utvärderingens slutsatser. Samtidigt finns en närhet till verksamheten genom en placering i samma linjeorganisation. Det finns en risk att utvärdering blir rutinartad, att man alltför mycket bestämmer sig för en speciell utvärderingsprofil och därmed inte blir lyhörd för variationer. Bidraget till teoriutveckling beror liksom i den integrerade modellen på utvärderarnas förmåga att förankra utvärderingsanalysen i en generaliserbar teoretisk ram. Potentialen att bidra till erfarenhetsinhämtande kan betraktas som stort.
Den separata organisationsmodellen innebär ett större avstånd i relation till den utvärderade verksamheten än de andra modellerna. Detta medför ökade förutsättningar för att uppfylla kravet på en opartisk dokumentation. Oberoende kan så att säga vara inbyggt i modellen.
Vid jämförelse mellan modellerna kännetecknas den separata organisationsmodeller av att ha störst möjlighet till att bidra till metodutveckling, såväl inom det specifika politiska området som generellt inom utvärderingsmetodik. Avståndet kan dock samtidigt begränsa möjligheten till internt lärande och öka risken för slentrian med åtföljande brist på flexibilitet.
Dialog om utvärderingsdesign samt användande av självutvärdering som en del kan begränsa avståndets negativa effekter samt begränsas om man väljer att definiera sin roll som processkonsult i den utvärderades självutvärdering och om mandatet att definiera kriterier och metoder överförs till den utvärderade organisationen.
Möjligheten att leverera oberoende utvärderingsresultat och att systematiskt dokumentera hur pengarna använts beror enligt Dahler-Larsen och Foss Hansen i samtliga fall på i vilken mån externa utvärderare har använts.
Kommentarer
Dahler-Larsen och Foss Hansen har i sin studie dragit en rad viktiga slutsatser med utgångspunkt från de olika organisationsmodellerna.
- Varje modell kan kompletteras med ytterligare delar som delvis kan uppväga modellens svagheter. Den separata modellens externa profil kan exempelvis kombineras med självutvärdering inom den utvärderade organisationen för att stärka det interna lärandet. Den integrerade respektive specialenhetsmodellen med sin interna profil kan å andra sidan kombineras med externa aktörer (som konsulenter, forskare) för att kompensera en potentiell avsaknad av oberoende. Samtidigt kan ett omfattande bruk av konsulter innebära att man missar möjligheten till en mer långsiktig kunskapsuppbyggnad och därmed en grund till internt lärande.
- Forskarna menar vidare att det inte finns någon automatisk kvalitetsgaranti bara för att en utvärdering är extern. Det är inte säkert att utvärderarna har tillräcklig utvärderingskompetens eller är förtrogna med det aktuella sakområdet. Omständigheter som ekonomi, ideologi, osv. kan dessutom påverka en extern position som i mångas ögon kan tyckas vara oberoende.
Forskarna rekommenderar en blandning av olika former av utvärdering och som hellre placeras i olika organisationsformer än hos en enskild planerare eller en enskild utvärderingsproducent. Detta, menar de, kan var det bästa sättet att få infallsrika svar.
Dilemmat med att välja organisation är således inte löst, men förhoppningsvis någorlunda klargjort. Med dessa reflektioner i
bagaget återstår nu att presentera vårt förslag till ett nationellt utvärderingsprogram.
6. Intressanta exempel och inspirationskällor
I detta avsnitt vill vi presentera några av våra inspirationskällor till ett nationellt utvärderingsprogram. Vad finns det för intressanta exempel på möjliga utvärderingsresurser att tillgå? Hur är ett forskarbaserat utvärderingsinstitut organiserat? Hur utvärderar man andra statligt finansierade insatser? Hur utvärderar man insatser inom glesbygdspolitiken? Hur har man tänkt tidigare? Vi studerar hur man har organiserat utvärderingen av de EU-finansierade insatser som bedrivits inom programmet URBAN samt hur man kan organisera ett konkret stöd och handledning i storstadspolitiska frågor. Genom att studera andra politikområdens utvärderingsresurser vill vi försöka ge en bild av vad som är möjligt och hur man har löst frågan på annat håll. Syftet är att visa på mångfalden och komplexiteten i att organisera ett långsiktigt och sektorsövergripande utvärderingsprogram.
Statskontorets kartläggning av Regeringskansliets utvärderingsresurser
Finns det en möjlig förankring av ett nationellt utvärderingsprogram för de lokala utvecklingsavtalen i ett fast utvärderingsorgan inom regeringskansliet?
Statskontoret har i sin kartläggning av regeringskansliets utvärderingsresurser
1
gjort en översikt som visar på en stor variation
mellan olika politikområden vad avser tillgången till utvärderingsresurser och hur de är organiserade. Fasta utvärderingsorgan, med och utan s.k. genomförande uppgifter, utgörs av myndigheter och liknande statsfinansierade organ. Tillfälliga utvärderingsresurser är bl.a. privata konsulter, universitet och högskolor, liksom kommitté-
1
Statskontoret (2002). Utvärderingar - Av vem och till vad? En kartläggning av Regerings-
kansliets utvärderingsresurser. Statskontoret 2002:20. Statskontorets publikationsservice, Stockholm. www.statskontoret.se
väsendet. Graden av involvering, hur nära den utvärderande parten står den som har ansvar för genomförandet, skiljer sig mellan olika typer av utvärderingsresurser.
Man konstaterar att det finns flera tänkbara organisatoriska lösningar för en utvärdering och att det finns för- och nackdelar med alla lösningar. Vissa krav behöver avvägas gentemot varandra vid skapandet av en utvärderingsstruktur: opartiskhet kontra sakkunskap, sakkunskap kontra metodkunskap, opartiskhet kontra policyrelevans och grundlighet kontra timing till den politiska beslutsprocessen. Som god utvärderingskapacitet betecknar man en kombination av flera olika lösningar för utvärdering.
Flera stora sektorsmyndigheter har större utvärderingsuppgifter inom sitt område, t.ex Styrelsen för internationellt utvecklingssamarbete (SIDA), Socialstyrelsen, Skolverket och Naturvårdsverket.
Sektorsspecifika icke genomförande organ med utvärderingsuppdrag är relativt få: t.ex. Brottsförebyggande rådet (BRÅ), Institutet för arbetsmarknadspolitisk utvärdering (IFAU), Institutet för tillväxtpolitiska studier (ITPS). Dessa har ett tydligt utvärderingsuppdrag samtidigt som de står utanför utformandet och genomförandet av den verksamhet de utvärderar. Skillnader utgörs bl.a. av vilken typ av kompetens utvärderarna har, samt i hur hög grad organen själva initierar utvärderingar.
Hur har man då lyckats skapa utvärderingsorgan som är tvärsektoriella och som kan hantera frågor som spänner över flera politikområden? Statskontoret skriver i sin kartläggning:
En annan slutsats man kan dra utifrån översikten är den relativa frånvaron av organ för sektorsövergripande utvärdering. Bland myndigheterna finns för den här typen av uppgifter i princip enbart de allmänna utvärderingsorganen Ekonomistyrningsverket (ESV), Riksrevisionsverket (RRV) och Statskontoret att tillgå. Inget organ, vare sig inom eller utanför Regeringskansliet, har idag ett aktivt ansvar för att initiera sektorsövergripande utvärderingar.
(Statskontoret 2002, s. 43)
Ett politikområde (som storstadspolitik) som inte har bemyndigats, dvs. som inte har sin bas i en myndighet eller verk och vars inriktning är tvärsektoriell har inte heller ett givet, specifikt organ som kan utvärdera dess utfall. Å andra sidan har flera sektorsmyndigheter och specifika utvärderingsorgan betydande sak- och metodkunskap för att utvärdera enskilda delar av politikområdet. Men för att även ett utvärderingsprogram skall kunna upprätthålla en
tvärsektoriell, tvärvetenskaplig ansats bör man bygga en struktur där det holistiska perspektivet garanteras.
Institutet för arbetsmarknadspolitisk utvärdering (IFAU)
2
Ett av de sektorsspecifika organen som ryms inom det aktuella politikområdet är IFAU. IFAU har ett tydligt utvärderingsuppdrag samtidigt som det står utanför utformandet och genomförandet av den verksamhet de utvärderar.
IFAU är ett oberoende forskningsinstitut under Näringsdepartementet med huvudsakligt fokus på det arbetsmarknadspolitiska området. IFAU ska främja, stödja och genomföra: utvärdering av arbetsmarknadspolitiskt motiverade åtgärder, studier av arbetsmarknadens funktionssätt och utvärdering av effekterna på arbetsmarknaden av åtgärder inom utbildningsväsendet.
Förutom forskning arbetar IFAU med att sprida kunskap om institutets verksamhet genom publikationer, seminarier, kurser och konferenser. Vidare arbetar man med att bygga upp ett bibliotek av svenska utvärderingsstudier samt påverkar datainsamling och gör data tillgänglig för forskare. IFAU initierar självständigt utvärderingar.
Vid myndigheten finns en traditionell styrelse som består av en ordförande, institutets chef och åtta andra ledamöter. IFAU leds av en generaldirektör. Styrelsens uppgift är bl.a. att besluta över beviljandet av externa anslag samt ge synpunkter på verksamheten. Till institutet är en referensgrupp knuten där arbetsgivar- och arbetstagarsidan samt berörda departement och myndigheter finns representerade.
Utvärdering av arbetsmarknadspolitiska åtgärder är förlagt till ett forskningsinstitut. Det är fristående från departement och har sitt säte i Uppsala. IFAU har en referensgrupp bestående av intressenter på området. Forskarkompetensen anges som ett grundläggande krav på att kunna leverera välunderbyggda kunskapsunderlag och att såväl samla befintlig som producera ny kunskap. Ett institut med anknytning till forskarvärlden ökar i trovärdighet och dess resultat kan därav bli en tillgång för såväl kommun, stat som allmänheten. Institutet kan bidra med utvärderingar av arbetsmarknadspolitik vilket är ett av de politikområden som berörs i frågan om målet att bryta den diskriminerande segregationen men erbjuder
2
Materialet om IFAU bygger på information från institutets hemsida www.ifau.se
således inte en forskarkompetens i sakfrågor inom de andra politikområdena.
Från projekt till process. Roger Anderssons förstudie till en nationell utvärdering
Hur har man utvärderat andra satsningar som riktats till utsatta bostadsområden?
En förstudie av hur en nationell utvärdering kan genomföras författades av Roger Andersson, Uppsala universitet, i samband med den s.k. Blomman-satsningen
3
.
I förstudien lämnar Roger Andersson förslag på såväl en begränsad nationell utvärdering som en mer långsiktig utvärderingsstrategi. I det följande sammanfattar vi förslaget på en mer långsiktig nationell utvärdering:
Utvärderingen bör ledas av en ansvarig forskare/forskargrupp som kan knyta lämplig spetskompetens till sig på uppdragsbasis. Gruppen kan kompletteras med en erfaren lokal administratör med särskild blick för organisatoriska aspekter.
Utvärderingen bör ske fristående från departement. Roger Andersson anger flera möjliga alternativ till placering av utvärderingen; myndighetsåläggande, löpande årlig upphandling av externa utvärderare, eller flerårigt kontraktsbaserad upphandling (t.ex. inom ett fristående övervakningsinstitut)
För att säkerställa att resultatet från de lokala utvärderingarna kan kommuniceras och jämföras mellan olika kommuner bör de lokala utvärderarna ha en viktig roll i den nationella utvärderingen. Den nationella utvärderingen bör således ha en koordinerande roll i samarbetet mellan lokala utvärderingsgrupper. Den bör vidare utgöra ett kvalificerat stöd för det lokala utvärderingsarbetet i kommunerna genom t.ex. seminarier och gemensamt rapportskrivande samt vara en viktig kunskapsbas och aktiv länk i det internationella samarbetet. Den nationella utvärderingen bör publicera sitt material i såväl sammanfattande årsrapporter som i temarapporter samt i övrigt aktivt bidra till en erfarenhetsspridning i landet.
Enligt Roger Anderssons förslag bör den nationella utvärderingens uppgift vara att bidra med en överblick över politikområdets praktiska utfall, ge information om relevanta utvecklingstendenser
3
Andersson, Roger (1997) Från projekt till process. Nationell utvärdering av statens insatser i
utsatta bostadsområden. (IN97/1507/IE) Regeringskansliet, Inrikesdepartementet.
samt bidra med underlag för komparativa analyser av tematiska delar av program- och projektarbete. En sammanfattning av lokala utvärderingsrapporter kompletterad med statistiska data över viktigare utvecklingsvariabler kan utgöra underlag för en överblick.
En annan uppgift för den nationella utvärderingen bör vara att åskådliggöra och analysera de organisatoriska aspekterna av det lokala arbetet och hur och i vilken omfattning kravet på underifrånperspektiv har kunnat realiseras i projekt och program. Vidare bör syftet med den nationella utvärderingen vara att granska departementets och andra statliga aktörers roll.
Utvärdering av URBAN I
4
EU gör regelbundna utvärderingar av verksamheter som man är involverad i, framför allt av olika stödverksamheter. Hur utvärderade man URBAN-satsningarna, ett gemenskapsinitiativ riktat till europeiska storstadsområden och med en målsättning som på många plan liknar storstadssatsningens?
Gemenskapsinitiativet URBAN 1 startade 1994 med syftet att svara på de utmaningar som Europas städer stod inför; en vanskött miljö, hög arbetslöshet samt risken för social exklusion. I likhet med många andra gemenskapinitiativ hade URBAN I som mål att uppmuntra innovativa metoder, främja bildande av nätverk och erfarenhetsutbyte mellan länder samt att integrera nya tillvägagångssätt i den nationella policyn och programverksamheten. URBAN I pågick under åren 1994–1999 och efterföljdes av URBAN II som sträcker sig fram till år 2006. Totalt fanns 118 URBAN-program i 15 medlemsländer och omfattade nästan 3 miljoner innevånare. Närmare en tredjedel av URBAN-programmen genomförde egna, detaljerade utvärderingar.
Den övergripande utvärderingen av URBAN I gjordes efter det att programmet avslutats (ex-posto). När utvärderingsrapporten presenterades var man mitt uppe i URBAN II (2003). Undersökningsmetoden omfattade dokumentforskning, strukturerade intervjuer med intressenter, fallstudier, fältundersökningar och initierade bedömningar från medlemmarna av ett utvärderingsteam. Vid utvärderingen av URBAN-programmet anlitade man en fristående konsultfirma (GHK) som arbetade på uppdrag och under ledning
4
GHK (2003) Expost Evaluation Urban Community Initiative (1994) Final report.
av ett av EG-kommissionens utvärderingsorgan och erhöll rådgivning av tre oberoende experter på stadsmiljöfrågor.
De huvudsakliga målen för utvärderingen var (1) att fastställa den inverkan som URBAN I haft som katalysator för bestående förbättringar av de socioekonomiska förhållandena för invånarna i programområdena, (2) att identifiera mervärdet för EG som resultat av dess investeringar samt (3) att identifiera erfarenheter från utvärderingen som kunde vara relevanta för den fortsatta (URBAN II) och planerade programverksamheten.
Utvärderingen undersökte följande aspekter: Val av programområde och tillämpade strategier, genomslagskraft, lednings- och implementeringssystem samt inflytande och mervärde för EG. Utvärderingsresultaten presenterades i en skriftlig rapport
Utvärderingsrapporten betonar bl.a. att ett verksamt övervaknings- och utvärderingssystem bör skapas för granskning av URBAN II samt att ytterligare stöd bör ges för att främja utveckling av lärdomar ur erfarenheterna, utveckling av kapacitet och transnationellt utbyte av goda metoder.
Även vad avser EU-initierade projekt inom storstadspolitiken rekommenderas således ett utvidgat kunskaps- och erfarenhetsutbyte. Man efterlyser även strukturer och system för att kontrollera och utvärdera insatserna framöver. Utvärderingsuppdraget förlades till ett externt organ med metodkompetens men styrningen och expertis i sakfrågan tillfördes från det beställande organet (EG).
Utvärdering av de lokala investeringsprogrammen (LIP)
5
Hur har tidsbegränsade statliga satsningar som riktar sig till kommunerna inom andra politikområden löst frågan om utvärdering och kunskapsuppbyggnad? Ett intressant exempel inom det miljöpolitiska området är utvärderingen av de lokala investeringsprogrammen (LIP).
I Sverige har kommunernas roll och ansvar betonats igenomförandet av en omställning av samhällsutvecklingen mot en ökad hållbarhet i enlighet med den handlingsplan som antogs vid Riokonferensen 1992. Inledningsvis fördelades statliga medel till lokalt Agenda 21-arbete via Miljödepartementet och Naturvårdsverket
5
Informationen bygger på material från Naturvårdsverkets hemsida www.naturvardsverket.se
samt från Institutet från Ekologisk hållbarhets hemsida www.ieh.se. LIP står för De lokala investeringsprogrammen.
för att följas av ytterligare satsningar kanaliserade via bl.a. NUTEK och Vägverket. De lokala investeringsprogrammen (LIP) lanserades av Delegationen för ekologisk hållbar utveckling i mitten på 1990talet. Beviljade medel fördelades inte via statliga verk utan från en speciell enhet inom Miljödepartementet. Från och med år 2002 flyttades administrationen av LIP över till Naturvårdsverket.
De lokala investeringsprogrammen pågick under perioden 1998–2002. Ca 1 800 projekt i 161 kommuner och två kommunförbund beviljades medel i syfte att öka takten i omställningen till ett ekologiskt uthålligt samhälle samt, i ett underordnat syfte, bidra till ökad sysselsättning. Inom LIP är energiåtgärdesprojekt vanligast, andra exempel är avfalls- och transportprojekt. LIP har ersatts av KLIMP (Klimatinvesteringsprogrammet) för vilket statliga medel avsatts under perioden 2002–2004.
Satsningen på lokala investeringsprogram kommer att ge en mängd kunskaper, erfarenheter och goda exempel. För att dessa ska komma hela samhället till nytta behövs en samlad utvärdering av de lokala investeringsprogrammen.
6
Miljödepartementet gav UCER (Umeå Centre for Evaluation Research) vid Umeå universitet i uppdrag att göra en förstudie inför utvärderingen av LIP
7
. Ut ifrån de förslag UCER presenterade i sin rapport har Naturvårdsverket sedan sommaren 2002 lagt ut ett tiotal utvärderingsuppdrag till sakkunniga organ och ytterligare utvärderingsprojekt kommer att påbörjas under 2004
8
.
Förutom de utvärderingar som initierats av Naturvårdsverket har andra instanser tagit initiativ till utvärderingar av LIP, bl.a. Riksdagens revisorer som har granskat den första beslutsomgången och lokala (kommunala) utvärderingar av LIP som har genomförts i bl.a. Linköping och Eskilstuna.
Kunskapsförmedling och information är centralt i samband med utvärderingen av lokala investeringsprogram. Det gäller dels återföring av kunskaper till kommuner och projektägare som arbetar med investeringsprogram, dels till myndigheter och regering. Dessutom behövs information som riktar sig till en bredare målgrupp. Statens institut för
6
www.naturvardsverket.se
7
Hauberger m.fl. (2002) Lokala investeringsprogram – en förstudie inför utvärderingen. Umeå
Centre for Evaluation Research, Umeå universitet.
8
Utvärderare har bl.a. varit ÅF Energi & Miljö AB, UCER vid Umeå universitet, Våt-
markscentrum vid Högskolan i Halmstad och Naturvårdsverket i samarbete med SWECO VIAK.
ekologisk hållbarhet (IEH) kommer att ha en viktig roll i informationen kring utvärderingen.
9
Statens institut för ekologisk hållbarhet (IEH)
10
Statens institut för ekologisk hållbarhet är en statlig myndighet som inrättades 1999 i syfte att rapportera miljöeffekter, goda exempel och forskningsrön samt att öka samverkan mellan offentlig sektor, forskning och företag.
IEH har uppdraget att följa utvärderingsarbetet av LIP och återföra resultaten till kommuner och projektägare och förmedla information om utvärderingar till myndigheter, forskare och andra intresserade. IEH ska fungera som ett stöd till intresserade kommuner, bl.a. i att finna lämpliga samarbetspartner och efterfrågad kunskap. IEH har tolv anställda och är placerat i Umeå.
De lokala investeringsprogrammen, är i likhet med de lokala utvecklingsavtalen, i finansiell mening en i tid begränsad statlig satsning på projekt som i huvudsak genomförs på kommunal nivå. Den omfattar ett stort antal projekt med skiftande innehåll och utgår såväl konkret lokal verksamhet som utifrån stora och övergripande mål. En förstudie inför utvärderingen av lokala investeringsprogram genomfördes av utvärderingsforskare vid Umeå universitet. Ansvaret för att initiera och planera de samlade utvärderingarna åvilar en statlig myndighet, Naturvårdsverket, som i sin tur lagt ut utvärderingsuppdrag på externa organ som innehar för det utvärderade relevant sak- eller metodkunskap. Därutöver tillkommer utvärderingar initierade av andra huvudmän. Ansvaret för kunskaps- och erfarenhetsspridning är i sin tur förlagt till det relativt nystartade statliga institutet IEH som har i uppdrag att följa och rapportera utvärderingsarbetet med LIP. Utvärderingen av LIP påbörjades när förmedlingen av medel genom LIP avslutades. Nu finns dock ett etablerat kunskapscenter (IEH) som kan bidra med stöd och erfarenheter under arbetet med klimatinvesteringsprogrammen.
9
www.naturvardsverket.se
10
Informationen bygger på material från IEHs hemsida www.ieh.se
Glesbygdsverket
11
För en jämförelse av ett nationellt utvärderingsprogram för storstadspolitiska insatser och av hur man har byggt strukturer för en kunskapsuppbyggnad på politikområdet flyttar vi blicken mot glesbygden. Hur har man anrikat kunskap och organiserat utvärderingar av frågor som berör glesbygden och dess speciella förutsättningar?
Glesbygdsverket är en analys- och utredningsmyndighet som har begränsade geografiska områden att bevaka. Likheter med motsvarande avgränsning som görs inom storstadspolitiken till storstadsregioner, och till den tvärsektoriella ansats det innebär att greppa över flera politikområdes återverkningar på ett specifikt geografiskt område, gör det intressant att se hur man har strukturerat en kunskapsuppbyggnad och utvärdering av glesbygdsfrågor. Genom att pröva att byta ut glesbygd mot storstad kan man dra vissa intressanta paralleller.
Glesbygdsverket tillskapades 1991 för att utveckla det arbete som påbörjats av den statliga glesbygdsdelegationen.
12
Glesbygdsverket är en analys- och utredningsmyndighet som följer och rapporterar om utvecklingen i landets glesbygder, landsbygder och skärgårdsområden. Verket arbetar på uppdrag av regeringen och sorterar under Näringsdepartementet. Verket är placerat i Östersund och har drygt 30 anställda.
Glesbygdsverkets uppdrag är verka för goda levnadsförhållanden och utvecklingsmöjligheter för glesbygds- och landsbygdsbefolkningen med tyngdpunkten i skogslänen inre delar och i skärgårdsområdena.
13
Verket ska tillföra kunskap om de speciella förutsätt-
ningar som gäller för dessa områden med avseende på befolkning, arbetsmarknad, utbildning, infrastruktur och service. Kunskapsförmedlingen sker genom medverkan i olika arbetsgrupper, samarbete med statliga myndigheter och bolag, regionala organ och kommuner.
Verket skall vidare verka för sektorssamordning av centrala myndigheter och statliga bolag inom sitt verksamhetsområde, bedriva analys och utredningsverksamhet samt genomföra central uppföljning och utvärdering av insatser i glesbygden. Verket är en förvaltningsmyndighet för gemenskapsinitiativet Leader+ (jmf URBAN).
11
Information om Glesbygdsverket är hämtat från verkets hemsida www.glesbygdsverket.se
12
Glesbygdsdelegationen hade tillsatts 1977 i syfte att samordna statens stödinsatser i glesbygden. Delegationen var en liten organisation i Regeringskansliet och bedrev projektverksamheter.
13
www.glesbygdsverket.se
Glesbygdsverket leds av en generaldirektören och består av fyra enheter; utvecklingsenheten, analysenheten, informationsenheten och den administrativa enheten.
Analysenheten har ett övergripande ansvar för att ta fram aktuell statistik, utredningar och analyser av utvecklingen i hela landets gles- och landsbygder. Den ansvarar även för en löpande bevakning av nationell och internationell forskning i synnerhet med inriktning på landsbygds- och regionalforskning. Forskningsbevakning används även som instrument för att identifiera trender i samhällsutvecklingen.
Glesbygdsverket följer och sprider aktuell forskning som rör gles- och landsbygdsfrågor med stöd av verkets vetenskapliga råd. Hos Glesbygdsverket och Integrationsverket ligger analys- och utvärderingsfunktioner som en enhet i linjeorganisationen.
Dutch Urban Expert Center
14
I Holland har man tillskapat ett Expertcenter i storstadsfrågor; Dutch Urban Expert Center, vilket är en samverkan mellan stat och kommun, införlivat under motsvarande det svenska Inrikesdepartementet. Här har man betonat det praktiska stödet till kommuner i form av att tillhandahålla kunskap och erfarenheter samt bistå med praktiskt erfarna konsulter.
På en studieresa till Holland gavs vi möjlighet att få en inblick i holländsk urbanpolitik och möta representanter från Dutch Urban Expert Center och ta del av deras arbete.
Dutch Urban Expert Center (DUEC) har tillkommit på initiativ av The Ministry of the Interior and Kingdom Relations vilket är ett av tretton departement under den holländska regeringen. En av departementets huvuduppgifter är att koordinera den holländska urbanpolitiken.
DUEC etablerades i en samverkan mellan 25 städer och nio departement. Centrets syfte är att samla, berika och sprida kunskap om urban politik i Holland och det övriga Europa och på det viset erbjuda stöd till kommuner som har problem med att genomföra önskade insatser.
DUEC tillhandahåller en kunskapsbas i form av ett bibliotek och databas på nätet och har en servicefunktion till alla städer i urbana frågor. De kan ge tips på framgångsrika projekt och goda exempel
14
Mer information om Dutch Urban Expert Center kan du hitta på www.dutchuec.nl
samt har möjlighet att ge en kvalificerad hänvisning via sin helpdesk (vilket de har som målsättning att göra inom 48 timmar). DUEC publicerar rapporter och arrangerar konferenser och seminarier inom diverse kunskapsområden. Centret bedriver ingen egen forskning eller utvärdering men koordinerar och initierar forskning i storstadsfrågor vars genomförande är förlagt till högskolor och universitet. Man prioriterar temaforskning. Centret önskar samarbeta med andra kunskaps och forskningsinstitut samt stora städer på andra håll i Europa bl.a. i syfte att visa och dela erfarenheter av framgångsrika projekt.
Förutom att samla och sprida kunskap och erfarenheter har ett expertteam utsetts.
Teamet består av experter inom urban politik främst från statlig och kommunal förvaltning (t.ex. f.d. polischef, f.d. statssekreterare på Finansdepartementet, borgmästare) som framförallt innehar en gedigen praktisk erfarenhet av att arbeta med storstadsrelaterade frågor. Teamet ger råd om hur man löser ett problem som uppstår i implementeringen av den urban politiken.
Expertteamet arbetar bara på direkt uppdrag av en kommun. Utifrån sina olika specifika kunskaper och kommunens önskemål fungerar de som kvalificerat stöd för en kommun under en begränsad period. De arbetar bara med frågor som inte på ett naturligt sätt hör hemma hos andra instanser eller organ. Att utforma en ungdomsplan eller omstrukturera ett industriområde är ett exempel på ett uppdrag som expertteamet har tagit på sig. De har i flera fall arbetat med att just utveckla strategier och handlingsplaner för att involvera och motivera berörda parter till samverkan i en gemensam fråga. Expertteamet har även till uppgift att identifiera problemområden och uppmärksamma ansvariga instanser på detta. Teamets verksamhet är organiserat i projektform och varar fram till och med år 2004. Det skall utvärderas under hösten 2004.
DUEC är ett exempel på en samlad kraft som samlar och sprider kunskap och erfarenheter av storstadspolitiskt arbete. DUEC är en samverkansform mellan stat och kommun
15
. De till handahåller f.n. via expertteamet stöd till kommuner som har problem i det praktiska arbetet genom att de får konkret handledning av en erfaren praktiker/konsult på området. Att förmedla erfarenheter och kunskap via en personlig kontakt vilket samtidigt innebär att någon betraktar situationen (problemet) utifrån i syfte att erbjuda konkreta råd för
15
Man bör dock observera att kommunernas lokala självstyrelse är mycket mindre långtgående än i Sverige.
hur problemet skall lösas, torde vara ett verksamt stöd i det fortsatta storstadsarbetet.
Internationella gruppen
Två arbetsgrupper vars uppdrag har en nära anknytning till utredningens arbete med förslag till ett nationellt utvärderingsprogram är Internationella gruppen, som har kartlagt internationellt erfarenhetsutbyte, samt Huddingegruppen som lämnat ett förslag på metoder och instrument för erfarenhets- och kunskapsspridning. Båda har redan presenterats i föregående kapitel, men presentationerna återkommer här i något utvidgad version.
Regeringen gav i maj 2003 Stockholms kommun i uppdrag att samordna en kartläggning av internationellt erfarenhetsutbyte inom ramen för de lokala utvecklingsavtalen (Ju2003/4070/STO). Den Internationella gruppen bildades och uppdraget redovisades för storstadsdelegationen i mars månad 2004
16
.
I en kartläggning av internationellt erfarenhetsutbyte konstaterar gruppen att det finns en uppsjö av aktörer och samverkanspartners i storstadsrelaterade frågor. Arbetsgruppen menar att en kartläggning av storstädernas (Malmö, Göteborg och Stockholm) internationella kontaktytor kan bidra till att stärka storstadspolitikens internationella erfarenhetsutbyte.
De samverkansformer för erfarenhetsutbyte man redovisar är av regelbunden karaktär och har någon form av formaliserad relation mellan de samverkande parterna. Redovisningen omfattar även projektsamverkan inom t.ex. EU och forskningsinriktat samarbete.
Vissa organisationer har en tvärsektoriell ansats, t.ex. hållbar utveckling medan andra är begränsade till ett specifikt politikområde eller tema som t.ex. infrastruktur eller barnvänlighet. Arbetsgruppen prioriterar följande temaområden för internationell samverkan inom storstadspolitiska frågor: områdesutveckling, demokrati och delaktighet, egen försörjning/tillväxt, skol- och språkutveckling, tryggt område, folkhälsa samt internationell migration. Förutom tillägget av det sista temaområdet sammanfaller prioriteringen med de målområden som definierats av Hudding egruppen
17
.
Sammanställning utgörs således av internationella organisationer och nätverk som kan associeras till storstadssamarbete fördelat på
16
Kan hämtas från storstadskansliets hemsida www.storstad.gov.se
17
Huddingegruppen Ju2003/3863/STO
mellanstatliga och mellankommunala organisationer och nätverk samt övriga nätverk, organisationer och projekt.
Sveriges kommuner och landsting uppges ha ett långt utvecklat internationellt samarbete via vänorter, vänregioner och projektpartners i olika håll i världen. EU-samarbetet är en vidare ram för det kommunala och regionala utvecklingsarbetet.
Sammanställningen redovisar möjliga samverkansorgan fördelat på de olika aktörerna. För att ge en bild av omfattningen anges nedan antalet exempel som redovisats vid varje aktör (siffran inom parentes). Utöver detta illustreras en mångfald av teman, infallsvinklar och samverkansformer i detta rika material.
Göteborgs kommuns samarbete (10) Malmö kommuns samarbete (7) Stockholms kommuns samarbete (15) Samarbete genom Svenska kommunförbundet och Landstingsförbundet (12) Samarbete mellan regioner (16) Organisationer med individuella kommun/stadsmedlemmar (65) Nordiskt respektive Östersjösamarbete (8) Mellanstatligt samarbete (16) Regionalt mellanstatligt samarbete (11) Storstadsrelaterat samarbete i Europeiska unionen (drygt 50) Forskningssamarbete och andra nätverk (30)
Huddingegruppen
Huddingegruppens arbete sammanfattades kort under föregående kapitel, men återkommer här i en något utvidgad version.
Huddinge kommun beviljades i maj 2003 medel av Regeringen för att leda en arbetsgrupp med uppgift att lämna förslag till verktyg och instrument för ett nationellt erfarenhets- och kunskapsutbyte inom ramen för de lokala utvecklingsavtalen (Ju2003/3863/STO). Arbetsgruppen har bestått av representanter från kommuner, centrala myndigheter och justitiedepartementet och de presenterade sitt förslag i januari 2004.
Uppdraget har avgränsats till att omfatta det arbete som görs i stadsdelar med lokala utvecklingsavtal och de insatser som görs inom ramen för dessa avtal.
Arbetsgruppens förslag på metoder och instrument för nationellt erfarenhetsutbyte kan sammanfattas i följande punkter: (1) Aktiva informationsinsatser ska göras via befintliga kanaler och forum (2) En webbplats med databas ska upprättas (3) Seminarier och konferenser ska anordnas (4) Nätverk för storstadsarbete ska bildas och upprätthållas (5) En skriftserie ska publiceras.
Arbetsgruppen har definierat följande målområde för kunskaps och erfarenhetsspridningen; områdesutveckling, demokrati och delaktighet, egen försörjning/tillväxt, skol- och språkutveckling, tryggt område samt folkhälsa. Integration och jämställdhet ingår som övergripande teman i samtliga målområden.
Arbetsgruppen formulerar två övergripande mål för erfarenhets- och kunskapsspridningen; Att möjliggöra att de gjorda erfarenheterna och kunskaperna görs tillgängliga för (1) kommuner, myndigheter och de yrkesgrupper som kan tänkas använda resultaten i sitt eget utvecklingsarbete (2) för forskning.
Strategier för kunskaps- och erfarenhetsspridningen anges vara att anpassa, tillgängliggöra, involvera och engagera. Arbetsgruppen definierar dessutom primära och sekundära målgrupper inom stat, kommun, samverkande organisationer, forskarvärlden, yrkesverksamma, intresseorganisationer och massmedia.
Förslaget avslutas med följande rekommendation:
Arbetsgruppen har valt att inte ta ställning till vem/vilka som bör driva arbetet med erfarenhetsspridning vidare eller i vilka former. Det finns legitima skäl för samtliga inblandade att se till att erfarenheterna och kunskaperna från det gjorda arbetet tillvaratas. En förstudie bör göras för en noggrannare beräkning av kostnader och resursbehov samt klarlägga ansvars- och rollfördelning för ett erfarenhets- och kunskapsarbete. Förstudien bör samordnas med det förslag om ett program för nationell utvärdering av insatser inom storstadsarbetet, som den särskilda utredaren Helene Lahti Edmark ska presentera våren 2004.
18
(s. 10)
18
Huddinge kommun (2004) Förslag till ett nationellt erfarenhets- och kunskapsutbyte inom ramen för storstadsarbetet. Slutrapport.
7. Förslag till ett nationellt utvärderingsprogram
Vårt uppdrag i detta delbetänkande är att lämna ett förslag på ett långsiktigt nationellt utvärderingsprogram för lokala utvecklingsavtal. Förslaget ska ses som ett led i politikområdets kunskapsuppbyggnad och trygga kvalitetssäkring av utvecklingsarbetet (Direktiv 2003:136). Förslaget skall beakta relevant kompetens inom de områden som är av betydelse för det lokala utvecklingsarbetet.
7.1. Institutet för utvärdering av urban politik (IUUP)
Vi föreslår inrättande av ett institut med en tvärpolitisk och tvärsektoriell inriktning på utvärdering av urban politik, här benämnt Institutet för utvärdering av urban politik (IUUP) eller The Institute for Evaluation on Urban Politics.
Med utgångspunkt från det underlag som presenteras i detta delbetänkande föreslår vi att institutet inrättas som ett separat och oberoende statligt institut. Syftet är att säkerställa en långsiktig struktur för utvärdering, tillvaratagande av erfarenheter och befrämjande av kunskapsuppbyggnad inom det urbana politikområdet. Institutet bör vara sektorsövergripande med tvärvetenskaplig inriktning för att kunna möta utvärderingsbehov från ett fält som överbryggar ett flertal politik- och sakområden. Utvärderingsprogrammet tar sin utgångspunkt i de lokala utvecklingsavtalen, dock utan att på längre sikt vara knutet till avtalen i sig eller till något specifikt program/målområde. Institutet bör bygga på en bred förankring som inledningsvis omfattar flera av de aktörer som medverkar och har medverkat i de lokala utvecklingsavtalen.
Långsiktighet
En grundläggande förutsättning för att detta institut ska kunna utgöra ett vitalt inslag i kunskapsutvecklingen på politikområdet är långsiktighet. En tydlig och fast struktur bör utvecklas utifrån en konkret kärna bestående av tillsvidareanställd personal med forskningsbaserad utvärderingskompetens. Genom att koppla institutet till en stimulerande och kunskapsbyggande miljö ökar förutsättningarna för ett kvalitativt arbete med utvärderingar. Om institutet exempelvis samlokaliseras med annat lämpligt institut eller lärosäte medför detta även vinster bl.a. i form av ett kunskapsbefrämjande utbyte och delade administrationskostnader.
7.2. Verksamhet och uppdrag
Institutet ska på uppdrag av styrelsen initiera, planera och koordinera utvärdering och forskningsinsatser på området urban politik, samt fungera som en kunskapsbas i kontakt med intressenter på olika nivåer, från lokal till internationell nivå.
Institutets uppgifter kan översiktligt beskrivas utifrån en rad stödord: Samla och koordinera, utvärdera, stödja och främja, bygga kunskap, göra omvärldsanalyser respektive sprida erfarenheter och kunskap.
Samtliga aktiviteter förutsätter en nära samverkan med en rad aktörer och nätverk i syfte att tillvarata befintlig kunskap. Utvärderingsprogrammet rör sig mellan två kompetensområden, dels utvärderingskompetens och dels sakkompetens. Mellan dessa bör det finnas en lämplig balans för att få en kvalitativt god kunskapsbas.
Samla och koordinera olika kunskapskällor inom sakområdet
I institutets uppdrag ligger i ett första steg att samla in, systematisera, tematisera, sammanfatta och förmedla befintliga studier och forskarrön på området. Detta kan ses som en del i upprättandet av en basreferens med överblick över den kunskapsproduktion som är angelägen för området, men också som en grundläggande del i utvecklandet av ny kunskap. Här är det angeläget med en kvalificerad forskningsbaserad kompetens för att utföra analyser som ansluter till befintlig aktuell forskning eller som bidrar till ny teoribildning.
En annan del av denna basreferens är uppgiften att utveckla och förbättra kunskapen inom politikområdet genom löpande bevak-
ning, analys och rapportering av skeenden som är relevanta för politikområdet i syfte att kunna upptäcka och förstå tendenser i utvecklingen. Här ingår omvärldsanalyser på såväl lokal, regional, nationell som internationell basis.
Den internationella gruppen
1
har i sin kartläggning av inter-
nationellt erfarenhetsutbyte inom ramen för de lokala utvecklingsavtalen presenterat en betydande mängd av aktörer och samverkanspartners i storstadsrelaterade frågor. Institutets uppdrag bör i första hand inriktas på att medverka i utbytet av erfarenheter av utvärdering och forskning på det storstadspolitiska området via befintliga nätverk och organisationer för urban forskning och utveckling, t.ex Euricur, Urban Institute i USA, Dutch Urban Expert Center i Holland m.fl.
Institutet bör också tillhandahålla och förmedla statistiskt underlag som är aktuellt för politikområdet och kunna erbjuda stöd i att analysera ett sådant material. Samverkan bör här inledningsvis ske med Integrationsverket för att i möjligaste mån kunna utgå från befintliga statistiska system, som exempelvis STATIV.
Eftersom det specifika med detta utvärderingsinstitut är den tvärsektoriella profil som genomsyrar arbetet, tillmäts den överblickande och samordnande funktionen stor betydelse. Samtidigt är det angeläget att tillvarata den kunskap och områdesspecifika spetskompetens som redan finns inom olika sakområden. Detta utgör en värdefull grundpelare för den övergripande analys som efterfrågas för att möta behoven inom detta tvärpolitiska område.
1
Regeringen gav i maj 2003 Stockholms kommun i uppdrag att samordna en kartläggning av
internationellt erfarenhetsutbyte inom ramen för de lokala utvecklingsavtalen (Ju2003/4070/STO). Se vidare under kapitel 6.
Samlande funktion
Använder och inventerar bl.a. befintlig kunskap och forskning från
ITPS,
IFAU, IMS
2
m.fl.
Myndigheter som:
Integrations-
verket Skolverket Folkhälso-
institutet Glesbygds-
verket
Kommun-
och landstings-
förbund
Högskolor
och universitet
Övriga
källor
Utbyta och sprida kunskaper
En viktig del i uppdraget är att aktivt bidra till utbyte och spridning av erfarenheter och kunskap. Detta kan exempelvis ske genom att stödja och bilda nätverk och anordna nätverksträffar, dialoger, seminarier och konferenser kring aktuella frågor. Ytterligare sätt är att erbjuda publiceringsmöjligheter för intressanta utvärderingar och forskarrön samt att erbjuda webb-baserad information. Institutet kan utgöra en lämplig plattform för att samordna de metoder och instrument för erfarenhets- och kunskapsutbyte som Huddingegrup pen
3
har föreslagit.
2
ITPS (Institutet för tillväxtpolitiska studier), IFAU (Institutet för arbetsmarknadspolitisk
utvärdering), IMS (Institutet för utveckling av metoder i socialt arbete).
3
Huddinge kommun beviljades i maj 2003 medel av Regeringen för att leda en arbetsgrupp
med uppgift att lämna förslag till verktyg och instrument för ett nationellt erfarenhets- och kunskapsutbyte inom ramen för de lokala utvecklingsavtalen (Ju2003/3863/STO). Se vidare under kapitel 6.
Utvärdera
Genomföra och samordna
Utvärderingarna är stommen i verksamheten och är avsedda att öka kunskapen om insatser inom politikområdet genom att kritiskt granska och analysera gjorda insatser. Detta genomförs dels genom att dra lärdom av hittills genomförda storstadspolitiska insatser främst genom utvärderingar riktade till de lokala utvecklingsavtalen, dels genom att öka beredskapen för att fortlöpande genomföra eller sammanställa utvärderingar av kommande aktiviteter inom politikområdet.
Institutet ska initiera och genomföra förstudier eller utvärderingar inom politikområdet, men även koordinera utvärderingar där uppdraget läggs på externa utvärderare. Den samordnande funktionen är här central och kan även omfatta stöd till nätverk för externa eller lokala utvärderare som inte behöver vara direkt knutna till institutet. Utvärderare från olika kommuner och högskolor kan göra vinster av ett samordnat utvärderingsarbete t.ex. genom identifiering av gemensamma jämförelsepunkter.
Utveckla utvärderingskompetens och öka lärande
I uppdraget ingår att fortlöpande utveckla utvärderingsmetodernas kvalitet, dels med inriktning på det interna arbetet, dels som en rådgivande funktion i förhållande till externa utvärderare och användare. Det senare kan innebära att göra program och insatser mer utvärderingsbara, bland annat genom att öka kunskapen om och tydliggöra olika möjligheter till utvärderingsdesigner. Institutet bör också verka för att en variation av metoder används och bevaka en tvärvetenskaplig ansats för utvärderingar.
Utvärderingarna bör ha ambitionen att i olika grad omfatta tre moment:
- Kritiskt granska, vilket kan betraktas som en basfunktion i utvärdering. Att göra en kvalificerad uppföljning, analysera och bedöma gentemot tydliga kriterier.
- Främja, vilket innebär att stödja utvecklingen av utvärderingsmetoder som kan bidra till en utveckling av den organisation som berörs av utvärderingen. Ett exempel är stöd vid uppbyggandet av självutvärdering som ett led i det egna lärandet.
- Bygga kunskap, vilket innebär att bidra till kvalificerade analyser i anslutning till befintliga forskningsteorier samt bistå med utveckling av nya teorier. Det innebär också att ta tillvara och korsbefrukta befintlig sektorsspecifik utvärdering och forskning, samt att stimulera koppling mellan praktik och forskning.
Stödja och främja
Institutet bör utveckla en interaktiv funktion som erbjuder möjligheter för aktörer på politisk, organisatorisk och praktisk nivå att erhålla stöd, utbildning eller konsultation.
Innehållet i denna interaktiva funktion är således behovsstyrt. Den kan exempelvis omfatta: utbildning eller rådgivning, stöd till lokalt utvärderingsarbete, utveckling av beställarkompetens (inför utvärderingsuppdrag), stöd i form av frågebaserade mallar för områdesanalyser eller förmedling av erfarenheter kring olika strategier och metoder för utvärdering.
En grundtanke är att oavsett var en aktör befinner sig i en organisation så ska möjligheten finnas att exempelvis få stöd i att bygga in och öka utvärderingsbarheten i den egna verksamheten.
Genom att erbjuda stöd för hur man kan planera och genomföra självutvärderingar, ges dels en möjlighet för en lokal verksamhet att öka förutsättningarna för reflektion och ett internt lärande, dels för en extern utvärderare att delta som medbedömare genom att bistå med en utomståendes synpunkter. Detta kan även bidra till initierade av externa utvärderingar eller forskningsansatser.
7.3. Organisering
Institutets kärna, en fast personalgrupp
Institutet i vårt förslag består av två delar: dels av en fast personalgrupp som utgör kärnan, dels en flexibel resurs som inriktas och dimensioneras efter variationer på politikområdet och/eller finansiell resurstilldelning.
Det storstadspolitiska arbetet är under ständig utveckling. För att skapa stabilitet och kontinuitet i kunskapsbyggandet krävs en kärna med en tydlig och fristående profil i utvärderingsarbetet. Erfarenheter från andra institut säger att denna profilering tar tid.
I ett institut med utvärdering som huvuduppdrag krävs det två former av grundläggande kompetens; dels kvalificerad utvärderingskompetens, dels tvärvetenskaplig sakkompetens. Detta innebär företrädesvis personal med forskningsbaserad utvärderingskompetens med förankring exempelvis i grundläggande välfärdsforskning eller med inriktning på marginalisering, bostadspolitiska frågor eller tillväxtfrågor.
…kombinerat med varierande sakkompetens
Ett perspektivrikt politiskt område bör belysas ur ett flertal synvinklar. Eftersom olika former av utvärderingar ger olika belysning av de aktuella frågeställningarna, är det viktigt att kunna placera utvärderingsuppdrag hos olika utvärderingsproducenter. För att undvika inlåsning i ett specifikt temaområde eller begränsas av de ursprungliga personalgruppens utvärderingskompetens, bör institutet ha tillgång till en flexibel resurs som under olika perioder kan tas i anspråk för utvärderingsuppdrag beroende på vilka frågor som är aktuella.
Genom detta breddas valmöjligheten när det gäller utvärderingsmetoder. Dessutom kan specifik sakkompetens inhämtas genom ett kvalificerat samarbete med andra specialinriktade kunskapsproducenter, som enskilda forskare, kommun- och landstingsförbund, FoU-enheter, lokala forskargrupper, myndigheter eller forskningsinstitut.
En rik kunskapsbas bör således grundas på en kombination av en fast, kvalificerad analysenhet med tvärsektoriell profil och tidsavgränsade uppdragstagare med specifika kunskaper inom olika sakområden.
Ett institut med bred förankring
Ansvaret för planering av utvärderingar förläggs i vårt förslag på en organisation som samlar olika intressenter och aktörer på det aktuella området. Det kan omfatta representanter från forskning, administration (byråkratin), praktiker (professionella), brukare, eller andra som kan anses tillföra viktiga perspektiv. Denna förankring förenar ambitioner om en utvärderingsverksamhet grundad i frågeställningar som är angelägna ur flera perspektiv, med att
bereda möjlighet till ett brett inflytande. Detta medför att även parter som medverkar i planeringsprocessen kan bli en av målgrupperna för utvärderingen.
Vi ser denna breda förankring som en viktig faktor för att utvärderingsprogrammet ska uppfattas som användbart. Förutsättningarna ökar för att relevanta teman och frågeställningar uppmärksammas ur flera perspektiv. En risk är annars att synfältet begränsas av exempelvis centraladministrativa intressen. En dialog kring vad som är möjligt att utvärdera kan därmed leda till en ökad ömsesidig respekt och förståelse mellan forskning och praktik och därmed underlätta när det gäller att formulera realistiska förväntningar på ett utvärderingsprogram. En bred förankring kan således ses som ett led i ett interaktivt kunskapsbyggande, utan att därmed förringa riskerna för intressekonflikter som finns inbyggda i varje komplex mötessituation.
För att säkra ett brett förankrat inflytande och att befintlig kompetens tas tillvara föreslår vi att en styrelse bildas med fyra aktörer som aktiv bas: stat, kommun, forskare och övriga intressenter.
1. Statliga styrelsemedlemmar Då staten har ett huvudansvar för ett nationellt utvärderingsuppdrag ser vi statliga aktörer som en självskriven part i en styrelse. Staten är en av huvudparterna som idag lägger grunden för de lokala utvecklingsavtalen. Statliga företrädare har unika möjligheter att påverka och informera andra statliga instanser genom sin centralpolitiska position. Även inom den statliga organisationen bedrivs ett tvärdepartementalt arbete för att bereda väg för de sektorsöverskridande frågeställningar som storstadspolitiken lyfter fram. Statliga företrädare bör väljas med utgångspunkt från det komplexa tvärpolitiska uppdrag som är institutets profil, men också med utgångspunkt från att ta tillvara befintlig kompetens.
2. Kommunala styrelsemedlemmar Den part som staten tecknat de befintliga lokala utvecklingsavtalen med är kommunerna. Det är i kommunerna som de nuvarande lokala utvecklingsavtalen har implementerats och det är där huvudparten av utvärderingar och studier har genomförts. De sju avtalskommuner som varit del av programmet har idag en kompetens som bör tillvaratas. De kommunadministratörer som under den gångna programperioden har ansvarat för den övergripande samordningen i kommunerna besitter i dag en erfarenhet som är
värdefull för institutet. Med kommunala företrädare i styrelsen ökar möjligheterna att institutet påverkas i riktning mot frågor som ses som värdefulla på det praktiska fältet. Det underlättar även för en interaktiv användning av institutets tjänster och inte minst för spridningen av institutets produkter.
3. Forskare En viktig grundpelare i institutets uppbyggnad är närvaron av en tvärvetenskapligt baserad forskargrupp med inriktning på urban politik. Det är forskarna som bär det huvudsakliga ansvaret för att samla, analysera och anrika det material och de utvärderingar som genomförs. Genom att skapa en attraktiv forskarmiljö skapas även förutsättningar för ett långsiktigt kunskapsbyggande, även bortom de dagsaktuella frågorna. Med bas i en forskarkompetens byggs även grunden för kvalitativ metodutveckling och utvärderarkompetens med möjlighet till genomförande av generaliserbara och teoriutvecklande analyser. Att upprätta ett institut för utvärdering av urban politik kan även stimulera till utvidgat intresse för forskning på ämnesområdet.
4. Övriga intressenter Den fjärde parten i vårt förslag till styrelse har vi kallat övriga intressenter. Med detta avser vi medborgare som bor och/eller verkar i de aktuella bostadsområdena liksom föreningar, organisationer och andra verksamhetsformer i den så kallade sociala ekonomin. Här ingår även representanter från näringsliv och andra intressenter. Ambitionen att grunda insatser på ett så kallat underifrånperspektiv innebär ett ansvar att redan i planeringsarbetet bereda plats för andra perspektiv än enbart den offentliga sektorns. Här finns således möjligheter att vidga och berika kunskapen via ett ”icke-professionellt” perspektiv.
Även bred förankring i referensgrupper
Med en storstadspolitik i utveckling är det således viktigt att behålla en öppenhet för nya infallsvinklar och aktörer. Referensgrupper bör därför utses. En flexibel sammansättning av referensgrupper kan således utgå från dagens frågeställningar utan att förlora en beredskap för framtida utmaningar.
Allt ljus på lokala utvecklingsavtal?
De lokala utvecklingsavtalen utgör enligt vår mening en lämplig utgångspunkt för ett nationellt utvärderingsprogram som ryms i det föreslagna institutet. De lokala utvecklingsavtalen utgör i sig en avgränsning kring vilket det är möjligt att formera ett institut. Här finns erfarenheter och kunskaper och, inte minst, en till delar ännu obearbetad kunskapsmassa från ett stort antal utvärderingar.
De lokala utvecklingsavtalen kan också tjäna som exempel på att det är viktigt att inte begränsa perspektivet. Det finns en bredd i de storstadspolitiska frågorna som är svår att ignorera. I vår utredning lyfter vi fram möjligheten till ett flerdimensionellt utvärderingsprogram som ansluter till storstadspolitikens eller den urbana politikens tvärsektoriella ansats. Lokala utvecklingsavtal kan studeras som en del av ett flertal interagerande sammanhang. Genom nödvändigheten att studera dessa sammanhang blir det i längden ohållbart att försvara att allt ljus ska fokuseras på en enskild satsning eller begränsad tidsperiod. I stället krävs brett anlagda tvärvetenskapliga utvärderingar som ansluter till politikområdets komplexitet över tid.
Varför ett institut?
I vårt förslag har vi i dialog med olika intressenter vidgat studieområdet från utvärdering av de lokala utvecklingsavtalen till utvärdering av insatser inom storstadspolitik i dess tvärsektoriella och holistiska ansats. Med denna utgångspunkt är det svårt att motivera en s.k. integrerad utvärderingsorganisation
4
. Genom at t förlägga ett nationellt utvärderingsuppdrag till ett departement (och dess myndigheter) med sektorsspecifik inriktning, täcks endast en del av det tvärsektoriella storstadspolitiska arbetet. Risken för inlåsning i en sektor motverkar ambitionen att värna om ett holistiskt perspektiv. Statskontoret (2000) konstaterar i sin kartläggning att det finns få tvärsektoriella utvärderingsresurser för regeringskansliet att tillgå. Statskontoret är emellertid i sig ett sektorsövergripande utvärderingsorgan. En möjlighet vore då att förlägga det nationella utvärderingsprogrammet till Statskontoret och där skapa en specialenhet för utvärdering av urbana frågor. Detta leder oss dock till nästa
4
Se kapitel 6.
grundläggande princip för det nationella utvärderingsprogrammet, ambitionen om en bred förankring hos flera intressenter.
En förläggning av ett nationellt utvärderingsprogram till en enhet inom befintliga statliga resurser kan innebära svårigheter för övriga intressenter att komma till tals och få ett reellt inflytande. För att främja användbarheten och stimulera samverkan och delaktighet mellan stat, kommun och övriga intressenter redan i initieringsstadiet av utvärderingar föreslår vi en organisationsform där även de icke-statliga aktörerna/intressenterna garanteras en påverkande position. Detta är möjligt att tillhandahålla i institutets form och stämmer väl överens med de erfarenheter och önskemål som framkommit från olika intressenter under utredningens gång.
8. Konsekvenser av utredningens förslag
Inledning
En utredning är skyldig att redovisa vilka konsekvenser förslagen i ett betänkande har i en rad olika avseenden. De områden som nämns i 15 § kommittéförordningen (1998:1474) är konsekvenser för den kommunala självstyrelsen, för brottsligheten och det brottsförebyggande arbetet, för sysselsättning och offentlig service i olika delar av landet, för små företags arbetsförutsättningar, konkurrensförmåga eller i villkor i övrigt i förhållande till större företags, för jämställdheten mellan kvinnor och män eller för möjligheterna att nå de integrationspolitiska målen.
I förslaget som denna utredning lämnar bedömer vi det som relevant att redovisa en första beräkning av förslagets kostnadsmässiga konsekvenser. I övrigt anser vi inte att förslaget får inverkan på de i 15 § kommittéförordningen nämnda områdena i en sådan omfattning att det är motiverat med en särskild redovisning av konsekvenserna.
Kostnadsmässiga konsekvenser
Vårt förslag innebär inrättande att ett institut med ett långsiktigt ansvar för att följa och stödja utvecklingen i storstadsområdena, bl.a. genom att upprätta program för utvärdering samt bistå med en kunskapsuppbyggnad av politikområdet.
Vid bedömning av de faktiska kostnaderna för det föreslagna institutet krävs kännedom om antalet handläggare, deras löneläge och tjänstgöringsgrad. Likaså krävs kunskap om vilka lokalkostnader och kringkostnader i form av utrustning som tillkommer.
Vi föreslår att institutet samlokaliseras med något annat institut eller relevant forskningsmiljö för att uppnå samordningsvinster såväl verksamhetsmässigt som administrativt.
Vår bedömning är att detta institut i ett första skede bemannas med 10–15 personer. Med en genomsnittlig årskostnad per anställd på ca 750 tkr, skulle förslaget medföra kostnader på uppskattningsvis 7–11 miljoner kr per år, exklusive kostnader för lokaler.
I det fall institutet kan åta sig uppdrag med utvärderings- och forskningsinriktning för annan uppdragsgivare än staten, bör inkomsterna av denna verksamhet disponeras av institutet.
Finansiering
Vårt förslag omfattar i första hand en principiell struktur för ett nationellt utvärderingsprogram. För att kunna realiseras behöver förslaget ytterligare beredas av instanser med relevant kompetens för att på en mer detaljerad nivå beräkna de kostnadsmässiga konsekvenserna.
Vi utgår från att förslaget finansieras inom givna resursramar och att medel för utvärdering och uppföljning av aktuella frågor inom respektive politikområde omprioriteras till institutet.
Omfattningen av institutets verksamhet och därav följande resursbehov menar vi är beroende av storstadspolitikens fortsatta inriktning, omfattning och mål. Finansiell resurstilldelning, utöver de grundläggande kostnaderna för institutets basverksamhet som angetts ovan, får avvägas med hänsyn till omfattningen av institutets uppdrag.
Kommittédirektiv
Utvärdering av lokala utvecklingsavtal Dir. 2003:136
Beslut vid regeringssammanträde den 23 oktober 2003.
Sammanfattning av uppdraget
En särskild utredare tillkallas för att utvärdera de rapporter m.m. som tagits fram inom ramen för arbetet med lokala utvecklingsavtal. Utredaren skall inventera, sammanställa och analysera rapporterna i syfte att omvandla gjorda erfarenheter till kunskap.
Utredaren skall, som ett led i erfarenhetsspridning och kunskapsuppbyggnad, under hand och i lämplig omfattning göra resultatet av sitt arbete tillgängligt för de i de lokala utvecklingsavtalen samverkande parterna, kommuner med liknande situation som kommuner med lokala utvecklingsavtal och för andra intressenter.
Slutligen skall utredaren, med beaktande av relevant kompetens inom de områden som är av betydelse för det lokala utvecklingsarbetet, lämna förslag på ett nationellt utvärderingsprogram för lokala utvecklingsavtal.
Bakgrund
Riksdagen godkände i december 1998 regeringens förslag om mål och inriktning för storstadspolitiken (prop.1997/98:165, bet. 1998/99:AU2, rskr.1998/99:34). Regeringen beslutade i januari 1999 att det inom Regeringskansliet skulle tillsättas en storstadsdelegation med uppgift att utveckla och samordna den nationella storstadspolitiken. Storstadspolitiken skall införlivas i ordinarie strukturer hos berörda kommuner, statliga myndigheter och andra samverkande aktörer varför inga nya medel beräknats för 2004. Målen för storstadspolitiken är att ge storstadsregionerna goda förutsättningar för långsiktigt hållbar tillväxt. Storstadspolitiken bör därmed kunna bidra till att nya arbetstillfällen skapas såväl inom storstadsregionerna som i övriga delar av landet (tillväxtmålet), samt att bryta
den sociala, etniska och diskriminerande segregationen i storstadsregionerna och att verka för jämlika och jämställda levnadsvillkor för storstädernas invånare (segregationsmålet).
Till det senare målet har ett nytt instrument utvecklats för frivillig samverkan mellan staten och vissa storstadskommuner, s.k. lokalt utvecklingsavtal. I avtalen samlas det utvecklingsarbete som görs i tjugofyra stadsdelar i de tre storstadsregionerna Stockholm, Göteborg och Malmö. Sammanlagt har drygt två miljarder kronor avsatts i statliga medel för utvecklingsarbetet. Berörda kommuner – Botkyrka, Göteborg, Haninge, Huddinge, Malmö, Stockholm och Södertälje har till motsvarande belopp gjort olika motprestationer, t.ex. åtaganden via kommunägda bostadsbolag.
Till de lokala utvecklingsavtalen hör ett omfattande utvärderingsprogram, dels på nationell nivå, dels på lokal/kommunal nivå genom villkor i respektive avtal om extern utvärdering. Utvärderingsprogrammet är ett led i politikområdets kunskapsuppbyggnad och i att kvalitetssäkra utvecklingsarbetet. Den nationella utvärderingen har Integrationsverket svarat för tillsammans med Mångkulturellt Centrum i Botkyrka kommun som följt ett lokalsamhälles (Fittja) utveckling mer ingående. Integrationsverket har även låtit Lunds universitet ta fram en nordisk kunskapsöversikt.
Under 2002 genomfördes en avstämning av det storstadspolitiska arbetet. Avstämningsarbetet har benämnts Storstad och framtid och kommer att redovisas i en skrivelse till riksdagen under 2003. Under avstämningen har redovisats drygt 150 rapporter, utvärderingar och studier av olika slag som tagits fram inom ramen för arbetet med de lokala utvecklingsavtalen.
Under hösten 2002 har en dialog förts med berörda kommuner, statliga myndigheter, samverkande parter och forskare knutna till utvecklingsavtalen om behovet av att systematisera gjorda erfarenheter – att omvandla erfarenheter till kunskaper med utgångspunkt i de rapporter m.m. som redovisats under avstämningsarbetet. Regeringen har under våren 2003 initierat arbetet med att utveckla erfarenhetsspridning och kunskapsöverföring nationellt respektive internationellt. En arbetsgrupp kommer att utveckla metoder och instrument för nationellt erfarenhetsutbyte och kunskapsöverföring inom ramen för lokala utvecklingsavtal. Arbetsgruppen leds av Huddinge kommun som av regeringen beviljats särskilda medel för detta. För att samordna en kartläggning av motsvarande internationellt erfarenhetsutbyte har regeringen även beviljat Stockholms kommun särskilda medel.
Storstadsdelegationen har särskilt betonat vikten av att erfarenhetsspridning och kunskapsuppbyggnad sker parallellt med det fortsatta arbetet i kommunerna för att undvika avbrott i utvecklingen av stadsdelarna.
Uppdraget
Omvandla erfarenheter till kunskap
Utredaren skall utvärdera de rapporter m.m. som tagits fram inom ramen för arbetet med lokala utvecklingsavtal. Utredaren skall inventera, sammanställa och analysera rapporterna i syfte att omvandla gjorda erfarenheter till kunskap. Tydlig åtskillnad skall göras mellan erfarenheter, t.ex. goda exempel, och underbyggd kunskap. Ett jämställdhetsperspektiv skall anläggas.
Sprida erfarenheter under utredningens gång
Storstadspolitiken skall generellt sett bidra till att vunna erfarenheter sprids såväl inom storstadsregionerna som till landet i övrigt. Utredaren skall, som ett led i erfarenhetsspridning och kunskapsuppbyggnad, under hand och i lämplig omfattning göra resultatet av sitt arbete tillgängligt för de i de lokala utvecklingsavtalen samverkande parterna, kommuner med liknande situation som kommuner med lokala utvecklingsavtal och för andra intressenter. Utredaren skall vidare överväga och föreslå hur erfarenheterna av de lokala utvecklingsavtalen bör spridas i ett längre perspektiv. Ett nära samarbete förutsätts ske med den arbetsgrupp Huddinge kommun leder för att utveckla metoder och instrument kring erfarenhetsspridning och kunskapsöverföring samt med Stockholms kommun kring kartläggningen av motsvarande internationellt erfarenhetsutbyte. Samarbetet skall syfta till att stärka det pågående operativa arbetet i stadsdelar som omfattas av lokalt utvecklingsavtal.
Föreslå ett långsiktigt nationellt utvärderingsprogram
Integrationsverkets slutrapport som lämnades i juni 2002 pekar på att det vid den tidpunkten var för tidigt att bedöma effekter av gjorda insatser inom ramen för de lokala utvecklingsavtalen. Det långsiktiga utvecklingsarbete som bedrivs inom storstadspolitiken behöver ett långsiktigt utvärderingsperspektiv. Utredaren skall, med beaktande av relevant kompetens inom de områden som är av betydelse för det lokala utvecklingsarbetet, föreslå ett långsiktigt nationellt utvärderingsprogram för lokala utvecklingsavtal. Utredaren skall i denna del lämna ett delbetänkande senast den 30 april 2004.
Att beakta i övrigt
Utredaren är oförhindrad att arbeta med referensgrupper och arbetsgrupper.
Utredaren skall beräkna de ekonomiska konsekvenserna av förslag som lämnas. Utredaren skall vid eventuella kostnadsökningar även föreslå finansiering.
Uppdraget skall redovisas senast den 31 mars 2005.
(Justitiedepartementet)
Kommittédirektiv
Tilläggsdirektiv till utredningen om utvärdering av lokala utvecklingsavtal (Ju 2003:10)
Dir. 2004:40
Beslut vid regeringssammanträde den 22 april 2004
Förlängd tid för delbetänkande
Med stöd av regeringens bemyndigande den 23 oktober 2003 tillkallade statsrådet Mona Sahlin en särskild utredare med uppdrag att utvärdera de rapporter m.m. som tagits fram inom ramen för arbetet med de lokala utvecklingsavtalen (dir. 2003:136). Uppdraget skall enligt direktiven redovisas senast den 31 mars 2005. Utredaren skall även lämna ett förslag på ett långsiktigt nationellt utvärderingsprogram av lokala utvecklingsavtal. Förslaget skall enligt direktiven redovisas i ett delbetänkande senast den 30 april 2004. Utredaren har begärt att tiden för delbetänkandet förlängs.
Tidpunkten för redovisningen av delbetänkandet ändras till senast den 15 juli 2004.
(Justitiedepartementet)
Metodappendix
Fokusgrupper som metod
Fokusgrupp är en form av gruppintervju där ett mindre antal gruppmedlemmar diskuterar och samtalar kring ett givet ämne under mer eller mindre strukturerade former. Gruppens diskussion dokumenteras i någon form och innehållet analyseras. En moderator håller i de strukturella ramarna för gruppintervjun.
Med en fokusgrupp som intervjumetod lyssnar man till vad gruppmedlemmarna själva anser vara viktiga aspekter av ett ämne och kan därmed få fram en bred skala av åsikter och värderingar kring en fråga. Fokus ligger på hur en viss grupp tillsammans tänker kring ett fenomen.
Fokusgrupper är en forskningsteknik där data samlas in genom gruppinteraktion runt ett ämne som bestämts av forskaren.
Användningen av fokusgrupper som forskningsmetod tillämpas inom flera olika discipliner såsom pedagogik, folkhälsovetenskap och marknadsföring. Inom näringslivet har man använt metoden för att förutse framtida behov och utveckla nya produkter. Man använder även metoden för att utvärdera olika projekt i bl.a. kommunal verksamhet. Metoden har sitt ursprung i 1930-talets USA då bl.a. Robert Merton använde den för att undersöka sociala fenomen. Under lång tid användes metoden framförallt för marknadsundersökningar, men har sedan 1980-talet åter vunnit terräng inom den akademiska forskningen.
1
Morgan (1996) i Wibeck, Victoria (2000) Fokusgrupper. Om fokuserade gruppintervjuer som
undersökningsmetod. Studentlitteratur, Lund
Analys och transkription
Gruppintervjuerna har i vårt fall dokumenterats genom att diskussionerna har spelats in på band. Dessa har i sin tur transkriberats och återfinns som ett skriftligt dokument. För att få en översikt av materialet har vi därefter analyserat svaren genom att i första hand kategorisera dem med hjälp av tematiserade frågor som vi ställt till gruppen. Vi har därpå försökt lokalisera mönster, trender och tendenser och återkommande teman samt gjort jämförelser och kontrasterat svaren mellan grupperna. På detta vis har vi haft möjlighet att analysera vilka åsikter och värderingar som finns i varje grupp och om likartade åsikter och värderingar återkommer i alla grupper. Finns det motstridiga resonemang såväl inom som mellan grupperna? Har man varit eniga inom gruppen? Vilka frågor har varit mest angelägna för gruppen att föra fram? Har samma aspekt återkommit i flera grupper? Analysarbetet av fokusgrupperna har varit tidskrävande men utgör samtidigt en bred bas för de olika perspektiv och önskemål utredningen har att ta ställning till. Genom att jämföra åsikter och förslag från separata grupper som är homogena inbördes, dvs. där gruppdeltagarna har likartade roller och funktioner i förhållande till de lokala utvecklingsavtalen, kan vi få en bild av när åsikter och värderingar är samstämmiga respektive skiljer sig åt utifrån de olika perspektiven.
Syftet med fokusgrupper
Vårt syfte med fokusgrupperna har varit att ta del av åsikter och idéer om hur ett bra nationellt utvärderingsprogram för lokala utvecklingsavtal kan se ut ur så många perspektiv som möjligt. Genom fokusgrupperna har vi fått möjlighet att ta del av de erfarenheter och den kunskap som finns på området, de önskemål om och eventuellt behov av ett nationellt utvärderingsprogram, samt förslag på hur ett utvärderingsprogram kan organiseras för att ge mesta möjliga utfall. I fokusgrupperna har deltagarna möjlighet att diskutera med varandra och på detta sätt pröva sina idéer och erfarenheter och i vissa fall gemensamt resonera sig fram till nya förslag. Vi har framförallt undersökt frågan om vad som ur olika aspekter skulle göra ett nationellt utvärderingsprogram användbart. Våra frågor till fokusgruppen kan sammanfattas under följande rubriker:
1. Användbarhet Behövs ett nationellt utvärderingsprogram? Hur ska ett nationellt utvärderingsprogram se ut för att du ska uppfatta det som användbart? Vilka är målgrupperna för och användarna av ett nationellt utvärderingsprogram?
2. Syfte och innehåll Vad är studieobjektet? Vad ska ett nationellt utvärderingsprogram studera/följa? Vad är syftet med ett nationellt utvärderingsprogram? Vad är viktiga egenskaper hos och vad kräver du av ett nationellt utvärderingsprogram? Vad är det nationella utvärderingsprogrammets innehåll, funktion och uppgift?
3. Organisation Hur ska ett nationellt utvärderingsprogram organiseras? Var ska det nationella utvärderingsprogrammet placeras organisatoriskt? Vem har huvudansvaret? Vem avgör, beställer och ingår i det nationella utvärderingsprogrammet? Vem utför analyser och utvärderingar?
4. Tidigare erfarenheter och konkreta exempel Vilka är dina erfarenheter av utvärderingar inom de lokala utvecklingsavtalen och på annat håll?
Val av grupper
Vi uppfattade det som angeläget att identifiera behov och önskemål om ett nationellt utvärderingsprogram från så många nivåer som möjligt. De fokusgrupper vi bjudit in består bl.a. av statliga och kommunala tjänstemän på olika nivåer, utvärderare och medborgare i de berörda stadsdelarna. Följande fokusgrupper deltog:
1. Medborgare i stadsdelar berörda av de lokala utvecklingsavtalen
2. Lokala projektledare (har ansvar för ett projekt inom de lokala utvecklingsavtalen, arbetar konkret i verksamheten)
3. Lokalt utvecklingsansvariga (har ett övergripande ansvar för olika projekt inom de lokala utvecklingsavtalen i en stadsdel)
4. Lokala utvärderare
5. Kommunala samordnare i de sju kommunerna med lokala utvecklingsavtal(har ett övergripande ansvar på central, kommunal nivå för avtal och insatser inom ramen för de lokala utvecklingsavtalen)
6. Storstadskansliet
7. Storstadsdelegationens referensgrupp; centrala myndigheter
8. Storstadskansliets referensgrupp, departementstjänstemän
Valet av fokusgrupper speglar i första hand en önskan om att mångfaldiga perspektivet, att få fram en bredare skala av idéer. Material från fokusgrupper är dock inte generaliserbart i representativ mening, om man med det menar att man täcker in ett stort antal av de personer som ryms inom respektive kategori.
I ett par fall har vi dock nått alla; de kommunala samordnarna som är sju till antalet har därmed utgjort en egen fokusgrupp, likaså har tjänstemännen på storstadskansliet utgjort en egen fokusgrupp. Om vi däremot skulle ha samma ambition när vi önskar se på ett nationellt utvärderingsprogram med ett perspektiv från de medborgare som bor i de bostadsområden som berörs av de lokala utvecklingsavtalen, så stöter vi genast på urvalsproblem. Antalet medborgare i dessa bostadsområden uppgår tillsammans till en kvarts miljon. Det som förenar dem är att de är bosatta inom de geografiska ramar som bostadsområdet utgör. Av dessa har vi bara träffat ett fåtal personer. Dessa personer har dock tillfört ett viktigt bidrag till hur man kan se på ett nationellt utvärderingsprogram ur detta perspektiv.
Lokala utvärderare är tillsammans med lokalt utvecklingsansvariga och lokala projektledare många till antalet, det har inte heller här varit möjligt att bjuda in alla. När det gäller de statliga referensgrupperna bestående av personer som representerar sina respektive departement och myndigheter, har vi haft möjlighet att bjuda in de referensgrupper som bildats för storstadsdelegationens arbete.
I en önskan att erhålla ett nationellt perspektiv och få ta del av lokala erfarenheter valde vi att förlägga fokusgrupper till de tre storstadsområdena. I Malmö träffade vi lokala utvärderare och lokala projektledare. I Göteborg träffade vi medborgare i de berörda bostadsområdena och i Stockholm de statliga tjänstemännen samt kommunala samordnare och lokalt utvecklingsansvariga. En möjlighet hade varit att träffa grupper av lokala projektledare, grupper med medborgare, grupper av utvärderare i var och en av de sju
kommunerna. Tid för materialinsamling och bearbetning för detta har dock inte funnits. Ytterligare alternativ hade varit att bilda fokusgrupper genom att bjuda in t.ex. en utvärderare från varje berörd kommun. I detta fall försvåras rekrytering och planering, bl.a. eftersom deltagarna i högre grad är okända för varandra. En viss kännedom om varandra i gruppen underlättar utbytet av idéer och förslag.
I flera fall har vi således haft fokusgrupper vars deltagare redan är en existerande grupp, t.ex. storstadskansliet och referensgrupperna. Fördelar med existerande grupper är att medlemmarna känner varandra, att rekryteringen underlättas och det ger en inblick i den sociala kontext där idéerna formas och beslut fattas. Risker med existerande grupper är att ämnen och synpunkter kan tas för givna och att det kan finnas en strävan i gruppen att undvika konflikter. I andra fall har deltagarna i fokusgrupperna haft någon kännedom om varandra, de har mötts i andra sammanhang eller arbetat ihop. Så är det t.ex. med de lokala utvärderarna och med medborgarna i de berörda bostadsområdena som tidigare mötts i olika sammanhang och i vissa fall haft samma referenspunkter i det lokala utvecklingsarbetet.
Lista på de personer som bjudits in till fokusgrupperna
Följande personer har bjudits in till fokusgrupp. Möjligheten för de inbjudna att delta i fokusgrupperna har varierat. Fokusgrupperna har utgjorts av 3–8 personer. Sammanlagt har ett drygt 40-tal personer deltagit.
Fokusgrupp med kommunala samordnare i de sju kommuner som berörs av de lokala utvecklingsavtalen
Eva Bjurholm, Södertälje Pia Borg, Göteborg Bengt Eliasson, Botkyrka Kerstin Z Johansson, Huddinge Johnny Ridemar, Stockholm Britta Ström, Malmö Karin Wahlgren, Haninge
Fokusgrupp med Storstadskansliet
Mårten Arnberg Lars Karlberg Evert Kroes Beatrice Larsson Petter Liljeblad Anneli Lindström Tommi Riihonen Ylva Ringhag
Fokusgrupp med lokala utvärderare i Malmö
Berit Andersson, Lunds universitet Pieter Bevelander, Malmö högskola Per Broome, Malmö högskola Benny Carlson, Lunds universitet Agneta Hedblom, Lunds universitet Marianne Liedholm, Lunds universitet Göran Lindberg, Lunds universitet Jonas Otterbeck, Malmö högskola Eva-Kristina Salameh, Lunds universitet Jill Sörensen, Lunds universitet Joakim Tranqvist, Arbetslivsinstitutet
Fokusgrupp med medborgare i stadsdelar i Göteborg berörda av Lua
Sten Danielsson, Gårdsten Parvanah Heidari, Bergsjön Haky Jasim, Bergsjön Golam Lasaki, Hjällbo Augin Marawgeh, Hjällbo Meharite Okbutsion, Gårdsten
Fokusgrupp med lokalt utvecklingsansvariga i Stockholm
Anders Anagrius, Spånga-Tensta Christina Hermansson, Kista Majlis Karlsen, Rinkeby
Sergio Leiva, Vantör Lena K Roth, Skärholmen Per-Eric Siljestam, Spånga-Tensta Susanne Tengberg, Kista
Fokusgrupp med storstadskansliet referensgrupp; departementstjänstemän
Eva-Maria Forsberg, Näringsdepartementet Monica Fundin, Kulturdepartementet Helena Hagelroth, Näringsdepartementet Michael Hagos, Justitiedepartementet Magnus Holmén, Justitiedepartementet Annika Hägg, Utbildningsdepartementet Urban Lindberg, Socialdepartementet Eva Lönnberg, Finansdepartementet Karin Nilsson-Kelly, Socialdepartementet Niklas Sjölin, Finansdepartementet Catharina Staaf, Justitiedepartementet Ebba Wallgårda, Finansdepartementet Erik Westman, Miljödepartementet
Fokusgrupp med storstadsdelegationens referensgrupp; centrala myndigheter
Maria Ahlsved, NUTEK Jan Andersson, Brottsförebyggande rådet Inger Ashing, Ungdomsstyrelsen Björn Astborn, Rikspolisstyrelsen Anna Barklund, Statens skolverk Jan Boström, Försäkringskasseförbundet Åsa Börjesson, Socialstyrelsen Jan-Åke Brorsson, Försäkringskasseförbundet Andreas Carlgren, Integrationsverket Annica Dahl, Statens kulturråd Malin Dahlberg, Barnombudsmannen Pia Ekholm, Myndigheten för skolutveckling Ylva Eklund, Riksförsäkringsverket Suss Forssman, Myndigheten för skolutveckling
Ale Friberg, Riksförsäkringsverket Jonas Frykman, Folkhälsoinstitutet Sten Heckscher, Rikspolisstyrelsen Anna Hedborg, Riksförsäkringsverket Eva Hedman, Boverket Anna Hellstadius, Arbetsmarknadsstyrelsen Kjell Jansson, NUTEK Anders Johansson, Arbetsmarknadsstyrelsen Anita Jonsson, Statens kulturråd Rolf Jonsson, Riksidrottsförbundet Inger Liljequist, Riksantikvarieämbetet Leif Linde, Ungdomsstyrelsen Bernt Lundgren, Folkhälsoinstitutet Lena Nyberg, Barnombudsmannen Kristina Rennerstedt, Statens kulturråd Knut Rexed, Statskontoret Maria Roselius, Socialstyrelsen Andreas Sandberg, Integrationsverket Mikael Santoft, Riksidrottsförbundet Per Thullberg, Statens skolverk Ines Uusman, Boverket Kerstin Wigzell, Socialstyrelsen Gunnar Ågren, Folkhälsoinstitutet
Översikt över möten och samtal
Kontaktlista
Avseende kontakter med grupper, institutioner och enskilda under utredningens gång kring ett nationellt utvärderingsprogram.
Utredaren har arrangerat följande fokusgruppsmöten:
Kommunsamordnare från de sju kommunerna (2004-05-04)
Lokala projektledare i Malmö (2004-05-26) Lokala utvecklingsansvariga i Stockholm (2004-05-03) Medborgare från stadsdelar i Göteborg som omfattas av de lokala utvecklingsavtalen(2004-05-27) Storstadsdelegationens referensgrupp; representanter från centrala myndigheter (2004-05-05) Storstadskansliet (2004-05-06) Storstadskansliets referensgrupp; departementstjänstemän (2004-05-06) Utvärderare av insatser inom ramen för de lokala utvecklingsavtalen i Malmö (2004-04-28)
Utredaren har medverkat vid följande dialogmöten arrangerade av respektive kommun och storstadskansliet:
Södertälje (2004-02-05) Huddinge (2004-02-11) Botkyrka (2004-02-12) Göteborg (2004-02-16) Stockholm (2004-02-20) Haninge (2004-03-02)
Malmö (2004-03-08)
Utredaren haft möte med följande grupper:
Arbetslivsinstitutet i Malmö
Göteborgs utvärderargrupp Huddingegruppen Internationella gruppen Storstadskansliet Södertörns utvärderargrupp och representanter från kommunerna Storstadsdelegationens referensgrupp; representanter från centrala myndigheter Kommunsamordnargrupp i Göteborg
Utredararen har därutöver haft enskilda intervjuer och samtal med följande personer:
Susanne Ackum, IFAU Roger Andersson, forskare vid Uppsala universitet Pia Borg, kommunsamordnare i Göteborg Verner Denvall, forskare vid Lunds universitet Anders Forslund, IFAU Jonas Frykman, Folkhälsoinstitutet Jan Holmer, professor vid Arbetslivsinstitutet i Göteborg Hassan Hosseini Kaladjahi, forskare vid Mångkulturellt centrum i Botkyrka Paul Lappalainen, särskild utredare i strukturella diskrimineringskommittén Anna Lindström, Svenska Kommunförbundet Margarita Lopez Sandberg, projektledare i Malmö Bernt Lundgren, Folkhälsoinstitutet Marcus Lundgren, statlig utredare i strukturella diskrimineringskommittén Cecilia Lövgren, f.d. projektledare i Stockholm Johnny Ridemar och Eva Zoll Tegbäck, stadsledningskontoret i Stockholm Maria Roselius, Socialstyrelsen (IMS) Andreas Sandberg, Integrationsverket
Britta Ström, kommunsamordnare i Malmö Kaija Suur Nuuja, Länsarbetsnämnden, (tidigare på Integrationsverket) Joakim Tranquist, forskningsassistent vid Arbetslivsinstitutet i Malmö Evert Vedung, forskare vid Uppsala universitet Sture Öberg, ITPS
Övriga möten, konferenser och studiebesök
Studiebesök Dutch Urban Expert Center, Holland Deltagande i Bostadsseminarievecka, IBF, Gävle Medverkande vid Seminarium om storstad, FORSA-Syd, Malmö Medverkande vid seminariedag i Rinkeby
Viktiga egenskaper vid val av organisationsmodell
Text ur: Dahler-Larsen, Peter & Hanne Foss Hansen (2003) Organising Evaluation: A Review of Danida´s Evaluation Practice Compared to Practices in Other Danish Policy Areas, Appendix 1 in Lundgren, North & Rist: A Review of Evaluation in Danida (2003), Ministry of Foreign Affairs, Copenhagen, Denmark
Sammanfattning och översättning
De två danska forskarna Peter Dahler-Larsen och Hanne Foss Hansen (2003) har i sin forskning identifierat sex kriterier eller krav som kan användas som stöd för att värdera olika sätt att organisera utvärdering kring omfattande programverksamheter. Forskarna utgår dels från aktuell utvärderings- och forskningslitteratur, dels från studier genomförda kring en omfattande projektverksamhet inom Danida, den danska motvarigheten till SIDA
1. Opartiskhet och ansvarighet. Kravet förutsätter en tilltro till att man genom systematiska, empiriska metoder kan få tillgång till en opartisk dokumentation. Den utvärderade organisationen kan därmed hållas ansvarig för sina aktiviteter, effektivitet och måluppfyllelse.
2. Oberoende. Det ideala förhållandet vore att den utvärderade organisationen inte hierarkiskt kan bestämma över utvärderarna, inte utöva politiskt inflytande på hans/hennes metoder, kriterier och arbetsförhållanden och inte styra de nuvarande och framtida resurser som utvärderaren har tillgång till. Detta kompliceras dock av att det i själva uppdragsrelationen finns ett visst beroende inbyggt. För att få nödvändiga data behöver utvärderaren utveckla ett fungerande samarbete med den utvärderade organisationen. I denna dialog mellan den utvärderade
organisationen och utvärderaren skapas ofta en viss förståelse mellan parterna. Detta kan i vissa lägen te sig problematiskt då en relation till uppdragsgivaren kan påverka handlingsutrymme och perspektiv, inte minst då uppdraget utförs som en del i den pågående insatsen. Även om utvärderaren skulle vara oberoende av den utvärderade organisationen är han eller hon inte oberoende av omgivande politiska, ekonomiska och ideologiska strukturer. Oberoende kan således alltid betraktas som relativt. Kriteriet om oberoende kan i viss mån tolkas som en misstro mot eller oro för att offentliga aktörer vill främja sina egna och den egna organisationens intressen på bekostnad av samhällets intresse i stort och därför inte tillhandahålla opartiska data om sig själv.
3. Förmåga att bidra till internt lärande (erfarenhetsspridning). Detta innebär att utvärderingssystemet har en förmåga att stärka det lokala användandet av utvärderingen genom erfarenhetsinsamling. Dahler-Larsen och Foss Hansen lyfter fram fem argument som de menar bidrar till internt lärande: 1) Att utvecklingsorienterade utvärderingar (s.k. formande) med fokus på implementerings- och utvecklingsprocesser är att föredra framför slututvärderingar med sikte på värdering av effekter (s.k. summativa). 2) Utvärderingens metoder och kriterier skall uppfattas som relevanta för dem som är involverade i genomförandet av programmen (vilket enligt Dahler-Larsen och Foss Hansen oftast inte fallet med s.k. opartiska, ofta statistiska, data som är producerade på avstånd). 3) En tät och löpande dialog bör äga rum mellan intressenter och utvärderare för att öka utvärderingens relevans för dem som arbetar lokalt med programmen. 4) Om de programansvariga är indragna och deltar i utvärderingen ökar troligheten att utvärderingen faktiskt blir använd. 5) All kunskap innehåller val av perspektiv. Det är tveksamt om systematiska, empiriska metoder kan sägas leda till en opartisk dokumentation fri från värderingar. Därmed kan opartiskhet och oberoende ses som mindre viktiga krav, till förmån för förespråkare för en tämligen pragmatisk och brukarorienterad uppfattning om utvärdering.
4. Förmåga att bidra till utveckling av kunskap genom utvärdering. Dahler-Larsen och Foss Hansen menar att utvärderingar bidrar till utveckling av idéer, begrepp och teorier inom och mellan olika politiska områden. Det avgörande för kunskapsbildningen
är i vilken grad utvärderingens slutsatser omformas till idéer, begrepp och teorier av abstrakt och generell karaktär. I exempelvis s.k. teoribaserad utvärderingsmodell utgår man från en teoretisk hypotes om programeffekter som stöd för att förklara hur en bestämd intervention leder till ett bestämt förväntat resultat under olika tidsperioder och under vilka förutsättningar det är troligt att dessa resultat förekommer se vidare (Dahler-Larsen/Foss Hansen). Därmed kan man se det som angeläget att ett utvärderingssystem kan länkas samman med existerande teorier på området och på motsvarande sätt tillhandahålla resultat som bidrar till en bredare utveckling av idéer, begrepp och teorier.
5. Förmåga att behålla och utveckla utvärderingskompetens. Detta beror i hög grad på hur utvärderingsprogrammet är utformat.
6. Förmåga att skräddarsy individuella utvärderingar, så att utvärderingen passar till en bestämd aktivitet, en bestämd målsättning och en bestämd lokal kontext. Här uppmärksammas risken att fastna i standardlösningar (recept) och rutiner, vilket stärker tendensen att reagera på olika problem med mer likartade lösningar än problemets art egentligen ger anledning till. Ett sådant bestämt angreppssätt leder långtifrån alltid till ett bästa metodmässiga val i alla lägen med hänsyn till variationen i de utvärderingsmässiga problem som ska lösas. Här kan det ses som en kvalitetsaspekt att utvärderingsprogrammet stödjer att olika utvärderingsproblem blir mött med olika angreppssätt.
Källförteckning
Andersson, Roger (1997). Från projekt till process. Nationell utvärdering av statens insatser i utsatta bostadsområden. (IN97/1507/IE) Regeringskansliet, Inrikesdepartementet.
Brante, Thomas & Eva Fasth (1982). Termer i sociologi. Innebörd och sammanhang. Libers förlag.
Dahlberg, Magnus & Evert Vedung (2001). Demokrati och brukarutvärdering. Studentlitteratur, Lund.
Dahler-Larsen, Peter & Hanne Foss Hansen (2003). Organising Evaluation: A Review of Danida´s Evaluation Practice Compared to Practices in Other Danish Policy Areas. Appendix 1 in Lundgren, North & Rist: A Review of Evaluation in Danida (2003). Ministry of Foreign Affairs, Copenhagen, Denmark.
Denvall, Verner (2001). Viljen vi veta, viljen vi förstå… Kunskapsbildning inom socialtjänsten. Rapport 2001:2, Blekinge FoU-enhet.
Ds 1998:57. Kommittéerna och bofinken. Kan en kommitté se ut hur som helst? Regeringskansliet, Finansdepartementet. Rapport till ESO (Expertgruppen för studier i offentlig ekonomi). Även separat upplaga med bilagor.
Furubo, Jan-Eric (2004). Utvärdering i Sverige. Inledningsanförande vid SVUF:s (Svenska Utvärderingsföreningens) konferens april 2004.
Furubo, Jan-Eric, Ray C. Rist & Rolf Sandahl, (2002). International Atlas of Evaluation. New Brunswick, NJ.
GHK (2003). Ex-post Evaluation Urban Community Initiative (1994–1999). Final report. (finns att hämta på: www.europa.eu.int/comm/regional_policy/urban2/documents_en.htm)
Halvorsen, Knut (1992). Samhällsvetenskaplig metod. Studentlitteratur, Lund.
Haraldsson, Jennie (2004). Självvärdering som utvärderingsmetod inom Storstadssatsningen i Göteborg. Institutet för arbetsvetenskap, Göteborgs universitet.
Hauberger m.fl. (2002). Lokala investeringsprogram – en förstudie inför utvärderingen. Umeå Centre for Evaluation Research, Umeå universitet.
Hemström, Maria & Sara Martinson (2002). Att följa upp och utvärdera arbetsmarknadspolitiska program. Forskningsrapport 2002:1, IFAU (Institutet för arbetsmarknadspolitisk utvärdering), Uppsala.
Holmer, Jan (2003). Självvärdering som stöd för personal- och verksamhetsutveckling. Idéer, exempel, vägledning, forskning. Institutionen för arbetsvetenskap, Göteborgs universitet.
Huddinge kommun (2004). Förslag till nationellt erfarenhets- och kunskapsutbyte inom ramen för storstadsarbetet (Slutrapport från arbetsgruppen för att utveckla metoder och instrument för nationellt erfarenhetsutbyte och kunskapsöverföring inom ramen för de lokala utvecklingsavtalen) Huddinge kommun. (Ju2003/3863/STO)
Integrationsverket (2002). Förort i fokus – interventioner för miljoner. Integrationsverkets rapportserie 2002:01, Integrationsverket, Norrköping.
Integrationsverket (2002). På rätt väg? Slutrapport från den nationella utvärderingen av storstadssatsningen. Integrationsverkets rapportserie 2002:05, Integrationsverket, Norrköping.
Lahti Edmark, Helene (2003). Fängslande bilder, fängslande verklighet. Om utsatta bostadsområden och interventioner. Meddelanden från Socialhögskolan 2003:5, Lund. (Tryckta exempel via lenlaed@hotmail.com, pdf-version via www.soch.lu.se)
Molander, Per (2001-10-01). En stärkt utvärdering av svensk bistånds- och utvecklingspolitik. Arbor HB, Stencil.
Nordiska Ministerrådet (1997). Boligpolitik mod segregation. TemaNord 1997:544. Nordisk Ministerråd, Köpenhamn.
Prop. 1997/98:165. Utveckling och rättvisa en politik för storstaden på 2000-talet. Storstadspropositionen.
Regeringens skrivelse 2003/04:49. Lokalt utvecklingsarbete i storstäderna.
Sahlin, Ingrid (red) (1996). Projektets paradoxer. Studentlitteratur, Lund.
Schulman, Micaela (2000). Stadspolitik och urban forskning i Norden. Nordregio. (www.nordregio.se /publikationer)
Schwandt, Thomas A. (2004). The Centrality of Practice to Evaluation. OH-bilder presenterade på SVUF:s (Svenska Utvärderingsföreningens) konferens april 2004.
SOU 1970:34. Fattigkriget i USA, i Svenska folkets inkomster. Betänkande del 1. Bilaga 5. Låginkomstutredningen, Stockholm.
SOU 1998:25. Tre Städer: En storstadspolitik för hela landet. Slutbetänkande av Storstadskommittén.
SOU 1990:36. Storstadsliv, rika möjligheter – hårda villkor. Storstadsutredningens slutbetänkande.
SOU 2001:96. En ny svensk politik för global utveckling. Kommittén om Sveriges politik för global utveckling.
Statskontoret (2002). Utvärdering – Av vem och till vad? En utvärdering av Regeringskansliets utvärderingsresurser. Statskontoret 2002:20. Statskontorets publikationsservice, Stockholm. (www.statskontoret.se )
Stockholms kommun (2004). Kartläggning av storstadsrelaterat erfarenhetsutbyte. (Slutrapport från arbetsgruppen med uppdrag att kartlägga internationellt erfarenhetsutbyte inom ramen för de lokala utvecklingsavtalen), Stockholms kommun (Ju2003/4070/STO).
Tranquist, Joakim (2001). Samverkan med individen i fokus. En processutvärdering av Arbets- och utvecklingscentra i Malmö. Arbetslivsinstitutet Syd, Malmö.
Vedung, Evert (1991). Utvärdering i politik och förvaltning. Studentlitteratur, Lund.
Vedung, Evert (2004). Utvärderingsböljans former och drivkrafter. Promemoria presenterad på SVUF:s (Svenska Utvärderingsföreningens) konferens 040423.
Wibeck, Victoria (2000). Fokusgrupper: Om fokuserade gruppintervjuer som undersökningsmetod. Studentlitteratur AB, Sverige.
Aktuella adresser på internet
www.dutchuec.nl Dutch Urban Expert Center www.glesbygdsverket.se Glesbygdsverket www.ifau.se Institutet för arbetsmarknadspolitisk utvärdering www.ieh.se Institutet för ekologisk hållbarhet www.itps.se Institutet för tillväxtpolitiska studier www.naturvardsverket.se Naturvårdsverket www.norden.org Nordiska ministerrådet www.sida.se SIDA www.sos.se Socialstyrelsen www.statskontoret.se Statskontoret www.storstad.gov.se Storstadskansliet