Effektutvärdera EU-projekt

Ledningsstaben (Internationella enheten) samordnar och stödjer Arbetsförmedlingens arbete med EU-fonder. Projekt som finansieras via fonderna bidrar till myndighetens förändrings- och förnyelsearbete. Arbetsförmedlingen prioriterar de EU-fonder som omnämns i regleringsbrevet, det vill säga Europeiska socialfonden (ESF), Europeiska globaliseringsfonden (EGF) samt Europeiska regionala utvecklingsfonden (ERUF). Internationella enheten stödjer och samarbetar med utsedda kontaktpersoner i marknadsområdena och vid avdelningarna.

Du som startar ett EU-projekt måste upphandla en oberoende utvärdering som visar vilka resultat projektet uppnått. Målsättningen är att fler av Arbetsförmedlingens projekt som startas ska effektutvärderas. Genom att mäta effekterna av ditt projekt får vi fram evidens som kan ligga till grund för beslut om framtida implementering, det vill säga om projektets arbetsmetoder och insatser bör bli en del av den ordinarie verksamheten. För att kunna öka antalet projekt som utvärderas inom myndigheten har Arbetsförmedlingen tagit fram en modell för effektutvärdering.

Här beskriver vi kortfattat den modell för effektutvärdering som tagits fram inom ramen för projektet Evidensbaserade EU-fondsprojekt 2014-2020. Modellen är framtagen gemensamt av Internationella enheten, Enheten Forskning och utvärdering, Enheten Statistik och Upphandlingsavdelningen. Modellen beskriver hur effektutvärdering planeras och genomförs, samt ansvarsfördelningen mellan de som driver ett EU-finansierat projekt och berörda stödfunktioner på Arbetsförmedlingen. De olika delarna i modellen förtydligas i en intern tjänstebeskrivning, som Internationella enheten ansvarar för att kommunicera. Modellen tillämpas på de projekt där Arbetsförmedlingen är projektägare och består av fyra faser: Ansökan, Analys, Genomförande och Implementering. Innan stegen i modellen blir aktuella bör projekten besvara frågorna i frågeformuläret som finns på hemsidan www.projekteffekter.se.

Generella utvärderingsfrågor

Modellens generella utvärderingsfrågor syftar dels till att ge en bild av vad som krävs för att genomföra en effektutvärdering, dels till att ge Enheten Forskning och utvärdering kunskap om projektets förutsättningar för att utvärderas. Frågorna berör centrala faktorer såsom målgrupp, insats, genomförande, utfall och dokumentation. För att få en mer ingående förklaring till de aspekter som är viktiga för effektutvärdering kan ni börja med att bekanta er med våra Generella utvärderingsfrågor (PDF)

Besvara vårt frågeformulär

Hur ser möjligheterna ut att effektutvärdera ert EU-projekt? Formuläret är ett bra sätt att gå igenom de områden som är viktiga för effektutvärdering. Efter att ni besvarat frågeformuläret får ni direkt feedback på era svar. Till frågeformuläret!

Arbetsförmedlingens modell för effektutvärdering av EU-finansierade projekt

Modellen vänder sig till projekt där Arbetsförmedlingen är projektägare och består av fyra faser, Ansökan, Analys, Genomförande och Implementering. Ett viktigt inslag i modellen är de generella utvärderingsfrågorna. Alla projekt måste gå igenom och besvara frågorna. Svaren skickas sedan till kontaktpersonerna på Internationella enheten.

Ansökan

Arbetet utifrån modellen påbörjas när Internationella enheten får kännedom om att det finns en projektidé där Arbetsförmedlingen är tänkt att vara projektägare för ett EU-finansierat projekt. Internationella enheten för en dialog med projektets initiativtagare samt med den eller de berörda kontaktpersoner för ESF-frågor som finns på huvudkontoret och på regional nivå ute i landet. Under dialogen ska det framgå vad det tilltänkta projektet har för syfte, vilka metoder (dvs. insatser eller arbetssätt) som är aktuella, samt möjliga upplägg för utvärdering. På den här sidan kan ni läsa mer om våra pågående och redan genomförda effektutvärderingar.

I denna fas ger Internationella enheten information om vad som kännetecknar en effektutvärdering och vad det innebär för ett projekt. Projekt som Arbetsförmedlingen äger eller bidrar till ska genomföras i enlighet med myndighetens målbild 2021. Vidare ska projektets innehåll stämmas av med berörd sakavdelning på Arbetsförmedlingen.

Denna hemsida, www.projekteffekter.se, är både ett verktyg för att sprida information om effektutvärdering generellt och ett stödmaterial som beskriver hur en effektutvärdering går till i praktiken. De generella utvärderingsfrågor som finns i högerspalten på den här sidan ger en första bild av möjligheterna att utvärdera ett projekt. Svaren på frågorna skickas till kontaktpersonen på Internationella enheten. Om ett projekt därefter bedöms vara möjligt att effektutvärdera går det vidare till nästa steg i modellen.

Redan i ansökningsfasen bör arbetet med en plan för implementering i större skala påbörjas. I denna plan identifieras mottagare av resultaten från utvärderingen; det upprättas också en beskrivning av hur projektets arbetsmetoder ska kunna bli en del av ordinarie verksamhet i det fall utfallet är positivt. Plan för implementering bör utformas med hjälp av stödmaterialet för Införandeplan som finns på Arbetsförmedlingens intranät Vis.

Analys

Nu har förvaltande myndighet, till exempel Svenska ESF-rådet, beviljat projektet. Förvaltande myndighet kan i projektbeslutet ha formulerat krav som påverkar utvärderingen av projektet. Det kan därför vara bra att känna till att information om grundläggande kravbild för utvärdering finns på den förvaltande myndighetens hemsida. I analysfasen konkretiserar projektet också sin projektplan och upplägget för utvärdering fastställs.

Projektägaren avropar därefter en effektutvärdering utifrån Arbetsförmedlingens ramavtal för effektutvärdering. Ramavtalet ägs av Internationella enheten och förvaltas tillsammans med Enheten Upphandling som båda stödjer projektägaren i upphandlingsprocessen. Även på vår hemsida kan ni läsa mer om upphandling och få vägledning vid avrop, se mer under fliken Vägledning vid avrop som finns i menyn ovan. Enheten Forskning och utvärdering bistår med att formulera utvärderingsfråga och upplägg för genomförandet av utvärderingen.

Efter att avropet är genomfört och ett tilldelningsbeslut finns har projektägaren en dialog med den avropade leverantören. I detta skede formulerar den upphandlade leverantören en utvärderingsplan utifrån uppdragsbeskrivningen. Projektet uppdaterar även sin Plan för implementering.

Genomförande

Effektutvärderingen sker parallellt med projektets genomförande, en tidsperiod som oftast är minst ett par år. Projektet följer sin projektplan och utvärderingsplan. För att säkerställa att effektutvärderingen genomförs på rätt sätt har projektet en nära dialog med Internationella enheten och Enheten Forskning och utvärdering, den upphandlade leverantören av utvärdering har även den en tät dialog med Enheten Forskning och utvärdering. Det finns också stöddokument på www.projekteffekter.se och stödfunktioner på Internationella enheten, Enheten Forskning och utvärdering och kontaktpersoner för EU-fonder. Utvärderarna rapporterar till projektet och dess styrgrupp i enlighet med projektets utvärderingsplan.

När projektet pågått en tid och börjar närma sig slutet av projektgenomförandet närmar sig även slutet för effektutvärderingen. Leverantören av utvärdering har en fortsatt tät dialog med Enheten Forskning och utvärdering i syfte att garantera kvalitén i utvärderingen. Leverantören lämnar i detta stadie in en preliminär resultatrapport av utvärderingen i enlighet med utvärderingsplanens tidsplan. Resultatrapporten är preliminär i syfte att ge möjlighet för projektägaren att efterfråga eventuell ytterligare information som ska finnas med i resultatrapporten innan den fastställs i effektutvärderingens avslutningsfas.

Planen för implementering uppdateras återigen utifrån projektets erfarenheter och det bör finnas tydliga indikationer på huruvida projektet är möjligt att implementera i ordinarie verksamhet eller inte.

Implementering

I den här fasen slutrapporteras projektet till den förvaltande myndigheten som finansierat projektet. Det ska framgå i slutrapporteringen om, och på vilket sätt, resultat har implementerats i ordinarie verksamhet.

Utvärderingsleverantören har fastställt slutrapporten och en slutlig Plan för implementering har upprättats. I planen finns en bedömning, riktat till en tydlig mottagare, om projektets insats (eller insatser) är möjliga att införa i större skala. Avslutningsvis fattar behörig företrädare på Arbetsförmedlingen beslut om den eller de insatser som effektutvärderats ska införas som en del i ordinarie verksamhet eller inte.