Vejledning om Evalueringsmuligheder og priser for projekter uden EU-midler

I det følgende gennemgår vi, hvilke udgifter dit støttede projekt skal forvente til evaluering, hvordan processen og faktureringen for evalueringsydelser foregår, samt hvilke tilkøbsmuligheder du har eller kan blive pålagt. 

For alle projekter, der modtager over 3 mio. kr. i tilsagn, er midtvejsevalueringen obligatorisk. Tilsagnsmodtager afholder udgiften på 58.000 kr. ekskl. moms til midtvejsevalueringen. Udgiften er støtteberettiget under kontoen ”evaluering” og skal indgå i projektets budget. 

Rammeaftalen om fælles ekstern evaluator1 af erhvervsfremmeprojekter indeholder derudover en række muligheder for tilkøb af ekstra evalueringsydelser. Disse kan tilkøbes af Erhvervsstyrelsen eller tilsagnsmodtager. Ønsker en tilsagnsmodtager at bruge tilkøb, skal der søges herom. Brug af tilkøb kræver, uanset kontoplan, altid godkendelse fra Erhvervsstyrelsen. Hvorvidt Erhvervsstyrelsen eller tilsagnsmodtager opkræves for evalueringsydelsen, afhænger af, hvem der har bestilt ydelsen.

• Tilsagnsmodtager betaler, hvis tilsagnsmodtager på eget initiativ søger om og af
  Erhvervsstyrelsen får godkendelse til at bruge tilkøb. Udgiften hertil er støtteberettiget under kontoen ”evaluering”, såfremt den indgår i det eksisterende budget, eller der foretages en budgetændring, hvis tilkøbet bestilles undervejs i projektperioden.2 
• Erhvervsstyrelsen betaler, hvis Erhvervsstyrelsen i annonceringsmaterialet eller i forbindelse med udstedelse af tilsagn stiller krav om, at et projekt skal have en udvidet evaluering via tilkøb.

Erhvervsstyrelsen vil tage stilling til, om en ansøgning om tilkøb er relevant og nødvendig for et projekt og kan give afslag, hvis det vurderes ikke at være tilfældet. Hvis der gives afslag, kan tilkøbsmuligheden ikke benyttes, og udgiften hertil er dermed ikke støtteberettiget. 

Erhvervsstyrelsen indmelder alle projekter, der skal have foretaget en obligatorisk midtvejsevaluering eller andre evalueringsydelser til evaluator. Indmeldingen af det enkelte projekt sker kort efter tilsagnsudstedelse. Godkendes en ansøgning om brug af tilkøb, informerer Erhvervsstyrelsen også evaluator herom. 1-2 måneder efter udstedelse af tilsagn vil tilsagnsmodtager blive indkaldt til et opstartsmøde med evaluator og evt. sagsbehandler hos Erhvervsstyrelsen. I forbindelse med indkaldelsen vil tilsagnsmodtager blive orienteret om den videre proces vedrørende evaluering. På opstartsmødet drøftes et evalueringsoplæg udarbejdet af evaluator, herunder tidspunktet for de aftalte evalueringsydelser. Evaluator er herefter ansvarlig for at varetage dialogen med projektet og igangsætte evalueringsaktiviteter. Skal et projekt have en udvidet opfølgning eller intern workshop jf. nedenstående, aftaler tilsagnsmodtager og evaluator indbyrdes en tidsplan herfor samt afklarer det nærmere indhold af ydelsen. Sagsbehandler skal orienteres om, hvordan tilkøbet påtænkes anvendt. 

Faktureringen for evalueringsydelser foregår direkte fra evaluator til tilsagnsmodtager. Eneste undtagelse hertil er som nævnt tilkøb bestilt af Erhvervsstyrelsen. Faktureringen falder i rater af to (tre, hvis der er slutevaluering af projektet):

• 1. rate (25 pct.), når projektets evaluerings- og læringsdesign er afleveret og godkendt.
• 2. rate (75 pct.), når midtvejsevaluering er afleveret og godkendt (gælder kun projekter, der alene midtvejsevalueres). For projekter, der både midt- og slutevalueres, udgør 2. rate alene 40 pct.
• 3. rate (restrate på 35 pct.), for projekter, der både midt- og slutevalueres, når slutevaluering er afleveret og godkendt.

Fakturering for et tilkøb finder sted, når tilkøbet er færdigleveret. 

Erhvervsstyrelsen kan stille krav om eller tilsagnsmodtager kan søge om brugen af slutevaluering eller følgende øvrige tre tilkøbsmuligheder: 

• Udvidet opfølgning
• Intern workshop
• Udvidet dataindsamling

Eftersom antallet af timer for projektet til brug hos evaluator er relativt begrænset for tilkøbet ”udvidet opfølgning”, anbefales det, at der søges om dobbelt brug af denne ydelse, såfremt tilsagnsmodtager ønsker at søge om brug af dette tilkøb. Det samme gør sig gældende for tilkøbet ”intern workshop”, hvor det dog bør overvejes at kombinere en workshop med tilkøbet af en ”udvidet opfølgning”. 

Slutevaluering

En evaluering ved projektperiodens slutning kan bidrage til et fyldestgørende billede af projektets værdiskabelse. Både over for projektets målgruppe og for andre interessenter. Slutevalueringen kan desuden bidrage til en validering og ‘proof-of-concept’ af selve projektdesignet, hvis projektet ønskes skaleret eller videreført i anden kontekst. Slutevalueringen følger samme format som midtvejsevalueringen. 

Prisen for at få en slutevaluering tilføjet til den obligatoriske midtvejsevaluering er 29.000 kr. ekskl. moms.

Udvidet opfølgning

Med en udvidet opfølgning er det muligt at engagere evaluator yderligere i evalueringen. Tilkøbet indeholder 10 timers sparring med evaluator. Det kan være sparring med evaluator om implementering af evalueringens anbefalinger, om projektets udfordringer, om projektets egen dataindsamling m.v. Evaluator kan således medvirke i projektet som ‘kritisk ven’ for projektledelsen med et eksternt blik og eventuelt præsentere evalueringen for projektets styregruppe og indgå i dialog med denne.

De 10 timer kan anvendes på forskellige måder afhængigt af tilsagnsmodtagernes behov, og opfølgningen kan både være relevant forud for midtvejsevalueringen og efter midtvejsevalueringen. Timingen og genstanden for den udvidede opfølgning afklares i dialog med tilsagnsmodtager, men evaluator har selv fremlagt følgende måder, hvorpå de kan understøtte projektet via udvidet opfølgning:

1. Løbende at sparre med tilsagnsmodtager om gennemførslen af løbende monitorering og opfølgning med projektdeltagerne. Her engagerer evaluator sig mere i at understøtte, at tilsagnsmodtager får tænkt en løbende dataindsamling naturligt ind i projektets aktiviteter – fx ved at sparre om, hvad ændringer i projektet betyder for setup’et, eller ved at designe skabeloner m.v., som tilsagnsmodtager kan anvende i opfølgningen. 

2. Løbende at sparre med tilsagnsmodtager om, hvilke implikationer indsamlede input har for projektets aktiviteter. Her bliver indsamlede data fra tilsagnsmodtager og for så vidt også midtvejs- og/eller slutevalueringen genstand for fælles refleksion. 

3. Løbende at sparre med tilsagnsmodtager om fremdriften i projektet. Her går evaluator i dialog med tilsagnsmodtager om udfordringer, når de opstår. Dette kan fx være udfordringer relateret til projektets kritiske succesfaktorer, som det er godt at få adresseret hurtigt, og hvor tilsagnsmodtager har brug for sparring. 

4. At deltage i udvalgte projektaktiviteter eller partnermøder. Når evaluator deltager i aktiviteter, får evaluator en føling med dynamikkerne og kan mærke, hvordan de virker. På den baggrund får evaluator fx mulighed for at give tilsagnsmodtager ekstern sparring på, hvordan en problemstilling i partner- eller deltagergruppen kan håndteres. Altså kan evaluator være fluen på væggen og give feedback og input til forbedringer. 

5. At sparre med tilsagnsmodtager om implementeringen af konkrete anbefalinger fra 
midtvejsevalueringen. Gennem denne sparring får evaluator mulighed for at gå mere i dybden med tilsagnsmodtager, end hvad der ellers er muligt. Sparringen kan bl.a. basere sig på erfaringer fra andre projekter samt kvalitative input fra interviewede aktører. 

6. Deltagelse på styregruppemøder m.v. Evaluator kan her deltage på eksempelvis et styregruppemøde, hvor evalueringens resultater fremlægges af evaluator som neutrale parter og drøftes i projektkredsen. 

Prisen for en udvidet opfølgning er 15.000 kr. ekskl. moms. Søges der om dette tilkøb, anbefales det, at der søges om to gange brug af tilkøbet jf. ovenstående. 

Intern workshop

En intern workshop faciliteret af evaluator med fokus på at tilpasse projektet ud fra anbefalingerne i evalueringen. Formålet med workshoppen er at skabe en fælles forståelse og konsensus hos projektpartnerne om justeringer af projektet, mens en ekstern facilitator muliggør, at projektlederen kan indgå i drøftelserne på lige fod med projektpartnerne. 

Indholdet af workshoppen afhænger af tilsagnsmodtagernes behov og vil mest oplagt blive gennemført i kølvandet på en midtvejs- eller slutevaluering. Selvom både timingen og indholdet af workshoppen defineres i dialog med tilsagnsmodtager, foreslår evaluator, at workshoppen fx kan fokusere på følgende temaer: 

1. Organiseringen og samarbejdet i projektet: Hvad kan tilsagnsmodtager og projektpartnere gøre for at skabe en mere klar rollefordeling og kommunikation i projektet? 

2. Rekruttering: Hvad kan tilsagnsmodtager og projektpartnerne gøre for at adressere evt. 
rekrutteringsvanskeligheder? 

3. Virkemidler: Hvilke erfaringer har de enkelte projektpartnere hver især gjort sig om, hvad der virker godt for hvilke dele af målgruppen og under hvilke forhold? 

4. Outcome og effekt: Hvad kan tilsagnsmodtager og projektpartnere gøre for i højere grad at understøtte, at deltagerne omsætter styrkede forudsætninger – fx øget viden og netværk – til konkrete forandringer og adfærdsændringer? Hvordan kan projektaktiviteter tilrettelægges, så synergi og brobygning til andre erhvervsfremmeaktiviteter styrkes? 

5. Forankringen af projektet: Hvad kan tilsagnsmodtager og projektpartnere gøre for at sikre, at de skabte erfaringer, værktøjer, metoder m.v. bliver videreført og anvendt fremadrettet? 

6. Monitorering og opfølgning: Hvad kan tilsagnsmodtager og projektpartnere gøre for i endnu højere grad at indfange aktiviteternes værdiskabelse – fx udvikling af en modenhedstrappe m.v.? 

Tilkøbet af en workshop omfatter et virtuelt møde med tilsagnsmodtager om formål og indhold af workshoppen, udarbejdelsen af en enkel drejebog (som afklares med tilsagnsmodtager), gennemførsel af en fysisk workshop af op til tre timers varighed og en kortfattet skriftlig opfølgning på workshoppen, som tilsagnsmodtager og evt. partnerkredsen kan arbejde videre med. Tilsagnsmodtager er ansvarlig for logistikken om lokaler, evt. forplejning og at få inviteret de relevante deltagere. Hertil kommer forberedelse, herunder typisk præsentation af pointer fra en evaluering. I forberedelsen vil evaluator lægge vægt på at inddrage erfaring og eksempler på god praksis fra andre projekter.

Prisen for en intern workshop er 15.000 kr. ekskl. moms. Søges der om dette tilkøb anbefales det, at der også søges om et enkelt tilkøb af ”udvidet opfølgning” jf. ovenstående. 

Udvidet dataindsamling

Tilkøbet indeholder forskellige muligheder for at supplere standardevalueringen med ekstra data. Det kan være via ekstra interviews med deltagere eller andre aktører, men kan også være en udbygget spørgeskemaundersøgelse med ekstra opfølgning, tilkøbet kan ligeledes bruges på inddragelse af litteratur. De forskellige datakilder kan kombineres. 

Vælges ekstra interviews kan disse anvendes på forskellige måder. For det første kan interviewene bruges til, at evalueringen baseres på flere input fra projektets deltagere, end det ellers ville være muligt, hvilket særligt kan bidrage til at styrke grundlaget for at vurdere evalueringsparameteret outcome og effekt. Dette kan enten ske ved, at evaluator ifm. midtvejs- eller slutevalueringen gennemfører flere interviews, eller at evaluator overtager en del af den løbende monitorering og opfølgning med deltagerne fra tilsagnsmodtager. Sidstnævnte indebærer, at tilsagnsmodtager løbende giver besked, når en deltager har færdiggjort et forløb, hvorefter evaluator gennemfører interviewet. Hvis denne model vælges, skal tilkøbet helst finde sted tidligt i projektperioden. 

Flere interviews kan særligt være relevant i større projekter med mange deltagere, og hvor det er vigtigt at differentiere vurderingerne på flere typer af målgrupper. For det andet kan interviewene bruges til at interviewe relevante eksterne aktører for projektet, bl.a. med henblik på at understøtte forankringen af projektet eller sammenhængen til øvrig erhvervsfremme. Hvis den udvidede dataindsamling alene anvendes til interviews, vil det inden for enhedsprisen for tilkøbet være muligt at gennemføre op til syv ekstra fokusgruppeinterviews (med 4-5 deltagere) eller 16 individuelle interviews. 

I nogle tilfælde vil det give mening, at den udvidede dataindsamling ikke udelukkende anvendes til at gennemføre flere interviews. Fx kan det i nogle projekter give mening, at de ekstra ressourcer anvendes til i højere grad at bringe relevant litteratur ind i evalueringen, eller at spørgeskemaundersøgelsen blandt projektdeltagerne udbygges. Spørgeskemaundersøgelsen kan fx udbygges ved at differentiere mellem forskellige målgrupper, hvis der er behov for dette. Det kan også være relevant at tilkøbe telefonisk opfølgning, hvis det i nogle projekter er vigtigt med en meget høj svarprocent. Det sidste kan fx være relevant, hvis projektejer ønsker en solid belysning af variationer i effekterne på tværs af forskellige målgrupper. I disse tilfælde tilrettelægges opgaven i samarbejde med tilsagnsmodtager, så den kan rummes inden for den tilbudte enhedspris. Der kan naturligvis også aftales kombinationer af ovenstående, da det samlede timeforbrug fastlægges ud fra den gennemsnitlige timepris for evalueringerne. Der udarbejdes et budget for tilkøbet, hvor aktiviteter og timeforbrug fremgår.

Prisen for en udvidet dataindsamling er 20.000 kr. ekskl. moms.