FOU-RAPPORT FRÅN RIKSANTIK VARIEÄMBE TE T Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin En studie av anbudsförfaranden genomförda under åren 2008–2009 Jan Ottander FOU-RAPPORT FRÅN RIKSANTIK VARIEÄMBE TE T Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin En studie av anbudsförfaranden genomförda under åren 2008–2009 Jan Ottander Riksantikvarieämbetet Box 5405, SE-114 84 Stockholm Tel 08-5191 8000 Fax 08-660 72 84 www.raa.se riksant@raa.se Riksantikvarieämbetet, 2012 Författare: Jan Ottander Omslag: Schaktning pågår vid arkeologiska undersökningar längs väg 288, Uppland 2010. Foto: Eva Skyllberg. Grafisk form och layout: Lena Troedson ISBN: 978-91-7209-603-5 (pdf), 978-91-7209-604-2 (POD) Rapporten Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin är finansierad med hjälp av Riksantikvarieämbetets sektorsforskningsanslag, FoU. Förord Det behövs generella metoder för kvalitetssäkring av uppdragsarkeologin, det gäller i synnerhet de stora arkeologiska undersökningar som är föremål för anbudsförfaranden. Detta FoU-projekt är en direkt fortsättning från en tidigare förstudie om kvalitetskriterier och kostnadseffektivitet i uppdragsarkeologin. Studien har genomförts av Jan Ottander, Länsstyrelsen Västra Götaland och är en analys av anbudsförfaranden genomförda under åren 2008–2009. Anbudsutvärdering är ett svårt och tidskrävande moment som har avgörande betydelse för kvaliteten i de arkeologiska undersökningarna. Vid utvärderingen av anbud används modeller som inte från början är anpassade för det uppdragsarkeologiska området utan istället framtagna för upphandling av helt andra typer av varor och tjänster. Det finns dessutom olika sätt att tillämpa modellerna. Rapporten redovisar en utvärdering av de metoder som används av länsstyrelserna för anbudsutvärdering. Analyserna som genomförts i projektet och som redovisas i den här rapporten kan medföra att det blir lättare att identifiera och värdera de faktorer som kan resultera i arkeologiska undersökningar av god kvalitet. Förhoppningen är att studien ska öka kunskapen om utvärdering av anbud inom uppdragsarkeologin och ge medvetenhet om metodernas styrkor och svagheter. För framförda åsikter och sakupplysningar svarar författaren. Inger Liliequist riksantikvarie Riksantikvarieämbetets sektorsforskningsanslag, FoU, syftar till att utveckla kunskapsuppbyggnad och stimulera till forskning om kulturarvet och kulturmiljön. FoU-anslaget används för att stödja forskningsprojekt som befinner sig i mötet mellan kulturpolitik, kunskapsuppbyggnad om kulturmiljöer samt de vetenskapliga disciplinerna. Arkeologiska undersökningar längs E22 i Blekinge 2011 (lokal 89). Foto: Carolina Andersson. Innehåll Förord  3 Bakgrund  7 1.  Sammanfattning  11 2.  Inledning  13 2.1  Verkställighetsföreskrifter och allmänna råd  13 2.2  Metodbeskrivning  14 2.3  Avgränsningar   16 3.  Utvärdering av anbud 2008 och 2009  17 3.1  Utvärderingsmodeller   18 3.2  Genomgång av anbudsförfaranden  19 4.  Intervjuer  35 4.1  Bakgrund till intervjumomentet  35 4.2  Sammanställning av resultatet  36 5.  Analys och slutsatser  53 5.1  Tidsaspekter vid anbudsförfarande  53 6.  Utvärderingsmodeller  61 6.1  Lagen om offentlig upphandling  61 6.2  Utvärderingsmodeller  62 7.  Modelltest   73 7.1  Test 1 – Poängvägningsmodellen  73 7.2  Redogörelse – Kvalitetsvärderingsmodellen  82 7.3  Test 2 och 3 – Kvalitetsvärderingsmodellen   83 7.4  Sammanfattning av modelltesterna 1, 2 och 3  105 8.  Slutsatser   107 9.  Referenser  113 9.1  Litteratur  113 9.2  Studerade anbud  114 9.3  Projektledning  116 9.4  Referenspersoner  116 10.  Bilagor  117 10.1  Bilaga 1. Intervjufrågor till Länsstyrelserna  117 10.2  Bilaga 2. Intervjufrågor till Undersökarna  119 Arkeologiska undersökningar längs väg 288 i Uppland 2010. Foto: Eva Skyllberg. Bakgrund Föreliggande rapport är resultatet av ett FoU-projekt som utvärderar uppdragsarkeologins anbudsförfaranden. Projektet är ett led i Riksantikvarieämbetets samlade arbete med att utveckla kvaliteten inom uppdragsarkeologin. De olika insatserna syftar bland annat till att ge underlag för arbetet med vägledning till Kulturminneslagen (KML). Här behöver göras formuleringar av vad god kvalitet i uppdragsarkeologin innebär och hur arbetet bör bedrivas för att uppnå denna. Andra insatser i detta arbete är olika seminarier och de nationella konferenserna om kvalitet i uppdragsarkeologin (2009) och rapportering och dokumentation (2011). Under 2009 pågick ett FoU-projekt med syftet att definiera kriterier för bedömning av kvalitet inom uppdragsarkeologin (Kritz 2010). Ett annat FoU-projekt som genomfördes 2008 berör i viss mån detta område och syftade till att ta fram en modell för utformandet av handlingsprogram för uppdragsarkeologin. Riksantikvarieämbetet har sedan arbetat med ett inriktningsdokument om handlingsprogram för uppdragsarkeologin. FoU-projekten ger möjlighet till fördjupning, vilket ger stort värde för kvalitetsarbetet. De ger också underlag till kommande utvärderingar av uppdragsarkeologins kvalitet, måluppfyllelse och kostnadseffektivitet. I förlängningen kan resultaten även ligga till grund för studier om uppdragsarkeologins samhällsnytta, det vill säga i vilken utsträckning verksamheten uppfattas som nyttig eller betydelsefull av samhället. Sedan revideringen av Riksantikvarieämbetets föreskrifter för uppdragsarkeologi (KRFS 2007:2) har antalet anbudsförfaranden per år ökat markant inom uppdragsarkeologin. Många länsstyrelser har under 2008 och 2009 gjort sitt första anbudsförfarande. De cirka 30 anbudsförfaranden som görs årligen kan tyckas fåtaliga i relation till de närmare 1200 beslutade arkeologiska undersökningarna men de står för närmare hälften av den sammanlagda kostnaden för uppdragsarkeologin. Anbudsförfaranden har bland länsstyrelsens handläggare ofta setts som en tidskrävande process där det finns ett riskmoment i möjligheten att undersökare som inte tilldelats undersökningen överklagar länsstyrelsens beslut. Ett överklagande medför att processen förlängs, ofta med minst ett halvår. Detta är naturligtvis en oönskad situation för alla inblandade. Från länsstyrelsehåll har därför efterfrågats stöd vid utvärdering och bedömning av undersökningsplaner och en analys av metoder för utvärdering vid anbudsförfaranden. Länsstyrelsen har ansvar för att de arkeologiska undersökningar som utförs är av vetenskapligt god kvalitet och genomförs till en kostnad som inte är högre än motiverat (2 kap. 13§ KML). Uppdragsarkeologins föreskrifter innehåller bestämmelser om hur länsstyrelsen ska beställa arkeologiska undersökningar med syfte att garantera kvalitet och kostnadseffektivitet. Att finna metoder för att bedöma kvalitet i relation till kostnaden i uppdragsarkeologins undersökningsplaner är en komplicerad uppgift, vilket detta FoU-projekt tydligt visar. 8 Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin De undersökningsplaner som upprättas inför stora undersökningar är ofta omfattande och närmast att likna vid forskningsansökningar. Att upprätta förfrågningsunderlag och att bedöma undersökningsplanerna är en svår och resurskrävande arbetsuppgift för de länsstyrelser som har många anbudsförfaranden. De kriterier som ska utvärderas måste tydligt framgå i förfrågningsunderlaget och länsstyrelsen ska sedan bedöma om undersökningsplanerna kan förväntas resultera i en undersökning av god kvalitet. I Riksantikvarieämbetets vägledning för uppdragsarkeologi förordas ingen särskild metod eller modell för utvärdering av undersökningsplaner. Istället framhålls att kvalitetskriterierna bör rangordnas och att det i förfrågningsunderlaget tydligt ska framgå enligt vilka kriterier undersökningsplanerna kommer att bedömas. Det finns för närvarande ingen samsyn i hur undersökningsplaner bör utvärderas i samband med anbudsförfaranden utan olika länsstyrelser har prövat olika metoder. Vissa länsstyrelser använder olika matematiska beräkningsmodeller medan andra ger en argumenterande motivering och redovisar sin bedömning i textform. De matematiska beräkningsmodellerna kan ge en bild av att metoden tydligt kommer att peka ut vilken undersökningsplan som är mest kostnadseffektiv. I en rapport som givits ut av Konkurrensverket framgår dock att förtjänster och brister finns i alla modeller (Andersson & Lunander 2004 respektive Bergman & Lundberg 2009). Det vanligaste problemet är att priset får ett alltför stort genomslag i utvärderingarna. Utifrån den löpande uppföljning som görs av Riksantikvarieämbetet finns även tecken på att just de arkeologiska undersökningar som föregås av anbudsförfaranden är under stark prispress, vilket i sin tur kan leda till kvalitetssänkningar. De modeller som idag används av flera länsstyrelser för anbudsutvärdering är inte skapade för att tillämpas på utvärdering av undersökningsplaner inför arkeologiska undersökningar utan för upphandling av andra typer av varor och tjänster. Det finns dessutom många olika sätt att tillämpa modellerna, till exempel valet av kriterier som ska ligga till grund för bedömning och hur dessa kriterier ska poängsättas. Skillnader mellan länen finns också i hur viktningen görs av de olika kriterierna det vill säga vilken procentsats som sätts för varje kriterium samt för prisets procentandel. Hur dessa moment utförs är avgörande för hur modellen fungerar när kvalitetskriterierna ställs mot priset. Under 2008 fattades 29 beslut genom anbudsförfarande och under 2009 genomfördes och beslutades 31 anbud inom uppdragsarkeologin. Av de anbud som beslutats under 2008 överklagades fem stycken och av 2009 års anbud överklagades åtta stycken. Under 2010 gjordes däremot endast ett överklagande (enligt Riksantikvarieämbetets statistik som bygger på de uppgifter som levererats från domstolarna). Mellan åren 2008–2009 var trenden således negativ i det perspektivet att antalet överklaganden ökade. Detta skapar, förutom merarbete för alla inblandade parter: förvaltningsrätten, undersökaren och länsstyrelsen, också förseningar av viktiga samhällsintressen, såsom byggnation, vägar och järnväg liksom detaljplaner för bostäder, industri med mera. Bakgrund 9 FoU-projektet gör en utvärdering av de metoder som har använts vid anbudsförfaranden under 2008 och 2009, det vill säga de två första åren sedan revideringen av föreskrifterna. Utifrån faktiska fall prövas olika metoder för utvärdering och matematiska beräkningsmodeller testas i olika scenarier. Studien innefattar även ett inhämtande av erfarenheter från upphandlingar gjorda enligt LOU. Några utvärderingsmetoder som är vanliga för upphandling av tjänster enligt LOU men som inte tidigare används för att utvärdera arkeologiska undersökningsplaner prövas också. Syftet med analysen är att öka medvetenheten om de olika metodernas styrkor och svagheter. Förhoppningsvis kan studien leda till att länsstyrelsens handläggare känner en större tillförsikt vid utvärderingen. Den kan också ge inspiration till att pröva nya modeller och att anpassa de man använder för att få ett utfall som ger god kvalitet i den aktuella undersökningen. Föreliggande FoU-projekt ger ett bra underlag för Riksantikvarieämbetets vägledningsarbete med att beskriva hur utvärderingsmetoderna kan användas, vilka fördelar samt fallgropar som kan finnas med respektive metod. Eva Skyllberg Samhällsavdelningen Riksantikvarieämbetet Arkeologisk undersökning i medeltida stadslager i Åkroken, Nyköping, Södermanland 2010. Foto: Carolina Andersson. 1.  Sammanfattning Föreliggande rapport är resultatet av ett FoU-projekt med syfte att utvärdera, analysera och testa metoder för utvärdering vid anbudsförfaranden inom uppdragsarkeologin. Projektet har utförts av projektledaren Jan Ottander, Länsstyrelsen Västra Götaland, på uppdrag av Riksantikvarieämbetet, Samhällsavdelningen. Fokus i undersökningen har legat på de handlingar som producerats av länsstyrelserna, vilket innefattar förfrågningsunderlag, utvärderingsprotokoll och beslut. Samtliga handlingar från de 60 anbudsförfaranden som genomfördes 2008 och 2009 har analyserats. Som komplement till bilden som analysen av anbudshandlingarna ger har intervjuer med länsstyrelser och undersökare varit en viktig grund för inhämtande av erfarenheter. Därutöver har rapporter kring myndighetsupphandling enligt lagen om offentlig upphandling (LOU) bidragit med teoribakgrund för analysen, liksom en test av två matematiska utvärderingsmodeller. Studien har utifrån statistik och analyserande resonemang kunnat visa på ett antal faktorer för respektive modells styrkor och svagheter samt i de fall detta varit möjligt, presenterat förslag för att motverka de brister som kunnat påvisas. Oavsett val av modell för utvärdering utgör förfrågningsunderlaget, med dess kriterier, grunden för både undersökarnas möjlighet att upprätta anbud liksom för länsstyrelsens slutliga bedömning av kvalitet och kostnadseffektivitet. Vid sidan av de kriterier som anges i förfrågningsunderlaget är länsstyrelsens formulerande av ambitionsnivån en avgörande faktor för undersökarnas möjlighet att anpassa undersökningen till vad som efterfrågas. Värdering och bedömning av ambitionsnivån har genom studien också visat sig vara den vanligaste anledningen till att anbud förkastas vid utvärderingen eller att besluten blir överklagade. Otydligt formulerade ambitionsnivåer kan också generera stora kostnadsdifferenser anbuden emellan. Som ett avslutande moment analyserades de vanligaste utvärderingsmodellerna som används inom offentlig upphandling enligt LOU, för att klargöra tillämpbarheten i ett arkeologiskt anbudssammanhang. För två matematiska utvärderingsmodeller genomfördes därefter en fiktiv test för att nå klarhet över deras stabilitet och förutsättningar vid utvärderingen av god kvalitet till rimlig kostnad. Sammanfattningsvis kan studien konstatera att både brister och fördelar finns med alla de modeller som analyserats och att man bör vara väl medveten om dessa inför val av utvärderingsmodell och inför upprättande av förfrågningsunderlag. Därigenom skapas goda förutsättningar för undersökare att upprätta anbud, liksom för länsstyrelsen att upprätta förfrågningsunderlag samt att genomföra utvärderingen. Förhoppningsvis kan detta arbete ligga till grund för både en utveckling och kvalitetssäkring av anbudsförfaranden samt även stimulera till nyttjande av andra modeller, än de två som hittills använts vid upphandling av arkeologiska undersökningar. Arkeologiska undersökningar längs väg 288 i Uppland 2010. Foto: Eva Skyllberg. 2.  Inledning FoU-projektet ”Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin” initierades av Riksantikvarieämbetets samhällsavdelning där Eva Skyllberg och Carolina Andersson fungerat som styrgrupp medan arbetet utförts av projektledaren Jan Ottander vid länsstyrelsen i Västra Götalands län under sex arbetsmånader under 2010. Synpunkter har inhämtats vid ett arbetsseminarium med representanter från ett antal länsstyrelser samt från upphandlingskonsulten P-O Andersson, Public Procurement Service och Anders Berg, upphandlingssamordnare, länsstyrelsen i Västra Götaland. Avslutningsvis hölls i december månad 2010 ett seminarium med landets länsstyrelser, varvid resultaten från utredningen presenterades. De modeller som idag används av flera länsstyrelser för anbudsutvärdering är inte skapade för att tillämpas på utvärdering av undersökningsplaner inför arkeologiska undersökningar utan för upphandling av andra typer av varor och tjänster. Det finns dessutom många olika sätt att tillämpa modellerna, till exempel vilka kriterier som ska ligga till grund för bedömning och hur kriterierna ska poängsättas. Skillnader mellan länen finns också i hur viktningen görs av de olika kriterierna det vill säga vilken procentsats som sätts för varje kriterium samt för prisets procentandel. Hur dessa moment utförs är avgörande för hur modellen fungerar när kvalitetskriterierna ställs mot priset. Av Riksantikvarieämbetets vägledning för uppdragsarkeologi tydliggörs att vid ett anbudsförfarande är det väsentligt att processen genomförs affärsmässigt och på ett icke-diskriminerande sätt. Länsstyrelsen bör därför i förfrågningsunderlaget precisera de krav som ställs och redogöra för hur prövningen och bedömningen av undersökningsplanerna kommer att genomföras. Av redogörelsen ska även framgå vilka kriterier som kommer att ligga till grund för bedömningen av undersökningsplanernas kvalitet. Förfrågningsunderlag med tydliga och rangordnade utvärderingskriterier syftar till att underlätta bedömningen av undersökningsplanerna. Det är också avgörande för undersökarens övervägande att delta i anbudsförfarandet och ger underlag till hur undersökningsplanen ska utformas (Vägledning 2007: avsnitt 4.2). 2.1  Verkställighetsföreskrifter och allmänna råd Länsstyrelsens beställning av arkeologiska undersökningar regleras i föreskrifter för uppdragsarkeologin (KRFS 2007:2). Inför revideringen av föreskrifterna 2007 framhölls i konsekvensutredningen bland annat vikten av att öka konkurrensen inom det uppdragsarkeologiska systemet, att processen skall ske affärsmässigt och på ett icke-diskriminerande sätt samt att länsstyrelsens beställarroll tydliggörs. Den regionala variationen i handläggningspraxis och ojämna bedömningar av uppdragsarkeologiärenden visade, enligt utredningen, på att de dåvarande verkställighetsföreskrifterna inte hade varit tillräckligt tydliga. När det gäller anbudsförfarande hade 14  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin regelverket inte varit tillräckligt utförligt, vilket lett till en länsvis varierande tillämpning. De äldre föreskrifterna från 1998 medgav bland annat en generös tolkning av vilka särskilda skäl länsstyrelsen kunde åberopa för undantag från upphandling. Konsekvensutredningen betonade betydelsen av att det skapades en fungerande konkurrens inom uppdragsarkeologin genom att fler undersökningar omfattades av anbudsförfarande. Det reglerades genom en skärpning av beloppsgränsen från 30 till 20 prisbasbelopp för när upphandling ska genomföras samt att undantagen från anbudsförfarande begränsades. För att underlätta länsstyrelsens handläggning och öka systemets genomsiktlighet behövdes också tydliga riktlinjer för såväl anbudsförfarande som upprättandet av förfrågningsunderlag och bedömning av undersökningsplaner. I föreskrifterna som trädde i kraft 2008-01-01 finns ett antal direktiv som rör länsstyrelsens handläggning i samband med anbudsförföranden. Ytterligare förtydliganden och förklaringar finns i Riksantikvariämbetets vägledning till uppdragsarkeologin. Anbudsförfarande definieras som en process som länsstyrelsen genomför för att utse den undersökare som skall utföra en undersökning. Syftet med ett anbudsförfarande är att erhålla största möjliga kostnadseffektivitet. Det är meningen att processen i likhet med upphandling enligt lagen om offentlig upphandling (LOU) ska ske affärsmässigt, i konkurrens och på ett icke-diskriminerande sätt (§2). Vid ett anbudsförfarande ska länsstyrelsen redogöra för hur prövning och bedömning av undersökningsplanerna kommer att genomföras. Redogörelsen ska även ange de kvalitetskriterier som kommer att ligga till grund för bedömningen av undersökningsplanerna samt att den mest kostnads­ effek­ tiva under­ sökningsplanen ska antas (§12). Med begreppet kostnadseffektivitet avses inte lägsta pris utan definitionen är ”god kvalitet till rimlig kostnad.” När en arkeologisk undersökning bedöms ha en kostnad som överstiger 20 prisbasbelopp (856 000 kr år 2011) åligger det länsstyrelsen att välja undersökare genom ett anbudsförfarande, om inte synnerliga skäl föreligger. Ett anbuds­ förfarande kan även tillämpas för undersökningar med en beräknad summa på mellan 5 och 20 prisbasbelopp om företagaren önskar det. Eftersom det är tidskrävande att genomföra ett anbudsförfarande används det i praktiken endast för de undersökningar som överskrider 20 prisbasbelopp. Om synnerliga skäl föreligger kan länsstyrelsen använda direktval, trots kostnader över 20 prisbasbelopp. Ett synnerligt skäl som pekas ut i ett allmänt råd till föreskrifterna rör fall då en fornlämning påträffas under ett pågående arbetsföretag (§14). 2.2  Metodbeskrivning Metodiskt har studien omfattat en genomgång, erfarenhetsinhämtning samt utvärdering av relevant litteratur kring myndighetsupphandling och anbudsförfarande enligt LOU, liksom de slutsatser som dragits kring olika utvärderingsmodellers för- och nackdelar vid anbudsförfarande. I studien har även en utvärdering gjorts av de arkeologiska anbudsförfaranden som genomförts under åren 2008–2009. Inledning 15 Som ett första steg kontaktades alla de länsstyrelser som haft anbudsförfaranden för att få ta del av de beslut, med tillhörande bilagor, som hör till ärendet. Därefter påbörjades en inläsning och en kunskapsinhämtning från de 60 anbud som handlagts och beslutats under den aktuella perioden. Utifrån genomläsning av de förfrågningsunderlag, utvärderingsprotokoll och beslut som producerats har ett antal frågor uppkommit kring de skillnader (och likheter) i rutiner och genomförande som kunde noteras i de olika länen avseende förfrågningsunderlagets utformning samt utvärdering av anbud. Med detta som grund formulerades ett antal frågeställningar kring anbudsförfarande, för att ur olika perspektiv kunna ta del av de erfarenheter man från länsstyrelsehåll fått av genomförda anbud. Frågeformuläret skickades ut till de länsstyrelser som haft anbud efter det att de reviderade föreskrifterna trädde i kraft och följdes sedan upp med intervjuer. Utifrån de frågor som ställdes till länsstyrelserna formulerade därefter frågor som riktade sig till undersökare. Ett urval av de arkeologiska aktörer som medverkat vid anbud kontaktades och tillsändes frågeformuläret. Hälften av dessa intervjuades och övriga ombads besvara och skicka tillbaka formuläret digitalt. Ett sista delmoment utgjordes av dels en utvärdering av de modeller som vanligen används inom LOU, dels av ett test av matematiskt utvärderade anbud. Testet utgick det från att pröva procentsatsernas betydelse för utfallet vid val av poängvägningsmodellen, dels att prova en tidigare ej använd modell – Kvalitetsvägning. Syftet var att studera modellernas inverkan på val av anbud samt att bedöma dess tillämpbarhet vid arkeologisk anbudsutvärdering. I korthet såg de olika momenten ut på följande sätt: Moment 1 – Materialinsamling/inläsning • Inhämta erfarenheter från andra typer av utvärderingsmodeller för upphandling av tjänster enligt LOU. • Kontakt samt kort information om projektet till de länsstyrelser som haft anbud under aktuella perioden. • Materialinsamling, anbudshandlingar, från berörda länsstyrelser. • Inläsning samt utvärdering av de metoder som använts vid anbudsutvärdering under åren 2008 och 2009. • Statistisk bearbetning av data. Moment 2 – Erfarenhetsinhämtning • Upprättande av frågeformulär som rör länsstyrelsehandläggares erfarenheter av anbudsförfarande sedan de nya föreskrifterna trädde i kraft. • Intervju med handläggare på de länsstyrelser som genomfört anbudsförfarande. • Sammanställning och analys av de svar som fåtts från intervjun med handläggare. • Intervju med, respektive utskick av frågeformulär, till ett urval undersökare som deltagit i anbudsförfarande. 16  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin • Sammanställning och analys av svaren från intervjun med undersö• Analys och utvärdering av Moment 1 och 2. Moment 3 – Modelltest • Beskrivning och utvärdering av modeller för anbudsförfarande enligt LOU. • Prövning av (matematiska) utvärderingsmodeller på genomförda upphandlingar. • Analys och utvärdering av modelltest. kare. 2.3  Avgränsningar I studien har endast ett mindre antal undersökningsplaner från undersökarna lästs in i samband med anbudsutvärderingen, då länsstyrelserna i många fall saknade dessa i digital form. Någon kontakt med respektive anbudsvinnare togs inte heller för att få fram anbudens undersökningsplaner, då detta bedömdes som allt för tidskrävande och inte ansågs som avgörande för studien. Studien har heller inte kommit att beröra företagarnas erfarenheter och syn på anbudsförfarande. Då syftet med arbetet varit att analysera och utveckla metoder/modeller för bedömning och utvärdering av undersökningsplaner bedömdes inte detta perspektiv som avgörande för genomförandet, varför endast länsstyrelsen, som upphandlande myndighet och undersökarna, som anbudslämnare, kom att tillfrågas. Flertalet anbudsförfaranden rör också slutunderökning, vilka i många fall kan jämställas med forskningsundersökningar. Kravet på kvalitet är i dessa också vanligen högt ställda och där det åligger länsstyrelsen att värdera om förslaget till undersökning kan genomföras till en rimlig kostnad. Ur den bemärkelsen skiljer sig företagarnas intressen åt, där fokus vanligen inte är säkerställandet av den kvalitativa aspekten av genomförandet, utan i högre grad är riktat mot nästföljande fas som innebär exploatering av markområdet. Mot bakgrund av detta har företagarnas syn på anbudsförfarande inom arkeologin inte innefattats i denna studie. De bedömningar, analyser, slutsatser liksom frågeställningar som gjorts i denna utredning grundar sig därmed helt på intervjusvaren från länsstyrelserna och undersökarna samt de anbudshandlingar som producerats av länsstyrelserna, liksom på övrig relevant litteratur kring anbudsförfarande. 3.  Utvärdering av anbud 2008 och 2009 Riksantikvarieämbetet har sedan 2005 sammanställt statistik över til�lämpningen av 2–4 kap. KML. Sett över perioden 2005–2008 har antalet beslut enligt 2 kap. KML varit relativt konstant, även avseende beslut som fattas med villkor om uppdragsarkeologi. Kostnaderna utslaget per år har dock varierat avsevärt. 2008 uppgick beslutssumman till 195,5 miljoner kr, vilket var en jämförelsevis låg summa (Rapport från Riksantikvarieämbetet 2010, Tillämpning av 2–4 kap.) 2009 års beslutade kostnader uppgick till 245,9 miljoner kronor. Antalet uppdragsarkeologiska beslut uppgick året 2008 till 1123 stycken. Av dessa beslutades 29 stycken genom anbudsförfarande, vilket motsvarar cirka 2,5 % av det totala antalet. 23 stycken av dessa beslut (75 %) rörde särskild undersökning, sex anbud rörde förundersökning och ett anbud särskild utredning. 2009 fattades 1120 uppdragsarkeologiska beslut, varav 31 av dessa beslutades genom anbudsförfarande. Fördelningen mellan de 31 anbud som genomfördes 2009 visade att 22 beslut (71 %) togs avseende särskild undersökning, sex beslut rörde förundersökning och tre beslut fattades kring särskild utredning. 2008 uppgick antalet undersökare som tilldelats uppdragsarkeologiska beslut i Sverige till 46 stycken. Av dessa har drygt 20 stycken tilldelats beslut som avser särskild undersökning. Vid de 29 upphandlingar som genomförts under 2008 fördelades besluten till 18 olika undersökare. Totalt under åren 2008 och 2009 hade 24 olika undersökare (UV-kontoren räknade var för sig) tilldelats beslut genom anbudsförfarande. 14 12 10 8 6 4 2 0 Antal Antal -U -G -N -M -H -T ge a- g än -A -E nd Vä st ra G öt al a la be rg eb ro nd öp in an la n al kin Up ps Ha lla sl m ån Ka l nd Sk ol m no Ör Bl e nk kh m Kr o la Jö oc an Vä St Ovan redovisas det totala antalet anbudsbeslut respektive län haft under åren 2008 och 2009. Fördelningen visar att det främst är storlänen som genomfört anbud under den aktuella perioden. Sö de rm Ös te st rg öt nd d ar e -O -D -K -F C B 18  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin 3.1  Utvärderingsmodeller Vid anbudsutvärdering inom arkeologin har i princip endast två olika utvärderingsmetoder, med små variationer, använts. Dessa är dels en poängvägningsmodell där procentviktade kvalitetskriterier vägs mot lägsta pris genom en beräkningsmodell, dels en argumenterande värdering för bedömning av kvalitet i förhållande till beräknat anbudspris. I poängvägningsmodellen bedöms kvalitetskriterierna enligt en poängskala som anges i förfrågningsunderlaget. Kvalitetskriterierna kan sedan viktas och procenttal anges för att visa kriteriernas angelägenhetsgrad. I utvärderingsprotokollet motiveras också betygssättningen för respektive kriterium med motiverande text. Betygsskalan som använts är 1–5, där betyg 3 vanligen är likvärdig med godkänd och där betyg lägre än detta inte möjliggör att anbudet går vidare till prisjämförelse. Vid några länsstyrelser utgörs varje enskilt kvalitetskriterium av ett antal delkriterier som tillsammans bildar betyg för respektive huvudkriterium. Exempelvis kan kriteriet ”Genomförande” bestå av delkriterier såsom metod, fyndstrategi, analysval och så vidare och där vart och ett av dessa betygssätts separat, vilket sammantaget genererar ett decimaltal för huvudkriteriet. Andra länsstyrelser väljer istället att ge ett samlat betyg i form av heltal enligt betygsskalan 1–5. När priset sedan ska jämföras med kvaliteten översätts priset till ett poängtal som kan summeras med poängen för kvalitetskriterierna. Det anbud som uppnår högst totalpoäng vinner anbudet. Metoden att transformera ett pris till en poäng bygger på att varje lämnat pris i upphandlingen relateras till ett referenspris som bestäms av de inlämnade anbuden. Av genomförda anbud inom arkeologin utgörs referenspriset av upphandlingens lägsta pris. Val av utvärderingsmodell åren 2008 och 2009 Utvärderingsmodell 35 30 25 20 15 10 5 0 Poängvägning Argumenterande värdering Under åren 2008 & 2009 har 60 upphandlingar genomförts inför arkeologisk undersökning. Av dem har 30 upphandlingar utvärderats utifrån poängvägningsmodellen och 30 genom argumenterande värdering. Utvärdering av anbud 2008 och 2009   19 De huvudkriterier som vanligen anges i procentsats är Genomförande, Kompetens och Pris, i enlighet med 12 §, KRFS 2007:2. I vissa fall viktas dock endast Genomförande och Pris, där nödvändig kompetens är satt som skall-krav i förfrågningsunderlaget. Även vetenskaplig relevans, eller (vetenskaplig) kvalitet, är ibland satt som ett separat kriterium alternativt ingår som en del av kriteriet Genomförandet. Vid en argumenterande utvärdering bedöms undersökningsplanen i sin helhet och utefter de kriterier som angetts i förfrågningsunderlaget. Argumentationen i utvärderingsprotokollet är oftast både beskrivande och värderande där positiva och negativa delar lyfts fram som grund för slutlig bedömning. Såsom i poängvägningsmodellen prisjämförs sedan de undersökningsplaner som bedöms kunna resultera i god kvalitet, varefter den mest kostnadseffektiva undersökningsplanen antas. 3.2  Genomgång av anbudsförfaranden Vid genomgång av de anbudsförfaranden som har genomförts under den för studien aktuella perioden kan konstateras att fördelningen mellan valet av utvärderingsmodell är jämn – se diagram på föregående sida. Kartan till vänster redovisar de län som haft anbud under den aktuella perioden 2008 och 2009 samt vilka utvärderings­ modeller som prövats/använts dessa år. Kartan till höger visar den modell som var använd vid senaste upphandlingen/upphandlingarna fram till utgången av år 2009. Kartor: Henrik Sten. 20  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin Av de 13 länsstyrelser som genomfört upphandlingar under den aktuella perioden hade vid utgången av år 2009 sju län främst valt att använda den argumenterande värderingsmodellen och sex län valt att använda poängvägningsmodellen. Fördelningen tycks till viss del vara geografiskt betingad, vilket kan hänga samman med uppdelningen av länens nätverkssamarbete samt annat informationsutbyte närliggande län emellan. Valet kan också hänga samman med att man ursprungligen startat med en modell som man sedan utvecklat och är nöjd med och därmed inte finner någon anledning att byta och prova något annat. Poängvägningsmodellen dominerar i Mälarregionen medan den argumenterande modellen är vanligare i landets södra och västra delar. Länen norr om Västra Götaland i väster och Uppsala i öster hade under perioden inte haft några anbudsförfaranden. Fyra länsstyrelser har prövat båda modellerna vid anbudsutvärdering, Södermanland, Skåne, Västra Götaland och Kalmar. Orsaken till att man valt att frångå en modell och välja en annan skiljer sig åt mellan länen och kan vara ett aktivt ställningstagande utifrån de erfarenheter man haft från att ha prövat respektive modell till att man på ett mer personligt plan, som handläggare, föredrar det ena eller andra sättet att utvärdera. Knappt tre fjärdedelar av alla genomförda anbudsförfaranden har rört särskild undersökning (44 stycken). I 12 fall har anbudet gällt förundersökning och i 4 ärenden särskild utredning. 3.2.1  Anbudstid för undersökarna Tid är ett kriterium som är lätt att mäta och analysera och utgör en av de många parametrar som bidrar till god kvalitet. I anbudssammanhang kan två tidsrelaterade moment i länsstyrelsens handläggning vara bidragande till att denna upprätthålls. Dels avser det tiden som undersökarna ges för upprättande av anbud, dels tid för utvärdering innan beslut fattas. ”Kvalitet är inte bara avhängig genomförandet och resultaten av den enskilda undersökningen utan hela processen som lett fram till undersökningen” ”Företagarens, länsstyrelsens och undersökarens agerande i olika skeden kan påverka undersökningens kvalitet (Vägledning 2009, avsnitt 2.6, s. 19). ”Företagaren behöver bl a få tydliga besked om vilka arkeologiska åtgärder som ska utföras, hur lång tid de kommer att ta, ungefär hur mycket de kommer att kosta, etc.” (Kritz, 2010, avsnitt 3.1, s. 12). Likväl som företagaren har en skyldighet att inkomma med ansökan i god tid har länsstyrelsen ansvar för att processen inte försenas eller ges dåliga förutsättningar på grund av orimlig tidsåtgång, vilket i sin tur kan drabba både företagarens intressen och planering, undersökarens möjlighet att upprätta anbud liksom genomförandet av undersökningen i fält. Vid anbudsförfarande är det av stor betydelse att anbudsgivarna ges tillräcklig tid för upprättande av anbud, för att möjliggöra god kvalitet samt för att motverka konkurrensfördelar. Processen skall också genomföras affärsmässigt och på ett icke-diskriminerande sätt. Av Vägledning för tillämpning av KML” framgår att ”Anbudstiden bör vara skälig. Undersökningsplaner för stora undersökningar där kostnaden överstiger 20 Pbb tar avsevärd tid Utvärdering av anbud 2008 och 2009   21 Tid för upprättande av anbud 40 35 30 25 20 15 10 5 0 Medel total Median total Medel total Median total Genomsnittlig tidsfrist i kalenderdagar för upprättande av anbud åren 2008 och 2009. Antal kalenderdagar för upprättande av anbud Dagar 90 80 70 60 50 40 30 20 10 0 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 Antalet kalenderdagar för upprättande av anbud under perioden 2008/2009. att utarbeta. I dessa fall bör anbudstiden vara en månad eller längre.” (Vägledning 2007, avsnitt 4.3). För 58 av de 60 anbudsförfaranden som genomförts under den aktuella perioden gjordes ett överslag av den tid som undersökarna haft för upprättande av anbud (övriga två ärenden har inte gått att klarlägga dag för anbudsstart). Genomsnittlig tid som länsstyrelserna ger för upprättande av anbud under 2008 och 2009 är redovisad i kalenderdagar i kolumnen nedan och utgår från den dag som förfrågningsunderlaget är daterat fram till sista dag för inlämning av anbud. Den verkliga tiden för upprättande av anbud är sannolikt något kortare än den som räknats fram, då förfrågningsunderlaget kan ha daterats innan den skickats ut/lagts ut på hemsidan samt mot bakgrund av att det kan ha tagit olika lång tid innan undersökarna tilldelats/ begärt ut anbudshandlingarna. 22  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin Den beräknade tidsfrist och tidsåtgång som anges i diagrammen på föregående och nästföljande sidor är redovisad i medelvärde och median. Medianen kan i vissa fall ge en bättre bild av vad som är ”normalt” än vad ett medelvärde kan, speciellt om man har ett fåtal mätvärden som kraftigt avviker från de andra. Antalet dagar för upprättande av anbud har totalt sett varierat mellan 11 och upp till 79, med ett medelvärde på runt 35 dagar = 5 veckor. Den genomsnittliga tidsåtgången för anbudsskrivning skiljer sig inte åt mellan åren 2008 och 2009 – ej heller fanns någon koppling mellan tidsåtgång och vald utvärderingsmodell. I de fall en tidsperiod på fler än 40 dagar har getts för upprättande av anbud (17 stycken) har alla dessa ärenden hamnat i skarven mellan ledigheter, sommar respektive jul, vilket kan vara en trolig förklaring till den långa anbudstiden. Andra bakomliggande orsaker kan vara omfattningen på upphandlingen, komplexiteten i objekten som ska handlas upp, antalet fornlämningar som berörs, att flera anbud pågår samtidigt eller att det från exploatörens sida inte råder någon brådska i ärendet. I totalt sju ärenden har anbudstiden understigit 20 dagar. Anledning till att tiden för upprättande av anbud är så kort kan vara att man gör en ny upphandling efter avbrutet, alternativt överklagat, anbudsförfarande och att anbudsgivarna därmed har förväntats vara inlästa på ärendet och endast behöver modifiera tidigare upprättade anbud. Detta rör tre av de ärendena med kort anbudstid. I två andra fall har det varit anbud för särskild utredning, vilket sannolikt inte har bedömts kräva så lång tid för upprättande av anbud. Exempel finns också på mer komplexa upphandlingar, slutundersökningar, där skyndsamhet krävts för att möta exploateringsönskemålen och där själva anbudsförfrågan, i åtminstone ett ärende, föregåtts av att länsstyrelsen inbjudit till informationsmöte kring upphandlingen innan anbudstiden formellt startat. Undersökarna/anbudsgivarna har därmed i förväg kunnat påbörja arbetet med att ta fram underlag läsa in sig på ärendet, även om de exakta angivelserna i förfrågningsunderlaget saknats. 3.2.2  Tid för utvärdering av anbud Den totala tidsåtgången för utvärdering av anbud kan grovt studeras genom att mäta tiden mellan dag för inlämnande av anbud och fram till dag för beslut. För enstaka ärenden kan inte tidsåtgången kopplas till utvärderingsmodell och tiden för utvärdering kan, vid sidan av vald utvärderingsmodell, vara orsakat av ett flertal faktorer. Exempel på sådana kan vara ärendets brådska ur exploateringssynpunkt, övrig arbetsbelastning inom länsstyrelsen, personella resurser liksom handläggarnas rutin och erfarenhet av anbudsförfarande. Andra yttre faktorer som kan förlänga tiden mellan anbudsöppnande och beslut kan vara förseningar i planprocessen, brist på markägarmedgivande, avsaknad av kostnadsbekräftelse etc. Sammantaget kan nedan redovisad tidsåtgång ändå indikera skillnader i handläggningstid för utvärdering, med koppling till respektive modell, då flertalet av ovan angivna faktorer är av generell art och borde påverka alla upphandlingar/ länsstyrelser någorlunda lika. Utvärdering av anbud 2008 och 2009   23 En genomsnittlig tidsåtgång från det att anbuden öppnats till att beslut fattas ligger på i genomsnitt cirka 35 kalenderdagar. Som framgår av diagrammen nedan är tidsåtgången betydligt högre för de anbud som utvärderats enligt den argumenterande modellen, runt 45 dagar, jämfört med de anbud som utvärderats genom poängvägningsmodellen, runt 25–30 dagar. Det ska dock tilläggas att nio av beslutade ärenden ej medräknats i diagrammet nedan på grund av extremt lång tidsåtgång mellan öppnande Tidsåtgång i kalenderdagar för utvärdering 2008 och 2009 50 45 40 35 30 25 20 15 10 5 0 Argumenterande Poäng Medel Median Total tidsåtgång i kalender­ dagar fram till beslut för argumenterande utvärdering respektive poängutvärdering. Tidsåtgång mellan anbud och beslut Dagar 160 140 120 100 80 60 40 20 0 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 Diagrammet visar tidsåtgången mellan dag för inlämnande av anbud fram till beslut. Nio av anbuden avviker markant från övriga genom den mycket långa tidsrymd som gått fram till beslutsdag. Ett anbud med en beslutstid på 308 dagar finns ej redovisat i diagrammet. 24  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin av anbud och beslut, då detta har bedömts som statistiskt missvisande. Tidsåtgången har då legat på mellan 124 och 308 dagar och den kraftiga fördröjningen har helt varit kopplad till ”yttre” beslutsprocesser som inte har med länsstyrelsens utvärdering att göra. Tidsåtgången för övriga anbud, vilka redovisas i diagramform, ligger i övrigt på en relativt jämn spridning mellan cirka 10–80 dagar. Jämför man åren 2008 och 2009 kan man notera att tidsåtgången för poängvägningsmodellen inte skiljer sig åt, medan tiden för utvärdering enligt den argumenterande modellen är något lägre för 2009 än för 2008. Kanske har den rutin och erfarenhet som erhållits från 2008 års upphand- Tidsåtgång för poängutvärdering i kalenderdagar 2008 och 2009 50 45 40 35 30 25 20 15 10 5 0 2008 2009 Medel Median Den genomsnittliga handläggningstiden i kalenderdagar räknat för poängutvärdering visar marginella skillnader av tidsåtgången mellan åren 2008 och 2009. Tidsåtgång för argumenterande utvärdering i kalenderdagar 2008 och 2009 50 45 40 35 30 25 20 15 10 5 0 2008 2009 Medel Median Total tidsåtgång i kalenderdagar för argumenterande utvärdering 2008 respektive 2009 visar på en minskad handläggningstid för 2009. Denna ligger trots det markant högre än utvärderingstiden för poängvägningsmodellen. Utvärdering av anbud 2008 och 2009   25 lingar minskat tidsåtgången något för år 2009. Trots det visar diagrammen relativt tydligt på skillnader i tidsåtgången för utvärdering, där poängvägningsmodellen tar i snitt cirka 10 dagar kortare tid att utföra, jämfört med den argumenterande modellen. Vid genomgång av anbudshandlingarna kunde ingen koppling till vald utvärderingsmodell hos respektive länsstyrelse visa på någon avgörande skillnad avseende antal undersökare som medverkat vid upphandling eller begränsningar i textmängd för undersökningsplaner. Differenser i tidsåtgång för utvärdering är sannolikt därför i högre grad kopplat till själva utvärderingsmomentet för respektive modell, än till yttre faktorer såsom antal anbudsgivare eller textmängd i undersökningsplaner. Vid anbudsgenomläsning kunde konstateras att utvärderingsprotokollen generellt sett var mer utförliga, omfångs- och ordrika vid användandet av den argumenterande modellen, jämfört med poängvägningsmodellens ofta kortare hållna protokoll. Siffran får sannolikt ersättas av ord och motiveringar för att klargöra länsstyrelsens värdering och bedömning av anbudets enskilda delar. Flera undantag vad gäller utvärderingsprotokollens textmängd från båda modellerna var dock noterbara vid genomläsningen! 3.2.3  Kriterier vid anbudsutvärdering I förfrågningsunderlaget anges de kriterier som kommer att gälla vid utvärderingen av anbud. I några av upphandlingar från 2008 har angivelserna av kriterier varit mycket diffusa men generellt sett har kriterierna för utvärderingen blivit betydligt mer klargörande och tydliga, allt eftersom man utvecklat förfrågningsunderlagen över tid. Erfarenheter från tidigare genomförda anbud, ibland med överklaganden som följd, har säkert också bidragit till ökad tydlighet från länsstyrelsernas sida. Flertalet länsstyrelser anger att man vid utvärderingen kommer att värdesätta kriterierna vetenskaplig relevans, kompetens, genomförande och pris . Några länsstyrelser har valt att låta exempelvis den vetenskapliga relevansen vara en del av kriteriet ”genomförande” eller att genomförande och den vetenskapliga relevansen legat under kriteriet ”kvalitet”. Innebörden av respektive huvudkriterium har i olika grad tydliggjorts i förfrågningsunderlagen. Vissa använder endast ett par moment eller faktorer som avses under respektive kriterium, medan andra räknar upp ett stort antal delkriterier under dessa, vilka bedöms vara av betydelse vid kommande utvärdering. Av de länsstyrelser som utvärderar enligt den argumenterande modellen har flertalet angett vilka kriterier som särskild vikt kommer att läggas vid under utvärderingsmomentet. Exempel på sådana delar eller kriterier kan vara: Undersökarens förmåga att anpassa undersökningsplanens ambitionsnivå till fornlämningslokalens potential, vetenskaplig kvalitet och genomförande, undersökningsplanens vetenskapliga förankring samt metod- och analysval i relation till frågeställningarna, kunskapsläge och genomförande eller att länsstyrelsen kommer att bedöma om beskrivningen av undersökningens genomförande är realistiskt i förhållande till den beräknade tidsåtgången, det vill säga kostnaden. Vissa länsstyrelser har en mer standardiserad 26  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin lista över vilka kriterier som avses, oavsett typ av undersökning och andra gör anpassade ändringar med direkt koppling till de specifika fornlämningar som ska undersökas. Generellt sett har tydligheten kring kriterieangivelse ökat under de två åren som studerats och man ser också att länsstyrelserna hämtar inspiration hos varandra i val av formuleringar och innehåll. Man tydliggör också ofta att det inte bara är de enskilda delarna som värderas utan lika mycket hur dessa hänger samman och relaterar till varandra. Av de länsstyrelser som använder poängvägningsmodellen anges betydelsen av respektive angivet kriterium indirekt genom den procentsats man valt för dessa. Flertalet har, som ovan nämnts, angett kriterierna vetenskaplig relevans, kompetens, genomförande och pris. Värdesättandet av kriterier liksom förändringar i hur man över tid väljer att värdera de olika kriterierna är där lättare att följa än i den argumenterande modellen, då detta avspeglas i procentsättningen i varje nytt förfrågningsunderlag. Innebörden av de olika kriterierna har i skiftande grad tydliggjorts, med ibland mycket precisa angivelser. Två länsstyrelser har valt att endast betygssätta kriterierna, Genomförande och Pris, med en procentsats om 50 % vardera. Istället för att betygssätta kompetensen på företag och personal anger de i förfrågningsunderlaget istället skall-krav på vad som krävs för att uppnå en acceptabel miniminivå som anbudsgivare. Någon förändring avseende procentsättning av kriterierna utifrån typ av undersökning eller mellan åren 2008 och 2009 har ej gjorts. Undersökningarna vid anbuden utgörs här främst av förundersökningar men även en särskild undersökning och en utredning har värderats enligt ovan nämnda procentsättning. Övriga länsstyrelser som använder poängvägningsmodellen har generellt värderat priset till lägre procentsatser, även vid förundersökningar. Två länsstyrelser har åren 2008 till 2009 valt att justera ner priskriteriet från 30 respektive 35 % till 20 % (2009) vid anbudsförfarande för särskild undersökning och två länsstyrelser har angett en procentsats på 25 respektive 30 % båda åren. Två av fem länsstyrelser har valt att minska värdesättandet av kompetens. Kompetensen värderas av två länsstyrelser till 20 % vid särskild undersökning och övriga värderar kompetensen till 25 respektive 30 %. Då flera länsstyrelser valt att sammanväga den vetenskapliga relevansen med genomförande/kvalitet är det svårt att jämföra dessa sinsemellan. Lägger man samman kriterierna kan man dock se att man generellt sett värderar genomförande samt vetenskaplig relevans högre vid senare upphandlingar jämfört med tidigare, åtminstone vid särskild undersökning. Fyra länsstyrelser har valt att öka procenttalen för kriterierna genomförande/vetenskaplig relevans åren 2008 till 2009. Sammantaget kan man notera att procentsättning av kriterierna vid användandet av poängvägningsmodellen sällan tycks vara kopplat till det enskilda undersökningsobjektet. Flertalet länsstyrelser tycks använda ”sam­ ma” procentsättning av kriterierna oavsett typ av fornlämning eller grad av komplexitet hos denna/dessa. Att procentsättningen av priskriteriet sänkts något år 2009 kan sannolikt hänga samman med att man vill Utvärdering av anbud 2008 och 2009   27 60 2008 2009 50 40 30 20 10 0 Genomförande/ vetenskaplig relevans Kompetens Pris Diagrammet visar procentsättning av kriterierna vid särskild undersökning per länsstyrelse samt hur dessa har förändrats över tid, 2008–2009. Värderandet av ”Genomförande” har ökat och ”Pris” har minskat något i betydelse. undvika att priset får för stort genomslag vid utvärderingen, på bekostnad av kvaliteten vid undersökningen. Likaså kan en något lägre värdering av kompetenskriteriet troligen hänga samman med att man i högre grad kommit att värdera genomförandet framför person/företag, som anges som ansvarig för undersökningen. Avseende typ av undersökning kan man notera vissa skillnader i procentsättning av kriterierna för särskild utredning/förundersökning kontra särskild undersökning, där man vid två länsstyrelser valt att ha en högre procentsättning av kriteriet pris och kompetens på dessa undersökningar. Kriteriet genomförande har därmed värderats lägre vid dessa anbud. En länsstyrelse har dessutom valt att ej värdera den vetenskapliga relevansen och istället värdera upp kompetensen för att (sannolikt) säkerställa god kvalitet i anbuden. Då få länsstyrelser genomfört upphandling av utredningar respektive förundersökningar under 2009 är underlaget dock för litet att dra några slutsatser från. 3.2.4  Angiven ambitionsnivå I förfrågningsunderlaget är länsstyrelsens uppgift att utifrån fornlämningens kunskapspotential ange undersökningens syfte, inriktning och ambitionsnivå. I undersökningsplanen föreslår sedan undersökaren preciserade frågeställningar, metoder för genomförande och prioriteringar. Av Riksantikvarieämbetets Vägledning för uppdragsarkeologi framgår att ”länsstyrelsen har en viktig uppgift att finna rätt ambitionsnivå, det vill säga den arkeologiska insatsens omfattning och karaktär. Vid anbudsförfarande är det särskilt viktigt att ambitionsnivån anges så tydligt som möjligt för att undersökningsplanerna ska bli jämförbara. Ambitionsnivån kan anges i form 28  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin av anvisningar för prioriteringar och att vissa lämningar, ytor eller objekt pekas ut för särskilda insatser. Vid särskild undersökning motiveras ambitionsnivån genom en bedömning av lämningens kunskapspotential, det vill säga hur en undersökning kan bidra till att skapa meningsfull kunskap om det förflutna.” (Vägledning 2007, avsnitt 3.3.4). Vid utvärderingsmomentet ska länsstyrelsen ta ställning till vilka undersökningsplaner som bedöms kunna resultera i en undersökning av god kvalitet som motsvarar den av länsstyrelsen angivna ambitionsnivån (Vägledning 2007, avsnitt 5.3.2). Vid genomgång av de förfrågningsunderlag som upprättats i samband med anbudsförfarande framkom följande: I de upphandlingar som gällt särskild utredning och förundersökning kan ambitionsnivån förväntas vara hög så länge inget annat anges i förfrågningsunderlaget (jfr Vägledning 2009, avsnitt 2, s. 16, resp. Kritz 2010, avsnitt 3.2.5, s. 19, 20). Även om vissa länsstyrelser tydligt anger ambitionsnivån också i dessa sammanhang har flertalet endast angett vad undersökningen ska resultera i, såsom att vid utredning klargöra fornlämningsförekomst och vid förundersökning utbredning, karaktär, innehåll med mera. Några länsstyrelser anger dock mycket tydligt nivån på undersökningen i form av hur stor del av fornlämningen som vid förundersökning ska undersökas och vilka metoder och/eller analysval som är relevanta för genomförandet. Vad gäller särskild undersökning skiljer sig sättet att redovisa ambitionsnivån, liksom angivelserna av denna, stort åt. Direktiven i de förfrågningsunderlag som kan kopplas till 2008 års beslut är till stor del ganska trevande. I cirka 30 % av anbuden saknas rubrik för ambitionsnivå, även om man i några av dessa ärenden kan hitta någon form av angivelse under annan rubrik, alternativt i undersökningsplansmallen. I många fall, där rubrik finns, anges ambitionsnivån endast vagt i termer av målsättning eller inriktning med undersökningen. I några anbud överlåter man dessutom uttryckligen åt undersökaren att själva ange en passande ambitionsnivå, utifrån de förutsättningar och krav som i övrigt angetts i förfrågningsunderlaget. Av 2009 års anbud finns ambitionsnivån rubriksatt i anbudshandlingarna från alla länsstyrelser utom av en. Av dem som rubricerat ambitionsnivån har flertalet (alla utom en) valt att göra detta i förfrågningsunderlaget medan en valt att lägga rubriken i kravspecifikationen. Av de upphandlingar av särskild undersökning som genomförts under 2009 skiljer sig angivelserna åt från länsstyrelse till länsstyrelse. Dels utifrån hur man anger ambitionsnivån, dels i vilken utsträckning man ger direktiv kring genomförandet. Kunskapspotentialen, vilken ska stå i förhållande till ambitionsnivån, finns i flertalet förfrågningsunderlag relativt väl beskriven. I många upphandlingar saknas dock en tydlig koppling mellan redovisad kunskapspotential och angiven ambitionsnivå. Begrepp såsom ”hög” eller ”låg” har använts av fem länsstyrelser. Övriga använder termer såsom ”jämn”, ”begränsad”, ”av vetenskapligt god kvalitet”, ”karaktären av grundforskning” eller liknande. Flertalet länsstyrelser väljer att i olika hög grad ge direktiv kring särskilda insatser eller prioriteringar vid undersökningen. Dessa kan vara i termer av procentandelar som får/ ska undersökas av ytor eller anläggningar, vilka analyser som anses som Utvärdering av anbud 2008 och 2009   29 nödvändiga eller anvisningar, och ibland tydligt angivna direktiv, kring vad undersökningen förväntas ge svar på. Ambitionsnivån kan också vara styrd av de anvisningar som anges i förfrågningsunderlaget avseende rapportering, fynd och konservering. Sammantaget kan man notera att sättet att formulera vald ambitionsnivå liksom omfattningen av de anvisningar och direktiv som anges skiljer sig åt mellan länen. Även valet i hur styrande man vill vara ser olika ut, vilket i sin tur har påverkan på undersökarens frågeställningar samt förslag till metod och omfattning vid undersökningen. 3.2.5  Modellens påverkan på lägsta pris vid utvärderingen Enligt föreskrifterna är det den mest kostnadseffektiva undersökningsplanen som ska antas. Med kostnadseffektivitet avses en undersökningsplan som bedöms kunna resultera i en undersökning av god kvalitet till en rimlig kostnad. Av Riksantikvarieämbetets Vägledning klargörs att länsstyrelsen, i samband med att kostnadskuverten öppnas, ska göra en prisjämförelse ”…mellan de undersökningsplaner som bedömts kunna resultera i en undersökning av god kvalitet. Därefter antas den mest kostnadseffektiva undersökningsplanen, det vill säga den plan som länsstyrelsen bedömer borgar för god kvalitet till rimlig kostnad.” (Vägledning 2007, avsnitt 5.3.2). ”Kostnaden för en kostnadseffektiv undersökning ska varken vara högre eller lägre än vad som kan motiveras utifrån undersökningens syfte och inriktning. länsstyrelsen ska avgöra om det råder balans mellan kostnad och genomförande” (Vägledning 2007, avsnitt 5.3.4). Under 2009 genomfördes 31 anbudsförfaranden. I 27 av dessa upphandlingar gick två eller flera undersökare vidare till prisjämförelse. Vid en jämförelse av de beslut där lägst anbudspris vann, alternativt inte vann upphandlingen, kan man konstatera att vald utvärderingsmodell inte tycks ha någon direkt inverkan på utslaget. Totalt två tredjedelar av anbuden som med lägst pris gick vidare till prisjämförelse har tagit hem anbudet, oavsett val av utvärderingsmodell. I nio anbudsförfaranden från 2009, där lägsta pris ej vunnit anbudet, var fem utvärderade utifrån den argumenterade modellen och fyra utifrån poängvägningsmodellen. I den argumenterande modellen vann högsta pris i två fall och vid poängvägningsmodellen vann högst pris i ett anbud. Av de 29 anbuden 2008 var det åtta anbudsförfaranden där något annat än lägsta pris vann anbudsförfarandet, två från den argumenterande modellen och sex från poängvägningsmodellen. I tre av dessa vann det anbud som haft högst pris Sammantaget visar statistiken inte på några stora skillnader avseende de ärenden där lägsta pris vinner/inte vinner anbudet. Möjligen borde den argumenterande modellen ge ett något större utrymme för en slutlig värdering av kostnaden i förhållande till helheten i anbudet då man inte är ”låst” av fastställda procentsatser vid utvärderingsmomentet, utan mer fritt kan göra en samlad bedömning utifrån undersökningsplan och kostnadsberäkning. Detta är dock inte något som hittills har visat sig statistiskt i 30  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin Procentsättning av kriterierna över tid, 2008 och 2009 12 Lägsta pris Ej lägsta pris 10 8 6 4 2 0 Argumenterande Poängvägning Diagrammet visar på förhållandet mellan de antal anbud där lägsta, respektive ej lägsta, pris vunnit upphandlingen utifrån vald utvärderingsmodell. Statistiken är hämtad från de anbudsförfaranden som beslutades under 2009. genomförda utvärderingar, även om antalet anbud där annat än lägsta pris vinner ökat under 2009. Ett överklagande berörde länsstyrelsens utvärdering enligt den argumenterande modellen där två undersökare gick vidare till prisjämförelse och där båda anbuden bedömdes kunna generera god arkeologi, men där länsstyrelsen ändå valde det dyrare anbudet. I en dom från 2009 (förvisso ej prejudicerande) avslås överklagan då Länsrätten menar att den mest kostnadseffektiva undersökningsplanen inte med nödvändighet behöver vara den med lägst kostnad, utan att länsstyrelsen istället ska göra en helhetsbedömning vid utvärderingen av anbud. 3.2.6  Förkastade anbud Av de anbudsförfaranden som genomförts under 2008 (29 stycken) hade länsstyrelsen vid sju av utvärderingarna (24 %) förkastats ett eller flera anbud. Fem av dessa utvärderingar gjordes av en och samma länsstyrelse och övriga två anbudsutvärderingar kom från två olika länsstyrelser, ett anbud vardera. Sex av anbuden var utvärderade enligt poängvägningsmodellen. Med förkastat menas här att de utvärderats men inte bedömts hålla god kvalitet och inte gått vidare till prisjämförelse, alternativt ej gått vidare efter det att kostnadskuverten öppnats. Vid 2009 års beslutade ärenden (31stycken) förkastades anbud i lite drygt en tredjedel av utvärderingarna (35 %). Fem av dessa utvärderades genom poängvägningsmodellen och sex genom den argumenterande modellen. Det lägre antalet anbud som ej gått vidare till prisjämförelse under 2008 kan sannolikt hänga ihop med en viss osäkerhet från länsstyrelsernas sida Utvärdering av anbud 2008 och 2009   31 20 18 16 14 12 10 8 6 4 2 0 Ambitionsnivå Förkastade anbud Antal Kvalitet Skall-krav Diagrammet visar de grunder till varför anbud förkastats vid utvärderingsmomentet. Statistiken är hämtad från 2008 och 2009 års anbudsutvärderingar. i hur man ska/kan agera utifrån de då nya föreskrifterna, liksom osäkerhet kring eventuella överklaganden som följd av ett sådant beslut/ställningstagande. Tittar man på motiveringarna i utvärderingsprotokollen till varför anbud förkastats, visar det sig att vanligaste orsaken varit att den i förfrågningsunderlaget angivna ambitionsnivån inte överensstämmer med undersökarens förslag i undersökningsplanen. Därefter följer länsstyrelsens bedömning om kvalitetsmässiga brister och i ett mindre antal upphandlingar har undersökaren inte svarat upp mot de skall-krav länsstyrelsen angett – se diagram ovan. Vid motiveringen till varför anbud har förkastats har ibland flera orsaker/ brister angetts vid utvärderingen. Om flera brister noterats, vilka motiverar att anbudet inte prisjämförs, har respektive brist tagits med i diagrammen ovan och nedan. Det i diagrammen redovisade ”antalet” är därmed fler än det totala antalet förkastade anbud. Vid bedömningen om vad som klassificerats som brister kopplade till ”Ambitionsnivå” respektive ”Kvalitet” har jag bedömt att brister som kan kopplas till för hög eller låg fälttid, maskintid, arkivtid eller ibland mer opreciserat ”Kostnad” varit ett uttryck för ambitionsnivå. Har man i utvärderingsprotokollet angett att bristerna utgörs av exempelvis svagheter som rör frågeställning, metod, analysval, kunskapsläge samt i vissa fall att undersökningsplanen varit otydlig, har dessa klassificerats som ”Kvalitet”. Förhållandet mellan respektive grupp redovisas i diagrammen på nästföljande sida. Mot bakgrund av ovanstående kan man konstatera att undersökarnas förmåga att upprätta anbud, där föreslagen ambitionsnivå inte överensstämmer med den som formulerats i länsstyrelsens förfrågningsunderlag, är vanligaste orsaken till att man inte låter anbudet gå vidare till prisjämförelse. 32  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin 14 12 10 8 6 4 2 0 Fälttid Ambitionsnivå Antal Maskintid Arkivtid (Kostnad) De brister (avseende ambitionsnivån) som utgör den vanligaste anledningen till att anbud förkastas är bedömning kring redovisad fälttid. Statistiken är hämtad från 2008 och 2009 års anbudsutvärderingar. 9 8 7 6 5 4 3 2 1 0 Frågeställning Metod Analys Kunskapsläge Otydlig Kvalitet Antal Diagrammet visar de grunder för varför anbud ur kvalitativ bemärkelse förkastats. Statistiken är hämtad från 2008 och 2009 års anbudsutvärderingar. Vanligast förekommande är att fälttiden bedömts som orealistiskt låg och att undersökaren inte bedömts kunna utföra undersökningen på ett sådant sätt att syftet kan uppnås, alternativt att den beräknade fälttiden inte kan säkerställa god kvalitet. I 3 fall har föreslagen fälttid bedömts som för hög och i 9 fall som för låg, för att på ett tillfredsställande sätt kunna genomföra undersökningen. I de fall kvalitetsaspekter legat till grund för bedömningen är det främst mot bakgrund av att frågeställningarna inte formulerats tillfredsställande i förhållande till angiven inriktning eller utifrån redovisat kunskapsläge, alternativt att frågeställningarna bedömts som alltför vaga eller otydliga. Även otydlighet avseende anbudet som helhet har i många fall varit orsak till att detta förkastats, där vanligen bristfälliga motiveringar eller att vag koppling mellan de olika delarna i undersökningsplanen, legat till grund för bedömningen. Utvärdering av anbud 2008 och 2009   33 Vid genomgången av motiveringarna i utvärderingsprotokollen gick det att notera vissa skillnader, länsstyrelserna emellan, avseende vad som varit avgörande vid bedömningen att förkasta anbud och hur man valt att motivera dessa brister i protokollet. Vissa har i högre grad angett exempelvis orimlig tidsåtgång som grund medan andra angett brister i formulerandet av frågeställningar eller otydlighet mellan undersökningsplanens olika delar. Två länsstyrelser har, på grund av obesvarade skall-krav, valt utesluta anbuden från prisjämförelse vid utvärderingen. Någon koppling mellan vald utvärderingsmodell och grund till varför man vid utvärderingsmomentet valt att förkasta anbud går inte att urskilja. 3.2.7  Överklaganden För de anbud som hade beslutats under 2008 överklagades fem stycken varav fyra (av totalt 12) hade utvärderats enligt den argumenterande modellen respektive en (av 17) enligt poängvägningsmodellen. Av 2009 års anbud överklagades totalt åtta stycken. Fem av dessa var utvärderade enligt den argumenterande modellen av då totalt 17 genomförda upphandlingar och tre överklaganden gjordes av totalt 14 anbud enligt poängvägningsmodellen. Sammantaget kan man konstatera att fler överklaganden görs av de anbud som utvärderats genom den argumenterande modellen. 2008 överklagades därmed 33 % av anbuden enligt den argumenterande modellen jämfört med 6 % av de anbud som utvärderats genom poängvägning. Året 2009 överklagades 30 % av anbuden som utvärderats enligt den argumenterande modellen respektive 21 % av anbuden enligt poängvägningsmodellen – se tabell nedan. 35 Procentuell andel överklaganden för respektive modell 2008 och 2009 Argumenterande Poängvägning 30 25 20 15 10 5 0 2008 2009 Diagrammet speglar den procentuella andelen överklaganden åren 2008 och 2009 för respektive modell. 34  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin 9 8 7 6 5 4 3 2 1 0 2008 2003 Antal Antal domar per år för överklagade anbud 2004 2005 2006 2007 2008 2009 Diagrammet redovisar antalet domar per år för överklagade anbudsförfaranden under perioden 2002–2009. I drygt 75 % av ärendena avslås överklagan (10 av 13 stycken). I de ärenden överklagan bifallits hade två utvärderats genom den argumenterande modellen och ett genom poängvägningsmodellen. Av de överklaganden som bifallits var två ärenden beslutade under 2008 och ett under 2009. Statistiken visar på att antalet överklaganden totalt sett har ökat mellan åren 2008 och 2009 – se tabell ovan. Trenden är således negativ i det perspektivet att antalet överklaganden ökar. Överklaganden skapar, förutom det merarbete detta medför för alla inblandade parter såsom Förvaltningsrätt, undersökare och länsstyrelse, också förseningar av viktiga samhällsintressen, såsom byggnation, vägar och järnväg liksom detaljplaner för bostäder, industri med mera. Någon direkt anledning till ökningen är dock svårt att ge ett entydigt svar på. Endast i två län har beslut överklagats både 2008 och 2009. Av de åtta överklaganden som gjordes 2009 var alltså sex av dessa på länsstyrelser som tidigare inte haft några överklaganden, alternativt inte haft något anbudsförfarande. Innehållsmässigt har överklaganden från 2008 sin grund i bland annat att bedömning och utvärdering strider mot föreskrifterna, otydligheter i förfrågningsunderlag respektive utvärderingsprotokoll avseende viktning och värdering av kriterier eller misstanke om jäv och kartellbildning. Av överklaganden relaterade till 2009 års beslut kan man konstatera att i åtminstone fem av åtta fall är länsstyrelsens otydlighet i förfrågningsunderlaget avseende ambitionsnivån, alternativt bedömning som gjordes vid utvärdering av denna, en av de delar som nämns vid överklagan. Andra grunder för överklagan har varit att man anser att länsstyrelsens bedömning har varit felaktig avseende exempelvis rimlighet i olika moment av undersökningen eller att vinnande anbud uppvisar brister som inte beaktats vid utvärderingen. 4.  Intervjuer Som ett sista led i studien formulerades ett antal frågor till de länsstyrelser som genomfört upphandlingar samt till ett urval undersökare som haft eller medverkat i anbudsförfarande under perioden 2008 och 2009. Intervjuer med länsstyrelserna genomfördes under maj och juni månad och svar på frågor till undersökarna inhämtades under november månad 2010. 4.1  Bakgrund till intervjumomentet Intervjufrågorna till länsstyrelserna och undersökarna avsåg att fånga upp de erfarenheter man fått utifrån genomförda upphandlingar sedan de nya föreskrifterna trädde i kraft. Frågorna var därför riktade utifrån olika perspektiv kring anbudsförfarande med inriktning på både den praktiska handläggningen och formalia kring detta samt olika perspektiv kring själva genomförandet av utvärderingen. Syftet var också att lyfta fram de mest avgörande kriterierna vid bedömning av undersökningsplaner samt att ta del av länsstyrelsernas och undersökarnas olika syn och erfarenhet kring detta. Frågorna var grovt sett indelade i sex olika grupper enligt nedan: • • • • • • Personell bemanning samt kvalitetssäkring Erfarenheter från anbudsutvärdering samt beslut Ambitionsnivå Kostnaden Utvärderingsmodell Övergripande frågor kring anbudsförfarande Vid intervjumomentet kontaktades alla 13 länsstyrelser som haft anbud utom en. Den länsstyrelse som inte intervjuades hade bara haft ett anbud under aktuell period och ansvarig handläggare där var inte längre i tjänst. Från övriga länsstyrelser intervjuades en eller flera handläggare som ansvarat för anbudsförfaranden. De svar som inhämtades kan till viss del därför ha varit den enskilde handläggarens syn på respektive fråga och att svaren skulle kunna ha skiljt sig åt om någon annan av handläggarna från samma länsstyrelse intervjuats. Dessutom kan svaren ha påverkats av erfarenheter från 2010 års anbudsförfaranden, vilka ej studerats inom ramen för utredningen. De anbud som studerats har endast berört 2008 och 2009 års anbud, varför jämförelsen mellan analysen av genomläsning av anbud kan skilja sig åt från de svar som getts vid intervjutillfället. Av de länsstyrelser som genomfört mer än två anbudsförfaranden under den studerade perioden skedde intervjun genom platsbesök på respektive ort. Övriga länsstyrelser intervjuades via telefon. Frågorna som ställdes till undersökarna var i princip samma som de frågor som ställts till länsstyrelserna, men fick ibland omformuleras för att kunna besvaras adekvat. De undersökare som kom att tillfrågas skulle ha varit verksamma vid ett flertal anbudsförfaranden under 2008 och 2009. 36  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin Urvalet utgick från de undersökare som lämnat anbud i Östergötlands och Stockholms län under den aktuella perioden och skulle representera erfarenheter och perspektiv från både privata företag, länsmuseer och två UV-kontor. Totalt kontaktades åtta undersökare varav fyra av dessa intervjuades vid besök på respektive kontor och där övriga fyra undersökare ombads inkomma med svar via e-post. Tre av dessa sistnämnda besvarade frågorna. Alla undersökare utom en hade medverkat i anbudssammanhang hos flera olika länsstyrelser och hade erfarenhet från utvärdering av både poängvägningsmodellen samt argumenterande värdering. De samlade svaren redovisas under respektive rubrik, där länsstyrelsernas svar redovisas överst och där undersökarnas svar följer under detta. 4.2  Sammanställning av resultatet 4.2.1  Personell bemanning samt kvalitetssäkring Länsstyrelsernas synpunkter Normalt sett är det en handläggare på länsstyrelsen som är ansvarig för upphandlingen, där eventuella kollegor utgör stödpersoner vid utvärderingen. I de fall bemanningen endast utgörs av en person som handlägger uppdragsarkeologiska ärenden, alternativt anbudsförfaranden, sköts utvärderingen vanligen av ansvarig handläggare tillsammans med Länsantikvarien som stödperson. Länsantikvarien är aktivt medverkande i anbudsförfarande, speciellt vid granskning av utvärderingsprotokollet samt beslut på flertalet länsstyrelser, även om minst två handläggare medverkat vid utvärderingen. Vid de länsstyrelser där flera handläggare deltar sker vanligtvis inläsningen av anbud enskilt, inklusive preliminär bedömning, innan ett första möte hålls för diskussion kring värdering. Utifrån diskussionen upprättas ett utvärderingsprotokoll som, antingen under skrivandets gång eller som färdigskriven version, granskas av den eller de kollegor som agerar stödperson och av Länsantikvarien, om denne/denna är delaktig. Drygt hälften av länsstyrelserna har någon gång använt sig av extern kompetens vid utvärderingssammanhanget. Flertalet var också positiva till att göra detta i framtiden. Främsta orsaken till användandet av extern kompetens grundade sig på bedömningen att man saknade tillräcklig specialistkompetens i den aktuella frågan/ärendet eller att man ville höja kompetensen för att säkra den vetenskapliga bedömningen. Vid tre fall (tre olika länsstyrelser) har handläggare med aktuell specialistkompetens inhämtats från andra länsstyrelser. I de fall förtagarens beställarstöd medverkat vid upphandling har dennes uppgift varit begränsad till frågor kring formalia och personen har ej varit inblandad kring värderande bedömningar av innehåll eller liknande. Exempel finns också på användandet av specialistkompetens från enskilda konsulter eller att man knyter upp personer från universitet. Kvalitetssäkringsrutiner fanns mer eller mindre utarbetade vid alla länsstyrelser. Tydligast fanns det fastlagda rutiner kring anbudsöppning samt beslut. För att öka objektiviteten vid utvärderingarna betonades också vikten av att flera personer var delaktiga, vilka då ofta oberoende av varandra, läst in sig samt på egen hand gjort bedömningar kring respektive anbud. Få Intervjuer  37 länsstyrelser hade någon fastställd mall för utvärderingsprotokollet och ett mindre antal uppgav att de hade framtagit en checklista för genomgång av skall-kraven. Vid ungefär hälften av besluten i samband med anbud är jurist medverkande, men endast undantagsvis har de tagit del av innehållet i utvärderingen. I samband med att de nya föreskrifterna trädde i kraft var andelen dock högre. Flera av de länsstyrelser som inte använder sig av juridisk kompetens menar att juristerna generellt sett saknar tillräckliga kunskaper kring det uppdragsarkeologiska systemet, varför de nu klarar det själva. Undersökarnas synpunkter Drygt hälften av undersökarna uppgav att en (1) person är huvudansvarig för anbudet och att i de flesta fall finns ytterligare minst en person som agerar bollplank alternativt bidrar med specialistkunskap för det aktuella uppdraget. Övriga undersökare uppger att två eller flera personer delar på ansvaret för upprättande av anbud och samarbetar genom att exempelvis besvara olika delar av kravspecifikationen. Totalt två till upp emot sex personer uppgavs kunna vara involverade i arbetet. I flertalet fall har chef eller VD en slutlig översyn på anbudet innan det lämnas till länsstyrelsen. Majoriteten av undersökarna uppger att de anlitar extern eller intern expertis som också medverkar i, alternativt rådfrågas, vid anbudsskrivandet. Möjligheten att samarbeta med externa underkonsulter upplevdes av vissa undersökare som komplicerad, då underkonsulter ibland inte ville åta sig uppdrag från fler än en anbudsgivare. Inom vissa sakområden var expertis anställd av konkurrerande undersökare, vilket omöjliggjorde ett samarbete för det aktuella uppdraget. Tidsåtgången för anbudsskrivande varierar något anbudsgivarna emellan. Fem av sju tillfrågade uppger att en normal tidsåtgång ligger någonstans mellan 80–120 timmar och övriga två uppskattar tidsåtgången till 150–200 timmar. Ett fåtal uppgav att en i förväg definierad (och för uppdraget anpassad) tidsåtgång var bestämd inför upprättande av varje anbud och några angav att man anpassar tiden efter faktiska förutsättningar och utifrån uppdragets storlek. Alla undersökare uppgav att de hade utvecklat kvalitetssäkringsrutiner för anbudsförfarande. Några har tagit fram ett arbetsdokument, flödesschema eller manual för upprättande av anbud och några angav att man använder förfrågningsunderlaget som grund för detta. Chef eller person i ledande ställning gör vanligen en värdering av anbudets rimlighet avseende kostnaden samt går igenom skall-satser. Slutlig genomgång av kostnadsberäkningen görs vanligen av chef eller VD och hos ett mindre antal undersökare av ekonomihandläggare. Drygt hälften av undersökarna angav att man kontinuerligt tar in konkurrenters handlingar efter beslut, för genomläsning och jämförelse samt för anpassning till den berörda länsstyrelsen inför kommande upphandlingar. Vissa av dessa gör även sammanställningar av olika länsstyrelsers prisnivåer för olika fornlämningskategorier respektive gör analys och statistiska beräkningar över vad som värderats högt och lågt vid olika anbudssammanhang och så vidare. Som grund för anbudsupprät- 38  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin tande uppgav några att man bygger upp egna kunskapsbanker bestående av anbud, kartmaterial, rapporter och övrig relevant källitteratur, för långsiktig kunskapsuppbyggnad och inför kommande uppdrag. 4.2.2  Erfarenheter från anbudsutvärdering samt beslut Länsstyrelserna tillfrågades om de (eventuella) svårigheter som kan upplevas vid utvärdering av anbud med betoning på de vanligast förekommande kriterierna: kompetens, vetenskaplig relevans, genomförande, pris med mera. Undersökarna tillfrågades om erfarenheter från att anpassa anbuden till ovan angivna kriterier. Länsstyrelsernas synpunkter Kompetens – De svar som länsstyrelserna gav rörde främst bedömningen av personalens kompetens hos undersökarna, vilken upplevdes som olika svårt att utvärdera av de handläggare som intervjuats. De svårigheter som är mest framträdande var hur man ska värdera praktisk fälterfarenhet kontra akademisk examen. Hur man ska värdera en disputerad arkeolog i det aktuella anbudet när berörd fornlämning inte har med något med avhandlingsämnet att göra eller i de fall där fälterfarenheten år låg eller ”gammal”? Värderingen av personalens kompetens kan också upplevas vara en känslig fråga då detta blir direkt kopplat till en enskild person. En annan faktor som komplicerar bedömningen kan vara att angiven personal inte behöver vara den som sedan kommer att leda grävningen. Detta problem kan vara avgörande om personen hyser specialistkompetens, som man vid utvärderingen bedömt som betydelsefull och betygsatt/värderat högt. De länsstyrelser där vanligen endast två undersökare finns representerade vid anbudsförfaranden ansåg inte att värderingen av kompetens vållade några problem. Personalens kompetens bedömdes där generellt som hög och man ansåg sig ”känna till” företagen, respektive ansvarig personal, väl. Företagets kompetens nämndes endast kortfattat av länsstyrelserna och tycktes inte vålla några större problem vid utvärderingen. De aspekter som ändå nämndes var problemen med värderingen av ett litet företag kontra ett stort alternativt ett relativt nystartat, med jämförelsevis kort erfarenhet, kontra de sedan länge etablerade grävande institutionerna. Företagets erfarenhet av liknande uppdrag avseende komplexitet, omfattning och karaktär betonades också i detta sammanhang som av betydelse för värderingen. Vetenskaplig relevans – En svårighet som anfördes av flera länsstyrelser var möjligheten för handläggarna att själva hänga med i ”forskningsfronten” eller att de inte besitter en för den aktuella undersökningen tillräcklig kunskap. Bedömningen av den vetenskapliga relevansen, beskrivning av kunskapsläge med mera kan till viss del också bli styrd av undersökarnas beskrivning och redogörelse. Redovisningen kan också skilja sig åt sinsemellan respektive kopplas samman med av undersökaren framtaget forskningsprogram, vilket man sällan har tid att läsa in sig på. Förmågan att koppla samman redovisat kunskapsläge med av undersökarna angivna frågeställningar är en annan brist som noterats vid utvärderingen. Även stora textmängder har anförts Intervjuer  39 som ett problem i detta sammanhang. Vissa länsstyrelser bedömer ej den vetenskapliga relevansen vid utvärderingen av anbud. Genomförande – Bedömningen av genomförande anses av flertalet handläggare på länsstyrelserna vara förhållandevis okomplicerat. Det som främst beskrivs kan vålla problem är att relatera vald metod, inklusive analys, fynd, underkonsulter med mera till valda frågeställningar – alltså kopplingen mellan metod och vetenskaplig relevans. Flera länsstyrelser ansåg även att metodbeskrivningarna sällan skiljer sig åt nämnvärt och att man tänker och resonerar likvärdigt undersökarna emellan. Pris – För de länsstyrelser som använder poängvägningsmodellen anger flertalet att priset inte är något problem, då värderingen av detta löser sig av modellen. Problem kan dock uppstå på grund av den procentsats man i förfrågningsunderlaget angett för värderingen av pris, om anbuden kvalitativt skiljer sig åt stort. För de länsstyrelser som använder den argumenterande modellen värderas priset utifrån en helhetsbedömning med koppling till angivelserna i förfrågningsunderlaget, fornlämningens kunskapsvärde, vald strategi för genomförande och så vidare, i förhållande till det förväntade kunskapsutfallet och vad som länsstyrelsen efterfrågar. Därmed görs vanligen en slutlig värdering av anbudet som helhet efter det att kostnadskuverten öppnats, vilket ej har sin grund i lägsta pris utan sker utifrån vad som är att betrakta som kostnadseffektivt. Värderingen av vad som en ”rimlig kostnad” upplevs i vissa fall som svår att bedöma. Övrigt – Problem finns med att värdera dåligt skrivna anbud där innehållet är bra, då detta kan påverka helhetsbedömningen. Anbud där kopplingen mellan de olika delarna inte hänger ihop, såsom kunskapsläge, frågeställningar, genomförande, analysval med mera är ett annat förekommande problem i de undersökningsplaner som granskas. Undersökarnas synpunkter Kompetens – Man utgår normalt sett utifrån den personal man har och förstärker vid behov med extern kompetens. Den eller de som är mest meriterade blir vanligen också ansvariga. En risk betonades här i att man ofta tvingas sätta in samma personal i ansvarig ställning (disputerad och med lång erfarenhet), vilket på sikt kan försvåra återväxten. Några undersökare angav att man rekryterat personal för att bredda personalens/företagets samlade kompetens och för att kunna möta upp mot kraven i en konkurrenssituation. Knappt hälften av undersökarna angav att de hellre skulle se att personalens kompetens som ett minimikrav i kravspecifikationen. Därmed skulle inte enskilda personer värderas eller poängsättas och kriteriet skulle inte kunna bli utslagsgivande vid utvärderingen. Risk finns också för att angiven personal av olika anledningar inte kan medverka vid undersökningstillfället, vilket i sådana fall kunnat ha påverkan på utvärdering och utfall i beslut. Företagets kompetens berördes bara av två undersökare som ansåg dels att mycket av den informationen redan skickats in till länsstyrelserna 40  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin genom intresseanmälan måste redovisas en gång till, vilket upplevdes som onödigt, dels påpekades att man hos vissa länsstyrelser värderar eventuell rapportskuld i kriteriet företagets kompetens, vilket upplevdes som positivt. Vetenskaplig relevans – Av de fyra undersökare som besvarat frågan angav hälften att detta inte utgjorde några problem och hälften att man önskar ökad tydlighet från länsstyrelsen om vad som efterfrågas så att svaret kan anpassas avseende dess innehåll, kvalitet och omfång. Om begränsningar saknas från länsstyrelsen kan för mycket resurser läggas på denna del, vilket kan skapa stora olikheter anbuden emellan. De som inte ansåg att kriteriet utgjorde några problem var också de som sa sig ha byggt upp referensmaterial i form av rapporter, kartor, konkurrerande anbud med mera. Genomförande – Kriteriet angavs av flertalet undersökare vara den punkt som läggs ner mest tid på i undersökningsplanen. Kopplingen till vetenskapliga relevansen och formulerade frågeställningar bedöms av många som avgörande för att formulera ett relevant och adekvat genomförande. Någon undersökare ansåg att länsstyrelsen ibland tycktes ha tankar kring detta som ej uttryckts i förfrågningsunderlaget och någon annan ansåg att länsstyrelsen borde ange vad som ska göras. Behov av metoddiskussioner, frikopplat från anbud, lyftes fram av några undersökare som viktigt för spridning av kunskap, tekniska innovationer och för diskussion kring metoders lämplighet inom fältarkeologin. Pris – Kostnaden sågs av flertalet undersökare som en följd av angiven ambitionsnivå och föreslaget genomförande och att priset utgjorde en logisk konsekvens av hur lång tid det tar att dokumentera och undersöka för att besvara uppsatta frågeställningar. Utifrån framräknad kostnad påtalade flera att man tvingas pressa ner priset ytterligare för att öka möjligheterna till att ta hem anbudet. Främst görs detta utifrån en översyn över rimlighet och de moment som vanligen skärs ned är rapporttid liksom analys- och konserveringskostnad. Ytterligare ett problem som nämndes var att bedömningen av vad som är att betrakta som rimligt pris skiljer sig åt mellan länsstyrelser. En undersökare tog upp att förhållandet till procentsättning av kriterierna, i de fall anbudet kommer att bedömas enligt poängvägningsmodellen, kan ha betydelse vid den slutliga genomgången och kostnadsöversynen. Övrigt – Flertalet undersökare önskade överlag en ökad tydlighet från länsstyrelserna av vad det är man efterfrågar, för att det ska vara möjligt anpassa anbudet till kriterierna ovan. 4.2.3  Textskrivning Avseende fri kontra begränsad textskrivning i undersökningsplanerna har sju av de 12 tillfrågade länsstyrelserna begränsat eller styrt textmängden helt eller delvis i undersökningsplanerna. Fyra av dessa har reglerat möjligheten att skriva på alla delar och tre länsstyrelser har begränsat avseende bland annat vetenskaplig relevans och frågeställningar. En länsstyrelse anger istället Arkeologiska undersökningar längs E22 i Blekinge 2011. Foto: Eva Skyllberg. 42  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin max antal sidor som begränsning. Två av de länsstyrelser som idag ger fri möjlighet att skriva i undersökningsplanerna avser att i framtiden begränsa detta och ytterligare två anser att det skulle vara bra om undersökarna kunde begränsa sig. Ur Riksantikvarieämbetets Vägledning anges följande rörande kring textmängd i undersökningsplaner:”I ett system med konkurrens där undersökaren som lämnar ett förslag till undersökningsplan inte kan räkna med att få utföra undersökningen kan resurserna som läggs ned på undersökningsplanerna upplevas som ett problem. Det är därför önskvärt att undersökningsplanerna hålls kortfattade och koncentreras på själva undersökningen. Det är av stor vikt att undersökningsplanen är konkret och lättillgänglig och det är framförallt de metoder och frågeställningar som ska appliceras på den aktuella platsen som ska beskrivas och motiveras. Beskrivningar och tolkningar av fornlämningsmiljön i relation till tidigare forskning bör av resursskäl hållas begränsad.” (Vägledning 2007, avsnitt 3) Länsstyrelsernas synpunkter De erfarenheter som nämnts från de länsstyrelser som använder fri textskrivning är till största delen negativa. Främst handlar det om att det kan vara svårt att få ut det mest betydelsefulla när textmängden är för stor liksom att det kan vara svårt att värdera olika anbud när textmängden skiljer sig åt mellan anbuden. Fördel som nämnts med fri textskrivning kan vara att man ger utrymme att brodera ut texten, när så behövs, att det kan vara en ”intressant läsning” samt att det är viktigt att (i vissa delar) ge undersökaren tillräckligt utrymme att skriva. De länsstyrelser som valt att begränsa textmängden anger ofta som anledning att undersökningsplanerna blir mer kärnfulla och konkreta. Begränsade textmängder ansågs också underlätta bedömningen vid utvärderingsmomentet samt jämförelsen anbuden emellan. Någon koppling mellan vald utvärderingsmodell och de länsstyrelser som anger/inte anger begränsning för textmängd i undersökningsplan var inte noterbar. Undersökarnas synpunkter En (1) av de sju undersökare som besvarat frågorna hade ingen erfarenhet av styrd textmängd i undersökningsplan men ansåg att fri textskrivning ofta gör det svårt att jämföra anbuden i efterhand. Av övriga undersökare, som hade erfarenhet från både fri och begränsad textmängd ansåg en (1) att fri textskrivning ger ökad tydlighet och skapar utrymme för att argumentera och förtydliga delar av anbudet. Övriga fem undersökare ansåg att styrd textmängd var att föredra. Motiveringarna från undersökarna överensstämde med majoriteten av länsstyrelsernas synsätt och utgick från att det tvingar fram konkretiseringar och att fokus läggs på det viktiga, vilket ökar tydligheten i anbudet. Fri text ansågs inte heller som kostnadseffektivt samt att mycket tid och pengar läggs ner för de undersökare som inte tar hem upphandlingen. Styrd textmängd underlättar dessutom jämförelsen mellan anbuden. Tre av de undersökare som förordat begränsad textskrivning betonade dock att utrymmet ibland var för begränsat och att möjligheten Intervjuer  43 att skriva måste anpassas efter förutsättningarna i uppdraget. Begränsningar i antal sidor upplevdes överlag som negativt och i de svar detta togs upp förordades istället begränsningar av antal tecken. Två undersökare betonade att länsstyrelsen inte bör tillåta att anbud prisjämförs om de överskridit begränsningarna, då detta skapar ojämlika förutsättningar för upprättande av anbud. 4.2.4  Beslut Länsstyrelsernas synpunkter Hälften av de tillfrågade länsstyrelserna ansåg sig ha fattat beslut där de inte varit nöjda med vinnande anbud. Två av dem som använder den argumenterande värderingen och fyra av dem som använder poängvägningsmodellen. De anledningar som togs upp var bland annat för höga respektive låga kostnader, begränsning i utvärderingen mot bakgrund av vald modell (poängvägning – kriteriernas procentsatser) samt brister i förfrågningsunderlaget. Andra orsaker som nämnts är när flera bra anbud inkommit och där man tvingas välja, eller det motsatta när man inte är särskilt nöjd med något anbud och står inför valet att starta om upphandlingen. Undersökarnas synpunkter På frågan om man som undersökare tagit kontakt med länsstyrelsen avseende sin reaktion på utvärderingen svarade alla ja. Syftet med kontakten har bland annat varit att klara ut missförstånd i de fall man anser att länsstyrelsen tolkat och bedömt anbudet felaktigt, att utvärderingen varit otydlig eller att motiveringarna varit svåra att förstå. Erfarenheterna från de kontakter som tagits är länsstyrelsen är blandade. Tre undersökare anser att länsstyrelsen dåligt tar till sig synpunkter, två menar att de lyssnar (men att beslut redan har fattats) och en undersökare uppger att dialogen generellt sett är bra, även om man i sak inte är överens. 4.2.5  Överklaganden Länsstyrelsernas synpunkter Sjuttiofem procent av de tillfrågade länsstyrelserna har haft överklagade anbudsförfaranden. En negativ konsekvens som många nämner är den ökade tidsåtgång och det merarbete som en överklagan innebär samt de konsekvenser det får för genomförandet av undersökningen. En försening som både slår mot företagare och samhälle med en försenad byggstart samt de problem en ogynnsam årstid kan få för det arkeologiska genomförandet. Främst nämns formaliafel som anledning till överklagande och mer sällan är det länsstyrelsens bedömning av delar av undersökningsplanen som är grunden för överklagan. Erfarenhet man på länsstyrelserna fått genom överklaganden är ökad noggrannhet av uppföljning av formalia såsom skall-krav liksom att protokollet öve­ rens­ stämmer med angivelserna i förfrågningsunderlaget. Uppmärksammade brister eller otydligheter ses över och åtgärdas. Av de läns­ styrelser som använder poäng­ vägningsmodellen har tre av dessa haft överklagande beslut 44  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin (3 av 6 länsstyrelser). Av dem som använder den argumenterande modellen har 5 av 7 länsstyrelser haft överklaganden. Undersökarnas synpunkter Fem av sju tillfrågade undersökare sade sig ha överklagat länsstyrelsens beslut vid anbudssammanhang. Två av dessa uppger att de inte längre har för avsikt att överklaga mot bakgrund av ekonomiska skäl, då tidsåtgången för detta är avsevärd, att relationen med både företagare och länsstyrelse försämras genom ett överklagande samt att Förvaltningsrätten endast tittar på formalia. Orsaken till att man överklagat har uppgetts vara att man som undersökare vill markera felaktigheter i utvärderingen/bedömningen, att det kan finnas en personlig nytta för företaget att överklaga eller att det kan vara till nytta för systemet. De negativa konsekvenserna av överklaganden har av tre undersökare uppgetts leda till försämrad relation till länsstyrelsen. Man får länsstyrelsen ”onda öga” på sig, vilket hänger kvar i fortsatta kontakten med myndigheten. Positiva effekter som nämnts kan vara att man genom överklaganden prövar systemet samt att man genom detta uppnått ett tydligare bedömnings- och utvärderingsförfarande. 4.2.6  Kostnaden Länsstyrelsernas synpunkter I princip alla länsstyrelser gör en bedömning av vad som kan förväntas vara en rimlig kostnad inför en upphandling och den beslutade kostnaden ligger i de allra flesta fall i nivå med den förväntade. Fyra länsstyrelser anger att kostnaden ofta eller ibland ligger något lägre än förväntat och två länsstyrelser har i något enstaka fall upplevt att kostnaden ligger högre. Flera länsstyrelser gör skuggberäkningar utifrån tidigare undersökningar, fornlämningstyp, markslag, topografi och så vidare, alternativt använder en egen databas för bedömning av kostnaden inför upphandlingen. Den fornlämningstyp som nämnts som svårast att beräkna kostnaden för är undersökning av stadslager. En länsstyrelse betonade att priset inte ska vara avgörande utan kvalitet i förhållande till kostnaden och en annan att Länsstyrelsen inte har något egenintresse att sänka priserna. I de fall kostnaden varierat stort mellan anbuden anfördes många olika orsaker till detta. Det som vanligen nämndes var missförstånd avseende uppfattningen av angiven ambitionsnivå. Bristande förundersökningar, otydliga förfrågningsunderlag, skillnader i undersökningsmetodik, förförståelse samt erfarenhet av liknande grävningar, var några av de annars vanligaste anledningar som ansågs ligga till grund för kostnadsvariationer. Hälften av de intervjuade länsstyrelserna ansåg att kostnaden får, eller kan få, ett allt för stort genomslag i utvärderingarna. Främst är det de länsstyrelser som använder poängvägningsmodellen som anser att priset kan få för stor betydelse. Av dessa var det endast en Länsstyrelse som svarade att priset inte haft denna betydelse i genomförda upphandlingar, medan övriga ansåg att priset haft mer eller mindre stor betydelse vid val av undersökare. Grunden till ”problemet” ansågs generellt hänga samman med viktningen i procent, vilket omöjliggör en värdering efter det att kostnaden tagits fram. Intervjuer  45 Då möjligheten finns att inte låta ett anbud gå vidare till prisjämförelse finns dock förutsättningar att motverka betydelsen av ett lågt räknat pris genom en rimlighetsbedömning av genomförandet kontra tid och pris. Av de länsstyrelser som använder sig av den argumenterande modellen var det endast en som ansåg att det finns en risk i att priset får genomslag, eller påverkar bedömningen i utvärderingarna. Övriga ansåg att kostnaden inte var avgörande då värderingen grundar sig på bedömningen av pris i förhållande till kvalitet och dess rimlighet. Undersökarnas synpunkter Sex av sju undersökare anser att stora kostnadsvariationer hänger samman med otydligheter i förfrågningsunderlaget som rör den angivna ambitionsnivån. Tre undersökare menar även att man utifrån olika grävtraditioner, erfarenheter, kompetens och intressen tolkar ambitionsnivån olika undersökarna emellan, vilket har påverkan på priset. Fyra undersökare anser att otydligheter i förfrågningsunderlagets övriga delar såsom angiven inriktning, fynd- och rapporteringsanvisningar, avgränsningar och så vidare kan ha betydelse för kostnadsvariationer. Andra faktorer som nämndes var bristfälliga förundersökningar, lågt beräknade rapporttider och konserveringskostnader, skillnader i metodval, taxor och reseavstånd samt olika förkunskaper och olika traditioner undersökarna emellan. På frågan om undersökarna upplever att priset får/kan få ett allt för stort genomslag i utvärderingarna svarade två stycken Ja och två Nej. Övriga tre undersökare svarade både ja och nej, vilket kan spegla att man haft olika erfarenhet från olika länsstyrelser samt att bedömningen om prisets betydelse kan skilja sig åt från anbudsförfarande till anbudsförfarande. De synpunkter som kopplats till svaren skiljer sig också åt mellan undersökarna. Någon menar att vissa länsstyrelser väljer anbud där kostnaden ligger i mittsegmentet medan andra väljer lägsta pris utan att beakta anbudens kvalitet. En annan menar att i de fall länsstyrelsen varit tydlig i förfrågningsunderlaget ska priset få stort genomslag och när de inte varit tydliga avspeglar det skillnader i ambitionsnivå. 4.2.7  Utvärderingsmodell Av de 12 intervjuade länsstyrelser som haft anbud under 2008 och 2009 använder sig nu sex stycken av den argumenterande/värderande modellen och sex stycken av poängvägningsmodellen. Orsaken till val av modell för utvärdering av anbud har nämnts under avsnitt 3.2. För att nå insikt över de erfarenheter man fått från användandet av respektive modell ombads länsstyrelserna respektive undersökarna beskriva de för- respektive nackdelar som noterats vid anbudsförfarande. Fördelarna samt nackdelar kan sammanfattas enligt följande: Poängvägningsmodellen Länsstyrelsernas synpunkter Fördelarna som länsstyrelserna angav sammanfattas enligt följande: Modellen anses skapa goda förutsättningar att nå objektivitet, förutsägbar- 46  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin het, genomsiktlighet och rättssäkerhet. Poäng kopplas till beskrivande text för att öka förståelsen hos undersökarna. Modellen upplevs också vara ett stöd vid värderingen och ett sätt att uttrycka och öka tydligheten i vad och hur man värderar. Dessutom betonades att modellen gör det enklare att förstå länsstyrelsens bedömning för dem som inte är insatta i arkeologin (exempelvis företagaren) samt för domstol vid ett eventuellt överklagande. Nackdelarna med modellen beskrevs av länsstyrelserna på följande sätt: Man analyserar inte kostnad i förhållande till kvalitet och genomförande, varför priset blir utslagsgivande. Det är svårt att ange ”rätt” procentsats i förfrågningsunderlaget liksom att sätta ”rätt” betyg vid utvärderingen. Det finns inga nyanser i betyget. Små skillnader i anbud är svårt att omvandla till en siffra och kan få stor konsekvens i betygssättningen. Modellen upplevs som stel och man är vid utvärderingen låst vid den viktning man angett. Svårighet finns också vid att hantera låga kostnader. Undersökarnas synpunkter Fördelarna som undersökarna angav sammanfattas enligt följande: Sex av sju tillfrågade undersökare hade erfarenhet från poängvägningsmodellen. Fem av dessa betonar att modellen ger en ökad tydlighet, både avseende vad länsstyrelsen bedömer som bra eller dåligt samt att det för undersökarna, genom betygssättningen, ger möjlighet att avläsa nyanser i bedömningen av anbudets olika delar. Flertalet av dessa betonade också betydelsen av resonerande motivering, för förståelsen av det betyg som getts. Att kombinera betyg med motivering ansågs tvinga fram en ökad tydlighet hos länsstyrelsen. Modellen beskrevs av en undersökare som kvantifierbar och därför utvärderingsbar. Någon angav att den upplevdes som mer objektiv och någon annan ansåg att den underlättar konkurrenssituationen. Nackdelarna som undersökarna angav sammanfattas enligt följande: Hälften av undersökarna betonade bristen på definitioner för olika betygsnivåer, alltså vad som krävs för att uppnå ett visst betyg vid utvärderingsmomentet. Avsaknad av bedömningsgrunder ansågs försvåra möjligheterna att anpassa anbudet till vad som efterfrågas samt minskar läsbarheten i utvärderingen. Två undersökare angav att modellen ger en skenbar objektivitet, fast den bygger på subjektiva värderingar. Procentsättning av kriterierna ansågs inte ge mycket stöd vid upprättande av anbud då de sällan skiljer sig åt anbuden emellan. Avseende kompetenskriteriet ansåg två undersökare att företagets kompetens borde utgöras av skall-krav i förfrågningsunderlaget och två att personalens kompetens borde anges som skall-krav. En undersökare ansåg att vetenskaplig relevans och genomförande borde utgöra ett (1) kriterium, då dessa hänger samman och det är orimligt att få högt betyg på det ena och lågt på det andra. Från en undersökare föreslogs att bedömningen Godkänd respektive Underkänd borde räcka vid utvärdering av angivna kriterier. Argumenterande modellen Länsstyrelsernas synpunkter Fördelarna som länsstyrelserna angav sammanfattas enligt följande: Arkeologiska undersökningar längs E22 i Blekinge 2011 (lokal 89). Foto: Carolina Andersson. 48  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin Modellen gör det lätt att jämföra anbud. Då bedömningen görs på ”mjuka värden” passar det bättre att värdera i ord än i siffror. Modellen ger utrymme att värdera sådant som kan vara svårt att poängsätta. Den ger möjlighet att värdera kvalitet kontra pris. Prisets ”riktighet” i förhållande till kvalitet säkras. Bedömningen görs inte om kostnaden är hög eller låg utan om den är rimlig. Nackdelarna med modellen beskrevs av länsstyrelserna på följande sätt: Modellen tar mycket tid i anspråk vid utvärderingstillfället! Vissa anser att det är svårt veta hur mycket man ska skriva för att budskapet ska nå fram samt att modellen har en lägre grad av genomsiktlighet. Några ansåg att risken för överklagande var större och att man måste vara försiktig i sina omdömen och väga orden för att undvika detta. Då det till viss del rör sig om subjektiva värderingar kan man ej visa svart på vitt i siffror på hur man värderar. Någon ansåg också att modellen kan upplevas som svår att förstå för undersökaren. Undersökarnas synpunkter Fördelarna som undersökarna angav sammanfattas enligt följande: Sex av sju undersökare besvarade frågan. Hälften av dessa ansåg att den argumenterande värdering ger ökad förståelse för vad man gjort bra eller dåligt i anbudet. Modellen ansågs av två ge en mer nyanserad respektive fördjupad förklaring till värderingen samt att detta ökar förståelsen för den bedömning länsstyrelsen gjort. Länsstyrelsen tvingas formulera sig och utvärderingen motiveras. Nackdelarna som undersökarna angav sammanfattas enligt följande: Modellen ansågs av flertalet (sex av sju) kunna vara mer eller mindre otydlig. Utvärderingen försvårade möjligheten att utläsa skillnader mellan anbuden och relevansen kunde ibland kännas osäker. Någon ansåg att den i vissa fall kunde vara förvirrande och att man saknade underlag att förhålla sig till. En annan undersökare tyckte modellen var för intetsägande för att användas för kvalitets- eller kompetenshöjande åtgärder hos undersökarna. Undersökarna tillfrågades även om vilken modell de ansåg var bäst vid anbudsutvärdering. Sex undersökare besvarade frågan och av dem ansåg fyra att poängvägning med tydlig skriftlig motivering var att föredra. En av dessa undersökare ansåg också att endast två kriterier borde utvärderas – Genomförande och Pris. Av övriga två undersökare ansåg den ena att det inte spelar någon roll vilken modell som används. Det viktiga är att utvärderingen är tydlig och begriplig. Den andra undersökaren tyckte att man antingen ska ha ett klart definierat poängsystem eller att man använder sig av två värderingskategorier: Godkänd eller Underkänd med i förväg formulerade definitioner med förklarande och motiverande text. 4.2.8  Ambitionsnivå Länsstyrelsernas synpunkter Alla länsstyrelser ger någon form av direktiv på vad och hur lämningen ska undersökas, kopplat till undersökningens inriktning. Dessa direktiv eller klargjorda prioriteringar kan i förfrågningsunderlaget utgöras av vad man Intervjuer  49 ska lägga särskild vikt vid, respektive vad av och/eller hur, fornlämningen ska undersökas. Direktiven kan vara kopplade till specifik tidsperiod, prioriteringar inom undersökningsytan, metodval, dokumentationsnivå etc. Vissa länsstyrelser har valt att ange detaljerade anvisningar kring genomförandet medan andra mer underförstått överlåter denna bedömning till undersökarna. Begreppen låg och hög (och ibland normal, medel eller medelhög) används (enligt intervjusvaren) av åtta av tolv tillfrågade länsstyrelser. Några av dessa använder generellt alltid ”hög” när upphandlingen avser särskild undersökning. Flera länsstyrelser betonar betydelsen av att inte vara allt för styrande i förfrågningsunderlaget för att skapa utrymme för undersökarna att utveckla sina frågeställningar och förslag till genomförande. Endast två länsstyrelser angav förhållandet mellan angiven kunskapspotential och ambitionsnivå som vägledande för undersökarna att hitta rätt i ambitionsnivån. Från en handläggare kom ett förslag om att man exempelvis kunde precisera de kvaliteter som fornlämningen besitter i relation till ambitionsnivån avseende innehåll, kunskapsmässigt, och så vidare, för att tydliggöra vad som avses med angiven nivå. Flertalet Länsstyrelser anser det vara mer eller mindre komplicerat att ange ambitionsnivån och endast två (av tolv) länsstyrelser ansåg att detta inte vållade några problem. Problemen uppfattades av flertalet utgöras av hur man genom ord eller anvisningar klargör angiven ambitionsnivå. Hos vissa nämndes även värderingar av lämningstyper som ett problem, i de fall man som handläggare saknar tillräcklig kompetens. Förutom problemen med att på ett tydligt sätt definiera ambitionsnivån betonades svårigheten även ligga i avvägningen mellan hur styrande Länsstyrelsen ska vara i förfrågningsunderlaget för att ändå skapa tillräckligt fria ramar för undersökarna att formulera frågeställningar och förslag, liksom betydelsen av att stimulera och ge utrymme för nya tankar och infallsvinklar, metodutveckling och så vidare. Endast två länsstyrelser, vilka haft ett litet antal anbud under den aktuella perioden, ansåg att angiven ambitionsnivå hade uppfattats ”rätt” av undersökarna. En av dessa har dock endast haft ett anbud och den andra länsstyrelsen var en av dem som inte ansåg att det var komplicerat att ange ambitionsnivå i förfrågningsunderlaget. Övriga länsstyrelser ansåg att undersökarna, i högre eller lägre grad, hade svårt att förstå innebörden i ambitionsnivån vid några eller flera av genomförda anbud. Skillnaden i ambitionsnivå kunde i dessa upphandlingar noteras i stora kostnadsdifferenser, skillnader i beräknad fältinsats samt problem med att prioritera insatserna. Likaså kunde undersökarnas olika förförståelse, kunskapsbakgrund och erfarenhet att gräva den aktuella fornlämningstypen vara av betydelse. Otydligheter i förfrågningsunderlaget eller att undersökarna frångår anvisningarna var en annan anledning som nämndes till att ambitionsnivån kunde missuppfattas. 50  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin Undersökarnas synpunkter Merparten av undersökarna angav att det sätt länsstyrelserna anger ambitionsnivån på är mycket varierande samt att den ofta uppfattas som otydlig och svår att förhålla sig till vid upprättande av anbud. Benämningar som ”hög”, ”låg” eller liknande ansågs av fyra undersökare vara otillräckliga som grund för avvägning och anpassning, speciellt i de fall begreppet ”hög” används slentrianmässigt vid anbudsförfarande. Även relationen till procentangivna kriterier bedömdes av flera inte utgöra något stöd för anpassning till ambitionsnivå, då procentsatserna ofta är oförändrade från anbud till anbud. Alla undersökare upplevde det som mer eller mindre svårt att anpassa anbudet till angiven ambitionsnivå. Vissa angav att anpassningen fungerade relativt bra i vissa län och att det var svårare att hitta rätt nivå i andra. Begreppet ”hög” var enligt många svårt att förhålla sig till, speciellt i de fall det inte preciserats närmare vad innebörden är eller i de fall formuleringar gjorts i svepande ordalag. Hur hög är ”hög” och vad är rimligt? Några undersökare menade att det handlar om att kunna läsa länsstyrelsens tankar eller att man får försöka läsa mellan raderna för att hamna rätt. Någon upplevde att länsstyrelsen, först efter det att anbuden utvärderats, tar ställning till vad som för anbudet är en passande ambitionsnivå. Undersökarna tillfrågades hur ambitionsnivån är formulerad när den är väl beskriven samt hur man skulle vilja att den tydliggjordes i förfrågningsunderlaget. De svar som inkom var av olika karaktär och pekade åt olika håll, även om en ökad tydlighet kring innebörden av angiven ambitionsnivå var gemensamt för dem. Om begrepp såsom ”hög” eller ”låg” används krävs, enligt fem undersökare ett förtydligande av dess innebörd. Tre undersökare betonade att det, speciellt vid förundersökning, underlättade om länsstyrelsen kunde ange en minsta andel som skulle undersökas. Antingen i procent angiven eller till antal räknat, beroende på vad som åsyftas. Fyra undersökare ansåg att vid slutunderökning borde tydliga prioriteringar anges i förfrågningsunderlaget över vad som ska, respektive inte ska, undersökas. Endast två undersökare tog upp förhållandet mellan angiven kunskapspotential och ambitionsnivå, som grund för att kunna anpassa och hitta rätt nivå. Någon undersökare menade att formuleringar såsom; ”Undersökningen ska åtminstone svara på…” vore tydliggörande och en annan menade att ambitionsnivån behöver kopplas mer till den angivna inriktningen. 4.2.9  Övergripande erfarenheter Länsstyrelsernas synpunkter De positiva erfarenheter som länsstyrelserna betonade från genomförda anbudsförfaranden var att kompetensen höjts generellt hos undersökarna samt att kvaliteten på undersökningsplanerna blivit mycket bättre. Anbudsläsning och utvärdering har även höjt kompetensen hos Länsstyrelsen. Konkurrenssituationen har också medfört att nivån överlag höjts på undersökningsplaner och att man kan notera en tydligare koppling till aktuellt forskningsläge. Som positiva bieffekter noterades även att kvalitetssäkringen hos undersökarna förbättrats och att exempelvis tider hålls bättre och att rapportskulder minskar. Intervjuer  51 De negativa erfarenheterna som framhölls av länsstyrelserna var främst den ökade tidsåtgången för handläggningen, vilket får konsekvenser för övrigt arbete, skapar långa handläggningstider samt minskar utrymme för tillsyn och uppföljning. Som handläggare saknade flera också möjlighet att påverka förslagen till undersökning samt möjlighet till att ha en dialog och diskussion med undersökarna innan beslut. En annan vanlig negativ synpunkt gällde det arkeologiska samtalet och debatten mellan undersökarna, vilket av flera länsstyrelser upplevdes som reducerad eller obefintlig som följd av konkurrensen. Det arkeologiska utbytet/diskussion kring arkeologin mellan undersökarna har enligt flera minskat. Att den undersökare som genomfört tidigare undersökning (utredning/förundersökning) ”håller inne” med information i samband med anbud lyftes också fram som ett problem. Flera länsstyrelser var också ifrågasättande till om arkeologin förbättrats i stort eller om den vetenskapliga kvaliteten höjts till följd av anbudsförfarande. Undersökarnas synpunkter De positiva erfarenheter som betonades av undersökarna var en kvalitetshöjning vilket genererat vassare frågeställningar och tydligare undersökningsplaner, vilket framhölls av tre undersökare. Fyra undersökare, varav tre privata, såg positivt på konkurrenssituationen vid anbudssammanhang då detta ökar möjlighet till att erhålla uppdrag respektive att förfarandet ger utrymme för fler aktörer på marknaden. Två undersökare menade att konkurrensen leder till utveckling samt ökad professionalitet. Någon ansåg att kompetens och kunskapsläge ökat hos både undersökare och länsstyrelse och någon annan att det är positivt att genom utvärderingarna få respons på det anbud man lämnat. Att hela kedjan värderas borgar för god kvalitet. De negativa erfarenheterna som framhölls av undersökarna handlade bland annat om konsekvenserna av pressade anbudspriser, vilket betonades av fem av sju undersökare. Det som i detta sammanhang främst lyftes fram var kortade rapporttider (i förhållande till fälttid), som enligt fyra undersökare bedömdes vara mycket olyckligt för möjligheten till både tolkning och bearbetning av resultat från undersökningen. Utvecklingen mot allt mer begränsade eller nedskurna rapporttider ansågs också stämma dåligt överens med ökade krav på formulerandet av preciserade och avancerade frågeställningar i undersökningsplan. De pressade priserna får även negativa konsekvenser för analysval och konserveringskostnader, vilka av undersökarna medvetet hålls låga för att öka möjligheten att ta hem anbudet vid slutlig prisjämförelse. Flera ser också negativt på all den tid som läggs på att skriva anbud, varav två av dessa menar att otydligheter i förfrågningsunderlag, främst avseende ambitionsnivån, medverkar till att stora resurser lagts i onödan om man missförstått dessa delar i förfrågningsunderlaget. Tre undersökare har synpunkter på länsstyrelsernas utvärdering, varav den ena anser att de bestämmer vad de vill ha först när anbuden utvärderas och att besluten utformas för att anpassas till den undersökare man vill gynna. Den andre anser att det ibland kan saknas en trovärdig vetenskaplig kvalitetsbedömning och den tredje menar att olikheter i upphandlingsförfarandet och bedömning länsstyrelserna emellan är negativt. 52  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin 4.2.10  Kvalitet i anbudssammanhang Länsstyrelsernas synpunkter Grunden till att uppnå god kvalitet i anbudsförfaranden är självfallet beroende av många olika faktorer och att dessa sammanfaller. Hälften av de tillfrågade länsstyrelserna betonade att resurs- samt kompetensfrågan hos Länsstyrelsen var en viktig faktor i sammanhanget. Möjligheten till kompetensutveckling, tid för fördjupning samt resursförstärkning var något som sågs som en förutsättning, vilket inte upplevdes som tillfredställande i dagsläget. Flera länsstyrelser framhöll också vikten av goda planeringsunderlag, utrednings- samt förundersökningsrapporter, som en mycket viktig grund för kvalitet i anbuden. Detta både för Länsstyrelsens möjlighet att upprätta tydliga förfrågningsunderlag, liksom för undersökarens möjlighet att lämna anbud som svarar upp mot detta. Några länsstyrelser betonade också vikten av att alla delarna i anbuden hänger ihop, alltså en väl genomarbetad undersökningsplan som helhetsmässigt håller samman. Undersökarnas synpunkter Fem undersökare lyfte fram att tydlighet i förfrågningsunderlag (liksom i utvärdering och beslut) utgör en viktig grund för att få god kvalitet i anbudssammanhang och i tre av dessa svar betonade specifikt vikten av tydligt angiven ambitionsnivå i förfrågningsunderlaget. Fem svar berörde länsstyrelserna eller handläggarnas beställarroll. Det som lyftes fram var behovet av god kompetens och erfarenhet för handläggaren, ökad professionalitet, att relevant expertis medverkar då behov av detta finns och att länsstyrelsen ges tillräckliga resurser. Fyra undersökare angav att tillsynen och uppföljning av hela den arkeologiska processen är betydelsefull. Dels för att kunna utvärdera genomförande och resultat i förhållande till det som formulerats och utlovats i anbudssvaret, dels för att fånga upp kvalitetsbrister i processen. Två undersökare betonade att kvalitet kostar och två att det ska finnas en rimlig tid för avrapportering av undersökningen. Även bra förundersökningsrapporter nämndes i detta sammanhang. Dialog kring anbud och möjlighet att ställa frågor liksom arkeologiska seminarier var andra faktorer som togs upp för att nå god kvalitet. En undersökare ansåg att LOU vore att föredra och två undersökare betonade att undantaget från LOU skulle finnas kvar. Undersökarna tillfrågade också om vad som gör att man uppfattar en utvärdering som tydlig och rättvis och hur en bra utvärdering ser ut. Tre betonade betydelsen av att länsstyrelsen bedömer just det som efterfrågas i förfrågningsunderlaget och två poängterade vikten av tydlighet i förfrågningsunderlag. Fem undersökare underströk betydelsen av tydlighet i utvärdering och beslut. Att man förstår utvärderingen och kan utläsa att ”rätt” anbud vann samt att bedömningen är rimlig avseende utlovat arbete och beräknad kostnad för detta. Två undersökare menade att utvärderingen måste göras av en opartisk person för att vara rättvis (avseende bakgrund av var handläggaren tidigare jobbat). 5.  Analys och slutsatser Vid de anbudsförfaranden som har genomförts sedan de nya föreskrifterna trädde i kraft har endast två utvärderingsmodeller prövats, dels en argumenterande värdering och dels poängvägningsmodellen. Antalet anbud som utvärderats med respektive modell är jämnt fördelad liksom fördelningen över det antal länsstyrelser som använder respektive modell. Endast en tredjedel av de länsstyrelser som haft anbud sedan 2008 har provat båda modellerna. Poängvägningsmodellen dominerar i Mälarregionen och den argumenterande modellen är vanligast i landets sydvästra och södra delar. 5.1  Tidsaspekter vid anbudsförfarande Tiden som Länsstyrelsen ger undersökarna för upprättande av anbud varierar stort med en uppmätt tid från 11–79 dagar – se diagram avsnitt 3.2.1. Inga enskilda län eller val av utvärderingsmodell utmärkte sig, utan sannolikt har anbudstiden andra bakomliggande, ofta ”yttre” orsaker som grund för tidsåtgången. Genomsnittstiden var på 35 dagar/5 veckor, vilket får anses som tillräckligt. En skälig tidsperiod för att upprätta anbud borde vara minst 4 arbetsveckor, men där tidsåtgången, enligt min mening, alltid måste ställas mot upphandlingens komplexitet och storlek. En förlängd anbudstid kan i vissa fall därför vara nödvändig för att för undersökarna skapa tillräcklig tid för inläsning och upprättande av kvalitativa anbud och för att minska den konkurrensfördel den undersökare har som genomfört aktuell utredning eller förundersökning av ”nu” berörda fornlämningar. Vid beräkning av tidsåtgång för utvärdering av anbuden kunde konstateras att även denna ligger på i snitt 35 dagar, men att handläggningstiden skiljer sig åt beroende på vilken modell man använder – se diagram avsnitt 3.2.2. Utvärdering med den argumenterande modellen tar i snitt drygt 10 dagar längre tid att utföra jämfört med tidsåtgången för poängvägningsmodellen, 35–40 dagar jämfört med 25–30 dagar. Av intervjuerna framgår också att de som använder den argumenterande modellen i betydligt högre utsträckning (alla) än de som använder poängvägning betonar tidsåtgången som ett problem. Att endast formulera utvärderingen med ord, jämfört med stöd av siffror/betyg, ställer självfallet högre krav avseende hur man i skriftlig form värderar och bedömer anbudets olika delar. Likaså kräver denna modell att man (verbalt) måste väga samman de enskilda delarna som värderats till en helhet, vilken sedan ställs mot kostnaden. Utifrån detta görs slutligen bedömningen av vad som kan utgöra god arkeologi till rimlig kostnad. Detta moment är inte lika tidskrävande i den matematiska modellen då priset i denna omvandlas till en poäng. Den stora tidsskillnaden för anbudsutvärdering för respektive modell får självfallet konsekvenser för övrig handläggning på länsstyrelsen samt försenar beslutsprocessen för det enskilda ärendet. För- och nackdelar kunde av både länsstyrelse och undersökare konstateras i båda modellerna. Ökad tydlighet samt möjlighet att uttrycka, 54  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin respektive avläsa nyanser och skillnader, var en positiv konsekvens vid poängvägningsmodellen som framhölls vid intervjun. För den argumenterande värderingen betonades att länsstyrelsen där bättre kan värdera prisets relation till kvalitet samt att utvärderingen av undersökarna upplevdes kunna ge en ökad förståelse för hur anbudet bedömts. Oavsett val av modell framkom att majoriteten av handläggarna var nöjda med sin valda utvärderingsmodell och hade inte för avsikt att byta. Sannolikt har man nu inarbetat rutiner för genomförandet av anbudsförfarande såsom mallar och arbetssätt, vilka utvecklats och förbättrats successivt. Insatsen som krävs för att pröva annan modell blir därmed hög. Några av de länsstyrelser som intervjuades uppgav dock, (utan att frågan ställdes) att om fördelarna med annan modell kunde påvisas fanns ingen ovilja till att byta eller pröva annan utvärderingsmodell. Av sex undersökare ansåg fyra av dessa att poängvägningsmodellen var att föredra. Två undersökare menade att val av modell inte var avgörande, utan att det betydelsefulla var att värderingen är tydlig och begriplig 5.1.1  Kriterier vid anbudsutvärdering Majoriteten av länsstyrelserna använder i princip samma kriterier vid utvärdering av anbud, oavsett modell. Dessa är vanligen benämnda Kompetens, Genomförande och Vetenskaplig relevans/förankring. Flertalet länsstyrelser som använder den argumenterande modellen anger i förfrågningsunderlag från 2009 vad man avser att lägga särskild vikt vid, vid utvärderingen såsom undersökarens förmåga att anpassa undersökningsplanens ambitionsnivå till fornlämningens potential, vetenskaplig kvalitet och genomförande, eller metod- och analysval i relation till frågeställningarna. De tendenser som kan skönjas vid poängvägningsmodellen är att värdesättandet av kriteriet Genomförande har ökat och att vikten för Kostnaden minskat. Man kan också konstatera att flertalet länsstyrelser använder en oförändrad viktning, oavsett vad som ska undersökas vid särskild undersökning. Samma sak gäller i princip även för den argumenterande modellen, där angivelserna i förfrågningsunderlaget ofta är likadana från anbud till anbud. Intervjuerna med undersökare visade generellt på ett behov av ökad tydlighet om vad som efterfrågas samt vad, och på vilka grunder, utvärderingen kommer att göras. Flera undersökare ansåg att det är olyckligt att värderingen av kriterierna skiljer sig åt mellan länsstyrelserna och att man därför tvingas anpassa anbudets innehåll samt pris till den Länsstyrelse det gäller. Flera undersökare ansåg också att personalens kompetens istället borde formuleras som ett skall-krav med minimikrav istället för ett kriterium. De kriterier som anges i förfrågningsunderlaget utgör en central grund, utifrån vilken undersökarna har att upprätta sitt anbud. Länsstyrelsens beställarroll och tydlighet i denna, är således till stor del avgörande för undersökarnas möjlighet att anpassa anbudet till de förutsättningar som anges. Enligt min mening måste större vikt läggas vid angivelserna av hur man värdesätter kriterierna, oavsett val av utvärderingsmodell, så att dessa anpassas till både det aktuella uppdraget och den enskilda lämningens potential. Detta kan handla om exempelvis förmågan att formulera relevanta frågeställningar utifrån kunskapsläge eller angiven inriktning, beröra Analys och slutsatser  55 moment i genomförandet av undersökningen som anses vara av avgörande betydelse, fyndens betydelse för tolkningen, och så vidare. Därigenom skulle tydligheten öka för anbudsgivarna inför upprättandet av anbud, liksom att utvärderingsmomentet skulle underlättas för Länsstyrelsen. 5.1.2  Ambitionsnivå Vid genomläsning av de förfrågningsunderlag som legat till grund för anbudsförfaranden kunde konstateras att det sätt som länsstyrelserna beskriver ambitionsnivån skiljer sig åt stort. Vissa gör en tydlig koppling till den angivna kunskapspotentialen och i andra fall är denna mer diffus. Några länsstyrelser anger med stor tydlighet i de anvisningar som beskriver vad som ska/inte ska undersökas/prioriteras medan andra ger en större öppenhet för undersökarna att anpassa ambitionsnivån utefter både länsstyrelsens anvisningar, men också utifrån av undersökaren valda frågeställning/ar. Vid intervjumomentet med handläggare framkom också att flertalet upplevde begreppet ”ambitionsnivå” som mer eller mindre komplicerat. Av de åtta länsstyrelser som vid intervjun angav att de använde begreppet hög/låg kunde detta endast noteras hos fem länsstyrelser vid genomläsning av anbuden. Övriga använde, vid sidan av direktiv, vanligen begrepp som ”jämn”, ”begränsad”, ”av vetenskapligt god kvalitet” eller liknande. En av undersökaren dåligt anpassad ambitionsnivå i undersökningsplanen är den vanligaste orsaken till att Länsstyrelsen förkastar anbud i samband med utvär­ deringsmomentet. Av de överklaganden som gjorts på anbud visar det sig också att ambitionsnivån, såsom den beskrivits i förfrågnings­ underlaget liksom hur den bedömts i utvärderingsprotokollet, är något som legat till grund för flertalet av de överklaganden som skett under 2009. Alla undersökarna upplevde det som mer eller mindre svårt att anpassa anbuden till angiven ambitionsnivå då denna ofta uppfattades som otydlig och svår att förhålla sig till. Oavsett om begrepp som ”hög” eller ”låg” används måste ett förtydligande av dess innebörd göras, såsom tydliga anvisningar kring inriktning och prioriteringar vid undersökningen. I sitt FoU-arbete kring kriterier för bedömning av kvalitet i uppdragsarkeologin ser Anders Kritz att ”beskrivning av inriktning och ambitionsnivå som ett av nyckelmomenten i den uppdragsarkeologiska processen. Kvaliteten på denna beskrivning har stor betydelse både för undersökningsplanernas jämförbarhet vid anbudsförfarande och för genomförandet av själva undersökningen. Trots dess betydelse anser jag att beskrivningen av inriktning och ambitionsnivå för närvarande utgör en av de mer outvecklade delarna av länsstyrelsens beställning.” (Kritz 2010, avsnitt 3.3.1, s. 28). Han menar ”att valet av inriktning/ambitionsnivå alltid måste motiveras utifrån fornlämningens kunskapsvärde. För att undersökarna ska kunna formulera fruktbara frågeställningar är det viktigt att de förstår varför länsstyrelsen har valt aktuell inriktning/ambitionsnivå. ”När det gäller bedömningen av fornlämningens betydelse föreslår jag att ett kriterium på god kvalitet är att länsstyrelsen tydligt anger vilka värden man anser att fornlämningen har och även redovisar de egenskaper hos fornlämningen som ligger till grund för denna värdering.” (Kritz, 2010, avsnitt 3.2.1, s. 15). Arkeologiska undersökningar längs E22 i Blekinge 2011. Foto: Eva Skyllberg. Analys och slutsatser  57 Valet av hur att ange ambitionsnivån avspeglar sannolikt till viss del olika syn på vad man vill få in för typ av anbud vid en upphandling. En hårt styrd ambitionsnivå med många direktiv formar anbuden därefter, vilket i sig borde underlätta utvärderingsmomentet och jämförelsen anbuden emellan avsevärt. Enligt min mening finns det dock nackdelar med en för hård styrning då man därigenom riskerar att få in snarlika anbud, med risk för att undersökarnas olika förslag till genomförande begränsas i allt för hög grad. Utrymmet för ”nytt” tänkande och för ”nya” frågeställningar och metodval kan därmed minska, vilket på sikt kan reducera kunskapstillväxten. En diffust angiven ambitionsnivå kan å andra sidan skapa otydliga direktiv för undersökarna att förhålla sig till vid upprättandet anbud, vilket kan försvåra utvärderingen samt kan skapa stora kostnadsdifferenser anbuden emellan. Den av Länsstyrelsen angivna ambitionsnivån måste dessutom vara tydligt kopplad till den beskrivna kunskapspotentialen, vilka inte behöver vara likvärdiga om man anger den i termer av låg/hög/normal eller liknande. För att ta vara på en fornlämnings kunskapsinnehåll, oavsett om det är högt eller lågt, får ambitionsnivån anpassas efter förutsättningarna. En exempelvis låg eller medelhög kunskapspotential behöver därför inte automatiskt genomföras med en likvärdig ambitionsnivå. Insatserna som krävs måste, enligt min mening, istället värderas utifrån de förutsättningar som råder för dokumentationen av den enskilda lämningen. En hög ambitionsnivå kan ibland därför vara motiverat för att angiven kunskapspotential ska kunna tas tillvara, även om denna bedömts som jämförelsevis lägre. 5.1.3  Kostnaden Vid en jämförelse av de beslut där lägst anbudspris vann, alternativt inte vann upphandlingen, kan man konstatera att vald utvärderingsmodell inte tycks ha någon direkt inverkan på utslaget. Totalt två tredjedelar av anbuden som med lägst pris gick vidare till prisjämförelse har tagit hem anbudet, oavsett val av utvärderingsmodell. Skillnader finns dock i länsstyrelsernas syn på kostnaden där de som använder poängvägningsmodellen ansåg att priset får, eller kan få, ett allt för stort genomslag i utvärderingarna. Grunden till ”problemet” ansågs generellt hänga samman med viktningen i procent, vilket omöjliggör en värdering efter det att kostnaden tagits fram, såvida anbudet som helhet bedömts som rimligt. Av de länsstyrelser som använder sig av den argumenterande modellen var det endast en länsstyrelse som ansåg att det finns en risk i att priset får alltför stort genomslag, eller negativt påverkar bedömningen i utvärderingarna. I princip alla länsstyrelser gör en bedömning av vad som kan förväntas vara en rimlig kostnad inför en upphandling och den beslutade kostnaden ligger i de allra flesta fallen i nivå med den förväntade. I de fall kostnaden varierat stort mellan anbudsgivarna betonades ambitionsnivån som en avgörande faktor i detta sammanhang. Majoriteten av undersökarna anser att kostnadsvariationer mellan anbuden hänger samman med otydligheter i förfrågningsunderlaget, i synnerhet då avseende den angivna ambitionsnivån. Skillnader i bedömningen på olika länsstyrelser av vad som anses vara en rimlig kostnad betonades också. En 58  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin effekt av konkurrenssituationen som lyftes fram är man tvingas pressa priset för att öka möjligheterna att vinna anbud. Vanligen görs nedskärningar på rapportdelen liksom för analyser och konserveringskostnad, vilket får negativa konsekvenser för möjligheten att avrapportera undersökningsresultaten tillfredställande. En annan aspekt som upplevdes som negativ var de höga kostnader som upprättande av anbud medför hos respektive undersökare. Den totala kostnaden för arkeologiska undersökningar var år 2008 låg i jämförelse med tidigare år och jämfört med 2007 har kostnaderna för undersökningar över 20 prisbasbelopp nästan halverats, 169,4 miljoner kronor 2007 jämfört med 87,1 miljoner kronor 2008. Kostnaden för undersökningarna 2009 var något högre och uppgick till 114,7 miljoner kronor, men där en (1) av dessa undersökningar ensam utgjorde drygt en femtedel av årets totala arkeologikostnad. Undantaget denna hade alltså kostnaderna varit jämförbara med året 2008. Orsaken till de lägre kostnadsnivåerna har sannolikt flera olika förklaringar men en av dessa kan vara att priserna pressas mot bakgrund av rådande konkurrenssituation. Länsstyrelsen har i detta avseende en betydelsefull roll i att tillse att kostnaderna inte hamnar på en sådan låg nivå att kvaliteten på undersökningen blir lidande utifrån föreslagen tid för fältarbete, analysval, rapportering med mera. 5.1.4  Förkastade anbud Vid genomgången av utvärderingarna visade det sig att antalet förkastade anbud har ökat något under de två åren och uppgick 2009 till drygt var 3:e anbudsförfarande. Vanligaste anledningen är att undersökaren inte lyckats anpassa undersökningen till den ambitionsnivå som Länsstyrelsen angett i förfrågningsunderlaget, därefter följer att kvaliteten i anbudet inte bedömts som tillfredsställande. Det finns inget som visar på att modellen har någon inverkan på möjligheten att inte låta något/några anbud prisjämföras, om anbudet vid utvärderingsmomentet inte kan anses uppfylla kraven för ”god arkeologi”. Intervjun berörde inte specifikt denna fråga men inget framkom om att detta skulle vålla några egentliga problem på någon länsstyrelse, oavsett vald modell. Enligt min mening är tendensen till att antalet förkastade anbud ökat, något som ska ses som en positiv utveckling. Oavsett om anledningen grundar sig på att kvalitativa brister i undersökningsplanen kunnat påvisas eller att undersökaren felaktigt anpassat ambitionsnivån för undersökningen, är det Länsstyrelsens uppgift att vid utvärderingsmomentet säkerställa att god kvalitet kan uppnås. Förutom att Länsstyrelsens som beställare i dessa fall tydligt klargör för undersökaren att bristerna är så allvarliga att anbudet inte går vidare till prisjämförelse, utgör valet att förkasta/inte förkasta, även en kvalitetssäkring för vad som bedöms kunna generera god arkeologi till rimlig kostnad. Samtidigt måste utvärdering och bedömning speglas i ljuset av vad Länsstyrelsen angett i förfrågningsunderlaget. Hur ser vår beställning ut och vilka förutsättningar ger detta för upprättande av anbud? Den slutliga värderingen av det enskilda anbudet ska därför också alltid ställas mot hur anbudet förhåller sig till angivelserna i förfrågningsunderlaget. Vår roll Analys och slutsatser  59 som beställare ska därmed inte underskattas i sammanhanget och är något som ständigt bör utvecklas och förbättras, för att öka professionaliteten och kvaliteten i anbudsprocessen. 5.1.5  Överklaganden Statistiken visar att antalet överklaganden har ökat mellan åren 2008 och 2009 och statistiken visar också att risken för överklagande är större vid användandet av den argumenterande modellen, jämfört de anbud som utvärdera genom poängvägning. Av intervjuerna framkom att 75 % av de tillfrågade länsstyrelserna har haft överklagade anbud och drygt 70 % av undersökarna har överklagat beslut. En negativ konsekvens som båda nämner är den ökade tidsåtgång och det merarbete som en överklagan innebär samt de konsekvenser det får för genomförandet av undersökningen. En erfarenhet man på länsstyrelserna fått är ökad noggrannhet av uppföljning av formalia såsom skall-krav liksom att utvärderingsprotokollet överensstämmer med förfrågningsunderlaget. Erfarenheter från överklaganden som nämnts från undersökarna är mest negativa och sägs av många leda till en långvarigt dålig relation med Länsstyrelsen. Av de länsstyrelser som använder poängvägningsmodellen har tre av dessa haft överklagade beslut (tre av sex länsstyrelser). De länsstyrelser där den argumenterande modellen används har fem av sex haft beslut som överklagats. Orsaken bakom ökningen av antalet överklagningar har inte närmare studerats inom ramen för detta arbete men flera olika förklaringar kan, enligt min mening, vara tänkbara till denna utveckling. Sänkta beloppsgränser för när anbud ska genomföras medför ökad konkurrens om fler av de mest kostnadskrävande undersökningarna, jämfört med tidigare år (>30 prisbasbelopp). Mycket tid läggs ner på upprättande av anbud, vilket genererar en kostnadsförlust i de fall anbudet tilldelas någon av konkurrenterna, speciellt kännbart blir det i de län där få anbud genomförs. Att då söka svagheter eller felaktigheter i det vinnande anbudet, alternativt i Länsstyrelsens utvärdering och bedömning, kan vara en sätt att reagera på utfallet vid anbudsförfarandet i syfte att få detta ändrat. 2007 års kostnader för arkeologiska undersökningar var nära dubbelt så höga som år 2008. Statistiken för 2009 finns ännu ej publicerad men enligt Riksantikvarieämbetets statistik skiljer sig inte detta år nämnvärt åt från 2008 års kostnader. Detta får konsekvenser för undersökarnas möjlighet att behålla personal, vilket under rådande konkurrenssituation också kan ha varit bidragande till att antalet överklaganden ökat. Antalet undersökare som vann upphandlingar var också högre 2009 än 2008, vilket ökat konkurrensen ytterligare. Likaså har länsstyrelserna i högre grad valt att förkasta anbud 2009, vilket även det kan ha resulterat i det ökade antalet. Ytterligare en orsak till ökningen kan hänga samman med att man som undersökare vill ”testa” systemet med de reviderade föreskrifterna innan de funnit sin slutliga form (RAÄ rapport, överklaganden av beslut enligt 2–4 kap. KML, s. 23). Trots den negativa utvecklingen har utvärderingarna, enligt min mening, blivit både bättre och tydligare under 2009 och handläggningen av anbudsförfarande hos länsstyrelsen visar generellt på en ökad säkerhet och pro- 60  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin fessionalitet, jämfört med året innan. Av statistik från 2010, vilket inte behandlats inom ramen för detta arbete, har endast ett överklagat anbud rapporteras. Sannolikt visar detta på att systemet har ”stabiliserats”, att kvaliteten i anbudsförfarandet hos både undersökare och länsstyrelse ökat samt att domslut gett vägvisning i hur föreskrifterna ska tolkas. 6.  Utvärderingsmodeller Länsstyrelsen har ansvaret för att kvaliteten upprätthålls vid arkeologiska undersökningar (prop. 1996/97:99 s.12). Avsikten med förslaget till reviderade verkställighetsföreskrifter var att länsstyrelsen skulle kunna ta detta ansvar och bli en tydlig beställare av arkeologiska undersökningar. ”Ett uppdragsarkeologiskt system med fungerande konkurrens kräver att fler undersökningar omfattas av anbudsförfarande. Genom en skärpning av beloppsgränsen för när anbudsförfarande skall tillämpas kommer ett större antal undersökningar att bli föremål för konkurrens.” (Konsekvensutredning 2007, s. 9). Direktiven i KRFS 2007:2 avseende anbudsförfarande vid arkeologiska undersökningar skiljer sig inte stort från anbudsförfarande enligt LOU. Vid offentlig upphandling finns en stor variation av utvärderingsmodeller samt varianter av dessa, för att på bästa sätt möta de behov som föreligger hos den upphandlande parten. Trots detta har inte modeller för utvärdering av anbud kommit att utvecklats nämnvärt i samband med arkeologisk upphandling. Jag kommer i följande avsnitt att nämna något kring andra utvärderingsmodeller som används vid LOU samt kortfattat beskriva för dess för- och nackdelar vid offentlig upphandling, liksom en bedömning av hur dessa modeller skulle kunna fungera vid arkeologisk upphandling. 6.1  Lagen om offentlig upphandling Anbudsförfarande enligt Lagen om offentlig upphandling skiljer sig till vissa delar från Verkställighetsföreskrifternas direktiv om hur upphandling skall genomföras inom arkeologin. Avseende den del som handlar om utvärdering av anbud ligger verkställighetsföreskrifterna dock mycket nära LOU:s regelverk (Lag om offentlig upphandling; SFS 2007:1091). Enligt LOU kan en upphandlande myndighet välja mellan att ange att den antingen kommer att anta det anbud som är det ekonomiskt mest fördelaktiga för myndigheten eller det anbud som har lägsta pris. Används utvärderingsgrunden, det ekonomiskt mest fördelaktiga anbudet, ska myndigheten ange vilka utvärderingskriterier den kommer att ta hänsyn till vid utvärderingen. Vid fastställande av det ekonomiskt mest fördelaktiga anbudet behöver inte varje enskilt kriterium vara av ekonomisk natur men tillsammans ska kriterierna syfta till att fastställa det ekonomiskt mest fördelaktiga anbudet. Utvärderingskriterierna ska, till skillnad från vad som gäller enligt 15 kap. LUF, viktas inbördes. Viktningen får anges som ett intervall med en lämplig största tillåtna spridning. Viktningen kan exempelvis, om kriterierna till exempel är kvalitet och pris bestämmas till 70 procent respektive 30 procent. Om viktningen av kriterierna anges med intervall kan intervallet exempelvis vara en spridning mellan 60–70 procent respektive 30–40 procent. Om det 62  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin enligt den upphandlande enheten inte är möjligt att ange viktningen av de olika kriterierna, ska dessa anges i fallande prioritetsordning. (Upphandlingsreglerna – en introduktion, Konkurrensverket, 2011). 6.2  Utvärderingsmodeller I Konkurrensverket uppdragsforskningsrapport, 2009:10 redogörs för de vanligast förekommande modellerna vid anbudsförfarande vid myndighetsupphandling av varor och tjänster. I rapporten har fyra olika huvudmodeller för hur sammanvägning av pris och kvalitet kan ske beskrivits mera ingående. Dessa är följande: Poängvägningsmodell, två olika varianter av kvalitetsvägningsmodeller: Kvalitetskonkurrens (fixerat pris) respektive Kvalitetsvärdering (i pengar eller procent värdesatta kvaliteter) samt Prisauktionssmodell. 6.2.1  Poängvägningsmodell (eller relativ poängsättning av pris) Poängvägningsmodell, eller relativ poängsättning av pris, är vid sidan av den argumenterande värderingsmodellen den vanligast förekommande utvärderingsformen vid arkeologiska anbudsförfaranden och har använts vid ungefär hälften av alla upphandlingar. Vid poängvägningsmodell måste vikterna vägas uttryckligen där summan av vikterna uppgår till 100 %. Genom en sammanvägning av pris och kvalitet till en totalpoäng väljs det bud som erhåller den högsta poängen. Metoden för sammanvägning kan dock göras på flera olika sätt där exempelvis viktningen av priset kan utgå från högsta, lägsta eller medelpris. Poängvägningsmodeller räknar normalt om pris till en poängskala som antas vara jämförbar med den skala enligt vilken kvalitet mäts, För- och nackdelar med Poängvägningsmodellen Genom procentsatser visar modellen på hur olika kriterier värderas gentemot varandra samt hur dessa kriterier förhåller sig till värderingen av priset – alltså prisets betydelse gentemot olika kvalitativa kriterier. Ur det perspektivet är modellen genomsiktlig och tydlig och anbudsgivarna ges därmed möjlighet att anpassa anbudet utifrån de fastställda kriteriernas procentsatser. Problemet kan däremot uppstå genom att poängsättningen av ett visst företags bud påverkas av minst ett annat företags bud. Budet kan alltså vara irrelevant i den meningen att det inte vinner. Däremot kommer budet att fullständigt förändra rangordningen mellan olika anbuden. ”Det fundamentala problemet med en utvärderingsmetod som bygger på en relativ poängsättning av pris är att den bryter mot antagandet om att valet mellan två alternativ skall vara oberoende av förekomsten av ett irrelevant alternativ. Därmed kan metoden inte sägas uppfylla de krav vi ställer på en rationell beslutsmetod.” (Uppdragsforskningsrapport: 2009:12, s. 5) Konkurrensverket har i ett antal rapporter under 2000-talet tydligt signalerat sin tveksamhet till användandet av poängvägningsmodeller i upphandlingssammanhang ”De poängvägningsmodeller som används i Utvärderingsmodeller  63 Val av utvärderingsmodell för varor och tjänster vid offentlig upphandling inom andra myndigheter (%) Poängvägning Kvalitetsvärdering Kvalitetskonkurrens Priskonkurrens 45 40 35 30 25 20 15 10 5 0 1 Diagrammet visar förhållandet mellan de olika utvärderingsmodeller som använts i samband med myndighetsupphandling av varor och tjänster mellan åren 2002–2009, enligt statistik från Konkurrensverket. praktiken är tämligen godtyckligt valda matematiska formler vars största fördel ur upphandlingstjänstemännens synpunkt möjligtvis kan vara att de är svårbegripliga.” (Uppdragsforskningsrapport 2009:10, kap. 4.2) I Konkurrensverkets uppdragsforskningsrapport, 2009:10 kännetecknas de poängmodeller som är i användning av en rad nackdelar, av vilka de viktigaste att nämna är följande: •• Flera varianter av poängmodellerna är uppenbart öppna för strategisk •• Alla varianter av poängmodeller som utgår från högsta, lägsta eller manipulation. medelpris, eller en kombination därav, kan påverkas av oberoende alternativ (endogena referenspriser). •• Alla varianter av poängmodeller som utgår från högsta, lägsta eller medelpris strider mot principen om avtagande marginalnytta. •• Alla varianter gör det svårt för upphandlaren att kalibrera modellernas parametrar så att de motsvarar de verkliga preferenserna. •• Det är svårt för anbudsgivarna att själva rangordna mellan olika anbud som speglar olika kombinationer av pris och kvalitet. (Uppdragsforskningsrapport: 2009:10, kap. 4.5). Trots att många svagheter kunnat påvisas är poängvägningsmodellen den vanligaste vid upphandlingar enligt LOU och fördelarna torde därmed i många upphandlingssammanhang överväga bristerna. Sannolikt håller heller inte alla med om att modellens negativa sidor är så påtagliga att de inte går att motverka. 64  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin Användbarhet vid arkeologisk upphandling Vid samtal med handläggare från de länsstyrelser som använt poängvägningsmodellen framkom en rad för- och nackdelar, vilka redovisas under avsnitt 4.2.7 ”Utvärderingsmodell”. Modellens stabilitet och konsekvenser har även testats inom ramen för detta arbete, avsnitt 7.1.1–3, där resultatet sammanfattats under avsnitt 7.1.4. 6.2.2  Kvalitetskonkurrensmodellen (fixerat pris) Tilldelning enbart baserad på kvalitet i kombination med att upphandlande myndighet redan i förfrågningsunderlaget anger priset, det vill säga den ersättning som kommer att betalas ut till den som får kontraktet. Upphandlaren fixerar priset och låter anbudsgivarna konkurrera genom att erbjuda så hög kvalitet som möjligt. Det anbud som kvalitativt värderats högst vinner också upphandlingen. För- och nackdelar med Kvalitetskonkurrensmodellen Att som myndighet ange ett fast pris i förfrågningsunderlaget innebär en ökad tydlighet för anbudsgivarna och borde därmed underlätta anbudsskrivandet till den delen. Att utvärdera anbud utifrån ett fastställt pris skulle kunna tolkas som att vikten för kvalitet är 100 procent, men också detta är missvisande eftersom upphandlaren genom sitt val av prisnivå påverkar avvägningen mellan pris och kvalitet. Ren priskonkurrens och ren kvalitetskonkurrens har det gemensamt att det inte behövs någon matematisk sammanvägning av pris och kvalitet. Användbarhet vid arkeologisk upphandling Mot bakgrund av hur verkställighetsföreskrifterna är formulerade är i dagsläget denna modell inte möjlig att använda. Enligt 18 § KRFS framgår att ”De undersökningsplaner som bedöms kunna resultera i en undersökning av god kvalitet och som motsvarar den av länsstyrelsen angivna ambitionsnivån skall sedan genomgå en prisjämförelse varefter den mest kostnadseffektiva undersökningsplanen skall antas.” Då priset enligt kvalitetskonkurrensmodellen redan är preciserat av myndigheten utgår därmed momentet med prisjämförelse. Det som utvärderas är istället endast kvalitet, vilket därmed bryter mot föreskrifternas direktiv. Vid intervju med handläggare framgår dock att bedömningen av prisbild inför en upphandling oftast ligger i nivå med den kostnad som beslutas. Endast i undantagsfall avviker kostnaden stort. Vanligare är då att kostnaden legat lägre än vad som förväntats inför upphandlingen. Det finns också exempel där upphandling skett utifrån statliga bidrag, Fa-medel, där kostnaden för det statliga bidraget är (mer eller mindre) fixerat. I ett sådant sammanhang skulle en utvärdering enligt denna metod enligt min åsikt vara användbar, där alltså länsstyrelsen i förfrågningsunderlaget anger en fast kostnad och där anbuden endast bedöms avseende rimlighet och kvalitet i dess olika aspekter. Utvärderingsmodeller  65 6.2.3  Kvalitetsvärderingsmodellen (i pengar eller procent värdesatta kvaliteter) Denna kvalitetsvärderingsmodell räknar om kvalitet till ett monetärt värde. Vid användandet av kvalitetsvärderingsmodellen kan man antingen tillämpa påslag eller avdrag och dessa kan antingen vara procentuella eller absoluta (s. 59). I modellen värderas de olika kvalitetsnivåerna i pengar eller procent och sedan subtraheras eller adderas dessa värden från respektive anbud. Först görs en kvalitativ bedömning av kvaliteten och sedan en kvalitativ sammanvägning av pris och kvalitet (Uppdragsforskningsrapport 2009:10, s. 44). För- och nackdelar med Kvalitetsvägningsmodeller I Konkurrensverkets uppdragsforskningsrapport, 2009:10 kännetecknas modellen av följande: Om varan eller tjänsten som ska upphandlas är komplex och behoven svåra att översätta i kvalitetskriterier i form av obligatoriska krav är en tilldelning baserad på enbart kvalitet i kombination med ett av upphandlande myndighet fastställt pris att föredra. Detsamma gäller om kostnaden för överkvalitet är hög och om beställaren inte är starkt beroende av att en viss lägsta kvalitetsnivå uppnås eller överstigs. Denna modell öppnar också upp för innovationer och passar därför bra när upphandlande myndighet inte har fullständig information om vad marknaden kan erbjuda. Om varken lägsta pris eller tilldelning på enbart kvalitet passar bör alltså en kvalitetsvärderingsmodell användas. Kvalitetsvärderingsmodellerna är enklare att genomskåda – och just därför är det möjligen enklare att peka på brister när de används i praktiken (Uppdragsforskningsrapport 2009:10, s. 64). Användbarhet vid arkeologisk upphandling Modellen har hittills inte prövats vid någon arkeologisk upphandling, men skulle vara möjlig att använda utifrån hur föreskrifterna är formulerade. Modellen har flera likheter med poängvägningsmodellen i det avseende att den är genomsiktlig avseende hur länsstyrelsen avser att värdera olika kriterier kring kvalitet i förhållande till helheten. Ett högt anbudspris med högt värderad kvalitet vid utvärderingen ger därmed också ett högt avdrag från beräknat anbudspris för undersökningen och i relation till hur kriteriet är värderat i procent. Avdragen i denna modell sker helt utifrån det egna anbudets pris, utan påverkan från annat anbuds lägsta pris såsom är fallet med poängvägningsmodellen. Denna modell har testats inom ramen för detta arbete, vilket redovisas under avsnitt 7.3.1–10. och vars resultat sammanfattats under avsnitt 7.3.11. 6.2.4  Prisauktionsmodell/sluten förstaprisauktion Tilldelning enbart baserat på pris, det vill säga tilldelning enligt principen om lägsta pris. Grundprincipen är att det är den anbudsgivare som erbjuder det lägsta priset som ska tilldelas leveranskontraktet. Modellen motsvarar det som inom klassisk auktionsteori benämns sluten förstaprisauktion. Detta kan – men behöver inte – kombineras med obligatoriska kvalitetskrav. Tilldelning enligt lägsta pris är alltså förenligt med att hänsyn tas till kvalitativa Arkeologisk undersökning i medeltida stadslager i Åkroken, Nyköping, Södermanland 2010. Foto: Carolina Andersson. Utvärderingsmodeller  67 aspekter. Kvalitetsbedömningen sker helt och hållet ske genom prövning mot de obligatoriska kraven. De anbudsgivare som klarar de obligatoriska kraven konkurrerar därefter mot varandra i en ren priskonkurrens. I en formell mening kan detta tolkas som att vikten för kvalitet är noll, men detta är självklart missvisande, eftersom upphandlingen kan prioritera kvalitet högt genom att uppställa höga obligatoriska krav. För- och nackdelar med Prisauktionssmodell I konkurrensverkets uppdragsforskningsrapport, 2009:10 kännetecknas modellen av följande: Om varan eller tjänsten som upphandlas är relativt lätt att beskriva och behoven möjliga att översätta till kvalitetskriterier i form av obligatoriska krav är en tilldelning baserad på lägsta pris att föredra. Detta gäller faktiskt i särskilt hög grad när det är kritiskt att en viss minsta kvalitetsnivå inte understigs. Lägsta pris kan alltså kombineras med högt ställda krav på kvalitet. Modellen ställer dock höga krav på upphandlande myndighet, som måste ha god kännedom såväl om vilka behov som finns hos den som ska använda varan eller tjänsten som om vad marknaden kan erbjuda. Vidare krävs att kvalitet låter sig beskrivas och helst också mätas eller dokumenteras med relativt hög precision. Metoden är lämplig när det inte är kritiskt att en viss minsta kvalitetsnivå uppnås, men där man kan befara att överkvalitet blir mycket dyrbar. (Uppdragsforskningsrapport 2009:10, s. 8) Användbarhet vid arkeologisk upphandling Modellen har hittills inte prövats vid någon arkeologisk upphandling, men är förenlig med föreskrifternas 18 §. Om förslaget till undersökning/ undersökningsplan vid anbudsutvärderingen bedöms uppfylla kriteriet för god kvalitet och kostnadseffektivitet hänger alltså intimt samman med, dels länsstyrelsens förmåga att utforma skall-kraven på ett sådant sätt att man får det man efterfrågar, dels undersökarens anpassa undersökningen efter detta. Prisjämförelsen vägs därmed inte i relation till kvalitet utan ställs mot undersökarens/anbudets förmåga att leva upp till de av länsstyrelsen ställda skall-kraven. Ur Handboken anges följande: ”Ett förfrågningsunderlag ska vara utformat så att det är ett fullgott underlag för upprättande av undersökningsplanen. Länsstyrelsen ska sålunda ange förutsättningar för undersökningen och tydliga ramar/riktlinjer för undersökningens genomförande. Det normala tillvägagångssättet bör vara att länsstyrelsen dels anger undersökningens syfte, inriktning, ambitionsnivå och målgrupper, dels efterfrågar undersökarens förslag till preciserade frågeställningar och metoder för genomförandet av undersökningen. Den möjlighet länsstyrelsen har att detaljstyra en undersökning bör endast användas i de fall då detta bedöms vara av särskild nödvändighet (Vägledning 2007: avsnitt 3.1, s. 13–14). Mot bakgrund av ovanstående ges därmed möjlighet till användande av modellen om länsstyrelsen anser det vara nödvändigt att detaljstyra en undersökning, vilket användande av denna utvärderingsform också kräver. Modellen skulle kunna vara tillämplig vid undersökningar där syftet är väl 68  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin preciserat och där skall-kraven kan formuleras på ett sådant sätt att genomförandet av den arkeologiska undersökningen motsvarar länsstyrelsens krav och förväntningar. Exempel på sådana ärenden kan vara beredande och kunskapsinhämtande undersökningar, såsom särskild utredning och eventuellt även förundersökning, där syftet främst är att ta fram ett underlag inför ärendets fortsatta prövning. Kraven från länsstyrelsen bör vid val av denna modell vara mycket tydligt preciseras avseende ambitionsnivå och kompetens liksom omfattning av exempelvis fältinsatserna intensivt/extensivt inom området/ytan, undersökningsmetodik, analysbehov, rapportering etc. Man kan kortfattat säga att det är länsstyrelsen som genom skall-kraven säkerställer förutsättningarna för god kvalitet och att valet av undersökare slutgiltigt helt relateras till lägsta pris vid slutlig prisjämförelse. En fördel med modellen är att utvärderingsmomentet sannolikt inte blir särskilt tidsödande samt att anbudet är transparant, i den meningen att undersökarna ges goda förutsättningar att räkna på genomförandet. En risk med modellen är att länsstyrelsen blir direkt styrande samt måste förutse alla delar och delmoment av undersökningen vid upprättandet av förfrågningsunderlag. Likaså ställer det höga krav på länsstyrelsen avseende kunskap och kompetens samt kännedom om aktuellt området och/eller de fornlämningar som berörs av undersökningen. Modellen kommer inte heller skapa förutsättningar för exempelvis metodutveckling inom arkeologin eller öppna upp för nya tankar och idéer, om inte länsstyrelsen preciserar detta i förfrågningsunderlaget. Modellen kan sannolikt också upplevas som stel och mekanisk. 6.2.5  Argumenterande värdering Utvärderingsmodellen är vid sidan av poängvägningsmodellen den vanligast förekommande utvärderingsformen vid arkeologiska anbudsförfaranden och har använts vid hälften av alla upphandlingar. Modellen är mig veterligt inte använd vid upphandling enligt LOU och kan närmast liknas vid en bedömning av en forskningsansökan. Vid utvärderingen bedöms anbuden enligt de kriterier som angetts i förfrågningsunderlaget och där länsstyrelsen ofta särskilt anger under vilka punkter stor vikt kommer att läggas, vid bedömningen av undersökningsplan/anbud. Ofta betonas här att det inte bara är de enskilda delarna som värderas utan lika mycket hur dessa hänger samman och relaterar till varandra i undersökningsplanen. Vid slutlig bedömning av anbuden görs en samlad bedömning av kostnadens rimlighet i förhållande till undersökningsplan, varefter den mest kostnadseffektiva undersökningsplanen/anbudet antas. Användbarhet vid arkeologisk upphandling Vid samtal med handläggare från de länsstyrelser som använt poängvägningsmodellen framkom en rad för- och nackdelar, vilka redovisas under avsnitt 4.2.7 ”Utvärderingsmodell”. För- och nackdelar sammanfattas även i avsnitt 7. Arkeologisk undersökning vid Kumla i Botkyrka, Stockholms län 2008. Foto: Eva Skyllberg. 70  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin Om myndigheten vill och anbudsgivaren medger detta kan vinnande anbud offentliggöras för övriga anbudsgivare, så att dessa kan lägga anbud på konkurrerande anbudsgivares förslag (nytt kostnadsförslag). Detta ska i så fall tydligt framgå av förfrågningsunderlaget. Frågan om samtycke till att innehåll i en lösning ska kunna lämnas ut till övriga deltagare kan därmed utgöra ett villkor för deltagande i en konkurrenspräglad dialog. För- och nackdelar med konkurrenspräglad dialog Fördelar Konkurrenspräglad dialog ger möjlighet till diskussion med leverantörer innan slutliga anbud lämnas, vilket kan bidra till att precisera den upphandlande myndighetens behov och krav. Därigenom kan dialogen också bidra till att genomgående förbättra upphandlingens kvalitet i fråga om finansiering, rättsförhållanden och tillvaratagande av ny teknik när det gäller särskilt komplicerade kontrakt. Dialogen kan även öka möjligheten att beakta till exempel tekniska innovationer och designförslag eftersom den upphandlande myndigheten fortlöpande kan diskutera och väga unika lösningar mot varandra. Det är således sannolikt att upphandling genom konkurrenspräglad dialog kan stimulera framväxten av ny teknik och design av hög kvalitet. En öppen kommunikation innebär att fel och brister kan rättas till och minskar risken för missförstånd som i slutändan leder till att den upphandlande myndigheten får ett sämre konkurrensunderlag eller att upphandlingen överprövas (Vägledning Konkurrenspräglad dialog 2010:1, Kammarkollegiet). Nackdelar I Kammarkollegiets upphandlingsstöd rörande konkurrenspräglad dialog betonas att ” Ett genomförande av konkurrenspräglad dialog ställer höga krav på resurser och kompetens hos deltagande aktörer samt omfattande förberedelser och planering.” Kompetens- och resursbehovet bör uppskattas och allokeras redan under förberedelseskedet. Behovet ska inte underskattas, erfarenheter från exempelvis Storbritannien visar att en konkurrenspräglad dialog med tre anbudsgivare och tre dialogetapper jämte utvärderingar tar i snitt 80 veckor att genomföra, oräknat den tid det tar för den upphandlande myndigheten att ta fram underlaget för förfarandet (Vägledning Konkurrenspräglad dialog 2010:1, Kammarkollegiet). Konkurrensverket yttrade sig som remissinstans till propositionen och anförde att införandet av ”… konkurrenspräglad dialog får anses innebära ytterligare krav på att de upphandlande myndigheterna har hög beställarkompetens.” Användbarhet vid arkeologisk upphandling Fördelar Modellens styrka ligger främst i att den ger möjlighet till att öppna upp för samtal och diskussion kring anbudens innehåll. Frågetecken och oklarheter kan därmed redas ut innan beslut och länsstyrelsens blir delaktig i hela processen. Diskussion om brister blir mindre i utvärderingsmomentet Utvärderingsmodeller  71 6.2.6  Konkurrenspräglad dialog Upphandlingsförfarandet konkurrenspräglad dialog är ett komplement till redan befintliga former av upphandling. Upphandlingsmodellen innebar en lagändring av LOU, vilken trädde i kraft den 15 juli 2010. Modellen har knappast ännu blivit använd i Sverige och därmed saknas erfarenhet kring modellen och ingen studie finns över dess utfall i anbudssammanhang. Liksom den tidigare beskrivna modellen – kvalitetskonkurrens, kan inte heller konkurrenspräglad dialog användas utifrån hur Verkställighetsföreskrifterna idag är formulerade. Förfarandet präglas av att det innefattar möjlighet för den upphandlande myndigheten att föra en dialog med utvalda leverantörer i syfte att identifiera och definiera hur myndighetens behov bäst ska kunna tillgodoses. Konkurrenspräglad dialog är tänkt att vara en flexibel procedur för tilldelning av särskilt komplicerade kontrakt när ett öppet eller selektivt förfarande inte medger tilldelning av kontrakt. Förfarandet kan användas när den upphandlande myndigheten i stort känner till vilket slutresultat som ska uppnås, men inte i förväg kan fastställa hur resultatet ska uppnås på bästa sätt och därmed inte kan upprätta en teknisk specifikation av föremålet för upphandling. Konkurrenspräglad dialog präglas särskilt av att det innefattar möjlighet för den upphandlande myndigheten att införa en dialog med utvalda leverantörer i syfte att definiera hur myndighetens behov bäst kan tillgodoses. Dialogen ökar möjligheten att beakta till exempel tekniska innovationer när den upphandlande myndigheten fortlöpande kan diskutera och väga unika lösningar mot varandra. (Konkurrensverkets hemsida) I korthet sker förfarandet enligt följande: •• Den upphandlande myndigheten ska annonsera upphandlingen som •• •• •• •• skall göras genom konkurrenspräglad dialog. I annonsen eller i beskrivande dokument (förfrågningsunderlaget) skall behov och krav anges. Myndigheten kan här ange att dialogen ska föras i successiva steg. Dialogen med de anbudssökande som valts inleds, där dialogens syfte skall vara att identifiera hur behoven bäst kan tillgodoses. Dialogen förs individuellt mellan myndigheten och varje enskild deltagare (undersökare) och avser endast den deltagarens förslag. Genom att i successiva steg föra dialogen framåt kan myndigheten minska det antal anbud som diskuteras eller förhandlas. Dialogen ska fortsätta fram till dess att myndigheten har funnit de eller de lösningar som tillgodoser dess behov. Anbudssökanden underrättas när dialogen har förklarats avslutad. Därefter uppmanas deltagarna att lämna sitt slutliga anbud på grundval av de lösningar som lagts fram och specificerats under dialogen. Anbudet kan därefter behöva klarläggas, preciseras och finjusteras på myndighetens begäran såvida inte grundläggande delar av anbudet ändras. Efter utvärderingsmomentet antas det anbud som är ekonomiskt mest fördelaktigt (kostnadseffektivt). Med hänsyn till komplexiteten i upphandlingen är det uteslutet att endast priset kan vara avgörande. 72  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin och länsstyrelsen får istället ägna mer tid åt att väga de slutliga förslagen om genomförande mot varandra, i förhållande till kostnadens rimlighet. Utvärderingsprotokollet blir därmed tydligare. Modellen kommer att vara kompetenshöjande för båda parter. Undersökare får bättre insikt i länsstyrelsearbetet och länsstyrelsen blir i högre grad involverad i diskussionen kring det arkeologiska kunskapsläget och vetenskaplighet, liksom genomförandet i dess olika bemärkelser. Nackdelar Modellen är resurs- och tidskrävande och kräver sannolikt ökad grad av specialistkompetens om dialogen med undersökarna ska blir fruktsam. Enligt kammarkollegiets vägledning föreslås att en arbetsgrupp bör skapas från myndighetens sida, vilken deltar i samtliga möten under dialogen. Inför dialogen krävs också förberedelsetid för inläsning och för klargörande av vilka frågor som ska diskuteras vid mötet. Varje dialogomgång med respektive anbudsgivare skall dessutom dokumenteras och utvärderas fram till dess dialogen förklaras avslutad. Konsultation av experter kan också vara nödvändig mellan dialogtillfällena. Tidigare arkeologiutredningar har redan innan de nya föreskrifterna implementerades visat på behovet av personell förstärkning inom länsstyrelsen. Införandet av en upphandlingsmodell som, mot bakgrund av höjda kompetenskrav samt som kan förväntas vara ännu mer resurs- och tidskrävande än nuvarande modeller, kan komma att ha negativ konsekvens på övrig handläggning. Ett ökat krav på hög kompetens på länsstyrelsen blir troligen också nödvändigt vid användandet av denna modell med större behov av specialister, som komplement till övrig bred och generell kunskap inom länsstyrelserna. Det är idag 21 fristående myndigheter med samma uppdrag. Om ökat samarbete mellan länen, inom nätverken eller på mer central nivå skulle utvecklas, kan man på sikt tänka sig att resurser med ”rätt” kompetens från de olika länen kan samarbeta vid exempelvis upphandlingssammanhang. Andra möjligheter kan också vara tänkbara i form av anlitandet av extern expertis från exempelvis universitet eller liknande. 7.  Modelltest För att pröva modellers betydelse för utfallet har genomförda anbudsförfaranden prövats i en annan modell, där detta varit möjligt. Alla anbud som utvärderats genom poängvägningsmodellen har studerats avseende lämplighet/möjlighet att tydliggöra skillnader i procentsättning av kriterierna. Avsikten var att pröva hur stor påverkan modellen har för valet av undersökare/anbud, liksom den påverkan procentsättningen har för utfallet. Det var därför lättast att använda en genomförd utvärdering enligt poängvägningsmodellen, där värdering var poängsatt/betygsatt och kriterierna värderade i procent enligt angivelserna i förfrågningsunderlaget. Vid prövning av annan matematisk utvärderingsmodell, liksom annan procentsättning av kriterierna, har ingen omvärdering av respektive länsstyrelses ursprungliga bedömning gjorts. Den tidigare genomförda utvärderingen och gjorda bedömningen/betygssättningen har därmed legat som grund för värderingen i den nya modellen. Då länsstyrelserna inte lägger samma innebörd i de huvudkriterier som utvärderats och viktats matematiskt har jämförelser, liksom omberäkningar av genomförda upphandlingar, ibland varit komplicerad. Jämförbarheten är därmed inte helt likvärdig, vilket kan ha påverkat resultatet. 7.1  Test 1 – Poängvägningsmodellen Som första test prövades att förändra procentsättningen av ett antal anbud enligt poängvägningsmodellen. De anbud som inte prövats i ”nya” procentsatser är de som vid utvärderingen endast viktats avseende Genomförande och Pris, då jämförelsen med andra länsstyrelsers viktning av kriterier varit svår att översätta på ett likvärdigt sätt. Likaså har de ärenden där lägsta pris och högsta betyg i genomförande sammanfaller inte studerats närmare, då utfallet inte skulle förändras vid ny viktning eller i de fall där endast en anbudsgivare gått vidare till prisjämförelse. Avseende övriga länsstyrelsers anbudsförfaranden där poängvägningsmodellen använts har alla dessa utvärderingar studerats för ny viktning för att klargöra hur utfallet påverkas av i förfrågningsunderlaget angivna procentsatser. Av dessa har 12 stycken testats i nya procentsatser, alternativt att lägsta pris tagits bort för att pröva om utfallet förändras avseende rangordning eller ny anbudsvinnare. De viktningar som prövats är de som var använda vid upphandlingar under 2009, avseende särskild undersökning och ser ut enligt följande: Utvärderingskriterier Kompetens Företag/personal Vetenskaplig relevans Genomförande Kostnad Vikt  20 % 25 % 25 % 30 % Vikt  25 % 30 % 25 % 20 % Vikt  20 % 30 % 30 % 20 % Vikt  10 % 20 % 35 % 35 % Utvärderingskriterier Kompetens Företag/personal Kvalitet/Genomförande Kostnad Vikt  30 % 40 % 30 % Vikt  20 % 55 % 25 % Vikt  0 % 50 % 50 % Ett urval av dessa redovisas vid respektive exempel nedan. 74  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin I samband med genomgången har även utvärderingen studerat om nytt lägsta pris skulle förändra utfallet av vinnande anbud, alltså om ett irrelevant anbuds pris haft påverkan på det anbud som vann upphandlingen. 7.1.1  Exempel 1 – Poängvägningsmodellen Anbudet avsåg en särskild undersökning 2009 av boplatslämningar från romersk järnålder till vikingatid. Slutundersökningsområdets storlek uppgick till cirka 45 000 kvadratmeter. Tre undersökare inkom med anbud. Ambitionsnivån skulle enligt förfrågningsunderlaget vara av ”begränsad omfattning”. Överst redovisas den anbudsutvärdering som låg till grund för beslutet, där företag 1 vinner. Därefter har procentsättningen av utvärderingskriterierna ändrats utifrån hur andra län ”normalt” sett procentsätter respektive kriterier vid liknande undersökningar/särskild undersökning. Ursprungligt anbud har inte särredovisat vetenskaplig relevans som enskilt kriterier utan låtit detta ingå under kvalitet/genomförande. Vid omvandling av procentsats från annan länsstyrelses viktning har särredovisat kriterium för vetenskaplig relevans kommit att ingå som del av genomförandekriteriet. I detta anbud fanns ingen anledning att ta bort lägsta anbudspris för att studera effekten av rangordning hos övriga anbud, då vinnande anbud också hade lägsta pris. Respektive anbudspris var i detta ärende enligt följande: Företag 1: 2 998 900 kr Företag 2: 5 028 815 kr Företag 3: 3 005 790 kr Beskrivning Vid ”Ny viktning 1” har värderingen av pris sänkts från 30 till 20 och Kvalitet/Genomförande höjts från 40 till 55. Även värderingen av kompetens har sänkts något från 30 till 25. Det i utvärderingen högst värderade anbudet avseende Kompetens och Genomförande skulle i en sådan viktning ta hem anbudet, trots ett pris som ligger mer än 2 miljoner kronor över det anbud som tagit hem upphandlingen, motsvarande cirka 40 % högre än vinnande lägsta pris. Vid ”Ny viktning 2” har värderingen av pris höjts 5 % jämfört med ovan och viktningen av kompetens sänkts något. Utfallet av anbudet blir då samma som i den ursprungliga utvärderingen, även om skillnaderna i totalpoängen mellan Företag 1 och 2 minskat avsevärt. Vid ”Ny viktning 3” har endast Kvalitet/Genomförande och Pris värderats, där kompetensen under sådana fall skulle ha varit satt som ett skall-krav i förfrågningsunderlaget. Företag 1 skulle då fortfarande ha vunnit anbudet, men rangordningen mellan företag 2 och 3 har förändrats. Modelltest   75 Ursprunglig viktning Kriterier Kvalitet/ Genomförande Kompetens Pris Total Placering Vikt 40 % 30 % 30 % Företag 1 Betyg 4,25 4,69 5,00 Poäng 1,7 1,4 1,5 4,607 1 Företag 2 Betyg 5 5 2,98 Poäng 2 1,5 0,849 4,394 2 Företag 3 Betyg 3,25 3,44 4,98 Poäng 1,3 1,032 1,494 3,826 3 Ny viktning 1 Kriterier Kvalitet/ Genomförande Kompetens Pris Total Placering Vikt 55 % 25 % 20 % Företag 1 Betyg 4,25 4,69 5,00 Poäng 2,338 1,173 1 4,51 2 Företag 2 Betyg 5 5 2,98 Poäng 2,75 1,25 0,596 4,596 1 Företag 3 Betyg 3,25 3,44 4,98 Poäng 1,788 0,86 0,996 3,644 3 Ny viktning 2 Kriterier Kvalitet/ Genomförande Kompetens Pris Total Placering Vikt 55 % 20 % 25 % Företag 1 Betyg 4,25 4,69 5,00 Poäng 2,338 0,938 1,25 4,526 1 Företag 2 Betyg 5 5 2,98 Poäng 2,75 1 0,745 4,495 2 Företag 3 Betyg 3,25 3,44 4,98 Poäng 1,788 0,688 1,245 3,721 3 Ny viktning 3 Kriterier Kvalitet/ Genomförande Pris Total Placering Vikt 50 % 50 % Företag 1 Betyg 4,25 5,00 Poäng 2,125 2,5 4,625 1 Företag 2 Betyg 5 2,98 Poäng 2,5 1,49 3,99 3 Företag 3 Betyg 3,25 4,98 Poäng 1,625 2,49 4,115 2 76  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin 7.1.2  Exempel 2 – Poängvägningsmodellen Nedan visas en utvärdering som genomförts under 2008 där fyra undersökare lämnat anbud och där alla gått vidare till prisjämförelse. Undersökningen gällde två boplatser och en historisk lämning. Ambitionsnivån för undersökningarna skulle vara ”hög”. Vinnande anbud hade i denna upphandling redovisat näst högsta pris. Överst redovisas den ursprungliga utvärderingen där anbud från företag 2 vinner. Under denna visas effekterna av att justera procentsättningen såsom den använts av andra länsstyrelser vid särskild undersökning, Ny viktning 1–3. Nederst redovisas konsekvensen av att ta bort lägsta pris. I den ursprungliga utvärderingen har länsstyrelsen valt att särredovisa viktningen av kompetens företag och kompetens personal. Denna viktning har i övriga viktningsexempel omräknats för att stämma överens med en sammanslagen värdering av kriteriet Kompetens. Respektive anbudspris var enligt följande: Företag 1: 2 585 360 kr Företag 2: 3 585 199 kr Företag 3: 3 462 365 kr Företag 4: 4 723 356 kr Beskrivning I Ny viktning 1 har kostnaden värderats något högre, från 25 till 30 % och vikten av genomförandet har sänkts från 45 till 40 %. Konsekvenserna av en sådan liten justering skulle förändra val av vinnande anbud, där företag 3 vinner före företag 2. Främsta anledningen är att viktningen av genomförandet värderats lägre, vilket var det kriterium som värderats högst hos företag 2. Vid Ny viktning 2 har främst viktningen av Genomförandet höjts samt att kostnaden minskat procentuellt. Företag 2 ges därmed en i jämförelse högre totalpoäng och där företag 4 går förbi företag 3 i rangordning, trots ett betydligt högre pris för undersökningen. Ny viktning 3 har endast angett kriterierna Genomförande och Pris med en viktning om vardera 50 %. Företag 2 kvarstår som vinnare mot bakgrund av sitt betydligt högre betyg/poäng för Genomförandet. Rangordningen har däremot bytts så att Företag 1, med lägst värderat Genomförande men med lägst Pris (full poäng) hamnar på andra plats, strax bakom vinnande anbud. I det sista exemplet har det anbud som angett lägst pris (liksom lägst betyg för genomförandet) tagits bort. Företagets anbud är irrelevant på sådant sätt att det aldrig skulle kunna vinna anbudet, men har genom sitt lägsta pris ändå kommit att påverka övriga anbuds betyg för priskriteriet. Även om Företag 2 fortfarande vinner anbudet är skillnaden nu mycket lite mellan företag 3 (som nu getts full poäng för priset) och företag 2. Skulle företag 2 ha beräknat sin kostnad 30 000 kr högre, skulle därmed Företag 3 ha tagit hem anbudet. Modelltest   77 Ursprunglig viktning Utvärderings­ kriterier Komp. personal Komp. företag Genomförande Kostnad Totalsumma Resultat Vikt  20 % 10 % 45 % 25 % Företag 1 Betyg 3,7 4,5 2,7 5 Poäng 0,74 0,45 1,215 1,25 3,655 4 Företag 2 Betyg 3,7 3,8 4,2 3,61 Poäng 0,74 0,38 1,89 0,903 3,913 1 Företag 3 Betyg 4,9 4,5 3,4 3,73 Poäng 0,98 0,45 1,53 0,933 3,893 2 Företag 4 Betyg 4,4 4,5 4 2,74 Poäng 0,88 0,45 1,8 0,685 3,815 3 Ny viktning 1 Utvärderings­ kriterier Kompetens Genomförande Kostnad Totalsumma Resultat Vikt  30 % 40 % 30 % Företag 1 Betyg 3,97 2,7 5 Poäng 1,191 1,08 1,5 3,771 3 Företag 2 Betyg 3,73 4,2 3,61 Poäng 1,119 1,68 1,083 3,882 2 Företag 3 Betyg 4,76 3,4 3,73 Poäng 1,428 1,36 1,119 3,907 1 Företag 4 Betyg 4,43 4 2,74 Poäng 1,329 1,6 0,822 3,751 4 Ny viktning 2 Utvärderings­ kriterier Kompetens Genomförande Kostnad Totalsumma Resultat Vikt  25 % 55 % 20 % Företag 1 Betyg 3,97 2,7 5 Poäng 0,993 1,485 1 3,478 4 Företag 2 Betyg 3,73 4,2 3,61 Poäng 0,9325 2,31 0,722 3,9645 1 Företag 3 Betyg 4,76 3,4 3,73 Poäng 1,19 1,87 0,746 3,806 3 Företag 4 Betyg 4,43 4 2,74 Poäng 1,108 2,2 0,548 3,856 2 Ny viktning 3 Utvärderings­ kriterier Genomförande Kostnad Totalsumma Resultat Vikt  50 % 50 % Företag 1 Betyg 2,7 5 Poäng 1,35 2,5 3,85 2 Företag 2 Betyg 4,2 3,61 Poäng 2,1 1,805 3,905 1 Företag 3 Betyg 3,4 3,73 Poäng 1,7 1,865 3,565 3 Företag 4 Betyg 4 2,74 Poäng 2 1,37 3,37 4 Lägsta borttaget Utvärderings­ kriterier Komp. personal Komp. företag Genomförande Kostnad Totalsumma Resultat Vikt  20 % 10 % 45 % 25 % Företag 1 Betyg 3,7 4,5 2,7 5 Poäng 0,74 0,45 1,215 1,25 0 Företag 2 Betyg 3,7 3,8 4,2 4,82 Poäng 0,74 0,38 1,89 1,205 4,215 1 Företag 3 Betyg 4,9 4,5 3,4 5 Poäng 0,98 0,45 1,53 1,25 4,21 2 Företag 4 Betyg 4,4 4,5 4 3,67 Poäng 0,88 0,45 1,8 0,918 4,048 3 78  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin 7.1.3  Exempel 3 – Poängvägningsmodellen Sista exemplet är en särskild undersökning från 2009 av en boplats samt del av gravfält. Beskrivningen av ambitionsnivån utgick från direktiv kring var fokus skulle ligga vid undersökningen. Fyra undersökare inkom med anbud vid upphandlingen. Överst redovisas den ursprungliga utvärderingen där anbud från företag 2 vinner. Under denna visas effekterna av att justera procentsättningen såsom den använts av andra länsstyrelser vid särskild undersökning. Nederst redovisas konsekvensen av att vikta Genomförande och Kostnad med 50 % vardera. Respektive anbudspris var enligt följande: Företag 1: 3 571 400 kr Företag 2: 1 973 000 kr Företag 3: 1 527 450 kr Företag 4: 4 330 595 kr Beskrivning Då länsstyrelsen i sin ursprungliga viktning valt att enskilt vikta kriteriet vetenskaplig relevans har jag, för att möjliggöra en jämförelse med annan modell, låtit den vetenskapliga relevansen ingå i kriteriet Genomförande. Ursprunglig viktning är okomplicerad på det sättet att det företag som haft högst betyg i alla kriterier, undantaget priset, också vinner anbudet. Det enda som kan förändra utgången är således att värdera upp viktningen av priset. Vid Ny viktning 1 har viktningen av Genomförande sänkts och kompetens höjts, vilket förändrar placeringen av de två lägst värderade anbuden. Vid Ny viktning 2 får procentsättningen av priset ett direkt genomslag och Företag 3 vinner, före Företag 2. Procentsättningen av priset får här en avgörande betydelse, trots att respektive anbudspris inte skiljer sig särskilt mycket åt. Likaså har det faktum att kompetensen inte värderats i poäng enligt denna modell starkt bidragit till resultatet, då Företag 3 i ursprunglig upphandling getts ett lägre betyg även här. Påverkan av att ta bort det anbud som haft lägsta pris prövades också, men hade ingen effekt på rangordningen övriga anbud emellan. Då detta anbud fick näst bäst totalpoäng blev följden endast att avstånden kom att öka mellan vinnande anbud och de som ursprungligen värderats lägre. Modelltest   79 Ursprunglig viktning Utvärderings­ kriterier Kompetens Vetenskaplig relevans Genomförande Kostnad Totalsumma Resultat Vikt 20 % 25 % 25 % 30 % Företag 1 Betyg 5 3 2 2,14 Poäng 1 0,75 0,5 0,642 2,89 4 Företag 2 Betyg 5 5 5 3,87 Poäng 1 1,25 1,25 1,161 4,66 1 Företag 3 Betyg 4 4 4 5 Poäng 0,8 1 1 1,5 4,3 2 Företag 4 Betyg 5 4 2 1,76 Poäng 1 1 0,5 0,528 3,03 3 Ny viktning 1 Utvärderings­ kriterier Kompetens Genomförande Kostnad Totalsumma Resultat Vikt 30 % 40 % 30 % Företag 1 Betyg 5 2 2,14 Poäng 1,5 0,8 0,642 2,94 3 Företag 2 Betyg 5 5 3,87 Poäng 1,5 2 1,5 4,66 1 Företag 3 Betyg 4 4 5 Poäng 1,2 1,6 1,5 4,3 2 Företag 4 Betyg 5 2 1,76 Poäng 1,5 0,8 0,528 2,83 4 Ny viktning 2 Utvärderings­ kriterier Genomförande Kostnad Totalsumma Resultat Vikt 50 % 50 % Företag 1 Betyg 2 2,14 Poäng 1 1,07 2,07 3 Företag 2 Betyg 5 3,87 Poäng 2,5 1,935 4,435 2 Företag 3 Betyg 4 5 Poäng 2 2,5 4,5 1 Företag 4 Betyg 2 1,76 Poäng 1 0,88 1,88 4 80  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin 7.1.4  Resultat – Test 1 Vid genomgång av genomförda anbud enligt poängvägningsmodellen kunde konstateras att i drygt en tredjedel av besluten sammanfaller högst utvärderingspoäng/betyg för övriga kriterier med det anbud som också uppvisar lägsta pris. Kostnadseffektiviteten får i dessa upphandlingar därmed betraktas som god! I dessa ärenden har självfallet en justering av kriterierna inte någon påverkan på vinnande anbud. Vid ytterligare två upphandlingar där poängvägning använts har bara ett anbud gått vidare, varför justerad ny viktning ej varit aktuell. Likaså har inte de anbud där viktningen för genomförande och pris ursprungligen värdesatts till 50/50 prövats i nya procentsatser – totalt fem anbud, då omvandlingen till andra länsstyrelsers kriterier varit svår att översätta. Totalt sett har en justering av procentsättning för kriterierna gett ny anbudsvinnare i fem upphandlingar varav tre av dessa exemplifierats ovan. Dessa fem upphandlingar var fördelade på fyra olika länsstyrelser. För övriga studerade anbud (7 stycken) kvarstår vinnande anbud, oavsett att procentsatserna för valda kriterier ändrats. Rangordningen har i dessa fall ibland ändrats för de anbud som inte vunnit men några mer omfattande förändringar av resultatet var alltså inte noterbara. För de anbud som haft fler än två kriterier kan man konstatera att justerad procentsättning förändrat val av vinnande anbud i drygt 40 % av upphandlingarna. Störst påverkan på rangordning liksom utslag av ny vinnare av anbud kunde noteras i de fall kriterierna endast utgjordes av Genomförande och Pris med en viktning om 50 % vardera. Enligt min mening minskar det länsstyrelsens möjlighet att uppvärdera vissa kvalitativa aspekter i undersökningen/ anbudet samt att det gör utvärderingen mer generell och mindre tydlig. Utvärderingsinstrumenten blir också mer trubbiga då många värderade aspekter sammanvägts till en siffra (alla utom priset). I de upphandlingar flera undersökare ges högsta betyg för genomförandet blir priset därmed helt utslagsgivande. Samma sak gäller även för övriga procentsättningar, vid vilken fler kriterier viktas, där en hög andel högsta betyg (5p) riskerar att öka prisets genomslag vid den totala poängräkningen. Att bli mer restriktiv vid betygssättningen samt differentiera betygen i underkriterier inom respektive huvudkriterier skulle sannolikt ge en mer nyanserad bild av bedömning och betygssättning. Att ge högsta betyg skulle kunna likställas med att förslaget inte kan bli bättre eller att det motsvarar något exceptionellt, vilket säkert inte avspeglar den faktiska bedömningen i alla de anbud där högsta betyg utdelats. Vad man i övrigt kan se i ovanstående exempel är att ibland ganska små justeringar av procentsatserna kan få avgörande betydelse för det totala utslaget. Viktningen av kriterierna är därför viktiga att relatera till och se över inför varje ny upphandling, så att de anpassas till fornlämningens kunskapsvärde och angiven ambitionsnivå. Vad man inte kan utläsa ur utvärderingsprotokollen, där poängvägning använts vid utvärderingen, är om länsstyrelsen ansåg att det var ”rätt” anbud som vann. Alltså om det (ofta) lägre priset och högre slutpoängen också var Modelltest   81 likvärdig med den mest kostnadseffektiva undersökningen. Den angivna viktningen för kriterierna möjliggör inte en sådan slutlig värdering av kostnadens rimlighet i förhållande till det förväntade vetenskapliga utbytet annat än i de fall kostnaden eller tidsåtgången bedöms som orimlig och anbudet inte går vidare till slutlig prisjämförelse. Sammanfattningsvis visar testet på att viktningen av kriterierna bör vid upprättandet av förfrågningsunderlaget övervägas noggrant, för att på bästa sätt kunna anpassas till den aktuella undersökningen. En allt för generös betygssättning bör också undvikas, då priset därigenom riskerar att bli en för dominerande faktor vid sammanvägningen. Användandet av decimaltal eller underkriterier (som del av det viktade huvudkriteriet) ger ökad differentiering mellan anbuden och redovisar enligt min mening tydligare de kvalitativa skillnader som värderats i det enskilda anbudet. En medvetenhet ska också finnas om att lägsta pris har påverkan på betygssättningen av alla övriga anbud, oavsett att detta inte vinner upphandlingen. Råder det osäkerhet om ett sådant anbud motsvarar eller kan leva upp till angiven ambitionsnivå samt om det kan generera ”god” arkeologi, bör man starkt överväga att förkasta det. 82  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin 7.2  Redogörelse – Kvalitetsvärderingsmodellen Som andra test prövades en tidigare ej använd utvärderingsmodell, kvalitetsvärderingsmodellen, på ett urval av de anbud som utvärderats genom poängvägningsmodellen. Procentsatserna som använts i denna test har utgått från de ursprungliga, i tidigare genomfört anbud, vilka sedan justerats för att uppnå önskat resultat. Då modellen inte tidigare använts redovisas nedan kortfattat för hur modellen fungerar. Utvärderingspris beräknas genom att priset reduceras med det framräknade reduktionsvärdet för respektive utvärderingskriterium. Reduktionsvärdet som priset reduceras med vid utvärderingen framräknas genom att erhållen kriterieuppfyllelse multipliceras med det fastställda reduktionsvärdet (angett i % eller kr) för kriteriet. Det anbudet med lägsta utvärderingspris enligt nedanstående modell anses vara det ekonomiskt mest fördelaktiga och kommer att antas. Antingen kan alltså den upphandlande myndigheten ange prisreduktionen i monetära termer genom ett fastställt belopp i kronor, alternativt att kvalitetsreduktion förhåller sig procentuellt till det egna anbudspriset. Väljer man att ange prisreduktionen som fast pris kan man som myndighet till viss del styra var anbudens totalkostnad bör hamna, för att det framräknade anbudspriset som undersökaren beräknar ska bli så lågt som möjligt utifrån angivet anbudspris i förhållande till maximalt prisavdrag. Om myndigheten istället anger prisreduktionen i procent kan kostnaderna sannolikt öka i variation, då avdraget görs från eget anbudspris. I Test 2 har modellen prövats utifrån den sistnämnda formen med procentuellt avdrag i förhållande till det egna anbudspriset och i Test 3 har modellen prövats utifrån en fastställd reduktion som beräknats dels utifrån priset på det vinnande anbudet och dels utifrån ett medelvärde av inkomna anbud. Båda utvärderingsexemplen redovisas nedan: Utvärderingsmodell. Anbudspris Reduktionskriterie 1 – Kompetens och erfarenhet Reduktionskriterie 2 – Vetenskaplig relevans Reduktionskriterie 3 – Genomförande Utvärderingspris Maximalt avdrag från anbudspris XX ( % eller kr) XX ( % eller kr) XX ( % eller kr) - XXX XXX kr - XX XXX kr - XX XXX kr - XX XXX kr XXX XXX kr Utvärderingsexempel utifrån maximalt reduktionsvärde i %. Maximalt reduktionsvärde Reduktionskriterie 1 Reduktionskriterie 2 Reduktionskriterie 3 Utvärderingspris 15 % 15 % 40 % Anbud A 2 000 000 kr 100 % 100 % 80 % -300 000 kr -300 000 kr -640 000 kr 760 000 kr Anbud B 1 500 000 kr 80 % 60 % 60 % -168 000 kr -160 000 kr -360 000 kr 812 000 kr I exemplet är således Anbud A det ekonomiskt mest fördelaktiga. Modelltest   83 Utvärderingsexempel utifrån maximalt reduktionsvärde i kronor. Maximalt reduktionsvärde Reduktionskriterie 1 Reduktionskriterie 2 Utvärderingspris 2 000 000 kr 1 000 000 kr Anbud A 3 500 000 kr 70 % 80 % -1 400 000 kr -800 000 kr 1 300 000 kr Anbud B 3 900 000 kr 100 % 90 % -2 000 000 kr -900 000 kr 1 000 000 kr I exemplet är således Anbud B det ekonomiskt mest fördelaktiga. Bedömning kan ske utifrån en betygs- eller poängskala om exempelvis 1–5 poäng. Vid användning av decimaltal ökar differentieringen av värderade kriterier, vilket också ökar nyanseringen av betygssättningen för de olika delar som utvärderas. Procentsättningen, alltså det möjliga avdraget, kan anpassas efter vad som anses som rimligt. I kommande exempel har nedanstående procentsatser prövats. 5 poäng är bästa möjliga poäng och innebär att kriterieuppfyllelsen är mycket bra och att 100 % av reduktionsvärdet avräknas totalpriset vid anbudsutvärderingen. 4 poäng innebär att kriterieuppfyllelsen är bra och att 80 % av reduktionsvärdet avräknas totalpriset vid anbudsutvärderingen. 3 poäng innebär att kriterieuppfyllelsen är acceptabel/godtagbar och att 60 % av reduktionsvärdet avräknas totalpriset vid anbudsutvärderingen. Skulle anbudet inte nå upp till acceptabel eller godtagbar nivå, alltså 3 poäng, bör det inte gå vidare till prisjämförelse utan förkastas. 7.3  Test 2 och 3 – Kvalitetsvärderingsmodellen Totalt sju anbud prövades i kvalitetsvärderingsmodellen, där prisreduktionen anges i procent och fem anbud där reduktionen anges i monetära termer – kronor. Utvärderingen utgick från ursprunglig viktning, alltså den procent som angetts för de olika kriterierna enligt poängvägningsmodellen. Beroende på hur rangordningen mellan anbuden förändrades i den här modellen justerades procenten för reduktionskriterierna i syfte att nå den ursprungliga rangordningen. Då kriteriet Genomförande är det kriterium som vanligen rankas högst vid viktning enligt poängvägningsmodellen gav justeringar av detta kriterium störst effekt även i denna modell. Ändrade procentsatser för kompetens eller andra lägre viktade kriterier hade således mindre påverkan på utfallet. Den nya viktningen enligt kvalitetsvärderingsmodellen redovisar resultatet av justerade procentsättningar på anbud rörande fyra slutundersökningar samt en förundersökning. Endast de justerade procentsatser som gav tydliga effekter finns redovisade i dokumentet. Dessa visar dels när justeringen återställer ursprunglig vinnare av anbudet och dels när ursprunglig rangordning mellan övriga anbud i upphandlingen blir som den ursprungliga, i de fall detta var möjligt. Test 2 redovisar effekten av ett procentuellt avdrag och Test 3 redovisar ett fastställt avdrag i kronor (monetärt avdrag), baserat dels på priset på vinnande, dels på ett framräknat medelvärde av de för anbudet aktuella kostnadsberäkningarna. 84  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin 7.3.1  Test 2, exempel 1 – kvalitetsvärderingsmodellen (procentuellt avdrag) Anbudet är samma som det som redovisats som exempel 1 i poängutvärderingsmodellen och avser en slutundersökning av boplatslämningar från romersk järnålder till vikingatid. Tre undersökare inkom med anbud. Anbudspris: Företag 1: 2 998 900 kr Företag 2: 5 028 815 kr Företag 3: 3 005 790 kr Ambitionsnivån skulle enligt förfrågningsunderlaget vara av ”begränsad omfattning” Överst redovisas den anbudsutvärdering som låg till grund för beslutet, där företag 1 vinner. Under denna visas viktning enligt kvalitetsvärderingsmodellen där ursprungliga procentsatser för viktning är oförändrade. Orange ruta markerar vinnande anbud vid följande viktningstester. Beskrivning Vid en procentsättning likvärdig med den ursprungliga bibehålls rangordningen mellan anbuden. Det relativa avståndet gällande utvärderingspriset mellan Företag 1 och 2 har dock ökat, respektive minskat mellan Företag 2 och 3. I Ny viktning 2 har en höjning av procentsatsen för Genomförande gjorts från 40 % till 50 %. Resultatet blir då mer i överensstämmande med ursprungligt poängmässigt förhållande anbuden emellan. I Ny viktning 3, där en höjning av procentsatsen för kriteriet Genomförande gjorts till 60 %, ändras rangordningen och Företag 2 skulle vinna upphandlingen. Vid en sådan viktning skulle reduktionen från angivet anbudspris för Företag 2 uppgå till drygt 4,5 miljoner kr och bli nära dubbelt så hög som för Företag 1. Modelltest   85 Ursprunglig viktning Utvärderings­ kriterier Kvalitet/genomförande Genomförande Kompetens Kostnad Totalsumma Resultat 40 % 30 % 30 % Vikt Företag 1 Betyg Poäng Företag 2 Betyg Poäng Företag 3 Betyg Poäng 4,25 4,69 5 1,7 1,400 1,500 4,600 1 5 5 2,98 2 1,5 0,849 4,349 2 3,25 3,44 4,98 1,3 1,032 1,494 3,826 3 Ny viktning 1 Reduktions­ kriterier Kompetens Genomförande Summa avdrag Resultat Max reduk­ tionsvärde 30 % 40 % Företag 1 Anbudspris 2 998 900 Max avdrag 899 670 1 199 560 Betyg Avdrag kr 4,69 4,25 843 890 1 019 626 1863516 1 1135384 Företag 2 Anbudspris 5 028 815 Max avdrag 1 508 645 2 011 526 Betyg Avdrag kr 5 5 1 508 645 2 011 526 3520171 2 1508645 Företag 3 Anbudspris 3 005 790 Max avdrag 901 737 1 202 316 Betyg Avdrag kr 3,44 3,25 620 395 781 505 1401900 3 1603890 Ny viktning 2 Reduktions­ kriterier Kompetens Genomförande Summa avdrag Resultat Max reduk­ tionsvärde 30 % 50 % Företag 1 Anbudspris 2 998 900 Max avdrag 899 670 1 499 450 Betyg Avdrag kr 4,69 4,25 843 890 1 274 533 2 118 423 1 880 477 Företag 2 Anbudspris 5 028 815 Max avdrag 1 508 645 2 514 408 Betyg Avdrag kr 5 5 1 508 645 2 514 408 4 023 052 2 1 005 763 Företag 3 Anbudspris 3 005 790 Max avdrag 901 737 1 502 895 Betyg Avdrag kr 3,44 3,25 620 395 976 882 1 597 277 3 1 408 513 Ny viktning 3 Reduktions­ kriterier Kompetens Genomförande Summa avdrag Resultat Max reduk­ tionsvärde 30 % 60 % Företag 1 Anbudspris 2 998 900 Max avdrag 899 670 1 799 340 Betyg Avdrag kr 4,69 4,25 843 890 1 529 439 2 373 329 2 625 571 Företag 2 Anbudspris 5 028 815 Max avdrag 1 508 645 3 017 289 Betyg Avdrag kr 5 5 1 508 645 3 017 289 4 525 934 1 502 882 Företag 3 Anbudspris 3 005 790 Max avdrag 901 737 1 803 474 Betyg Avdrag kr 3,44 3,25 620 395 1 172 258 1 792 653 3 1 213 137 86  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin 7.3.2  Test 2, exempel 2 – kvalitetsvärderingsmodellen (procentuellt avdrag) Anbudet är samma som det som redovisats som exempel 2 i poängutvärderingsmodellen och avser en slutundersökning av två boplatser och en historisk lämning. Fyra undersökare hade lämnat anbud och vinnande anbud hade i denna upphandling angett näst högsta pris. Överst redovisas den ursprungliga utvärderingen där anbud från företag 2 vinner. Anbudspris: Företag 1: 2 585 360 kr Företag 2: 3 585 199 kr Företag 3: 3 462 365 kr Företag 4: 4 723 356 kr. Ambitionsnivån för undersökningarna skulle vara ”hög”. Beskrivning Vid Ny viktning 1, där ursprungliga procentsatser använts, förändras utslaget för vinnande anbud. Det ursprungligen lägst värderade anbudet vinner och tidigare vinnare kommer på andra plats. Företag 1:s jämförelsevis låga anbudspris blir här utslagsgivande även om reduktionen för deras lågt värderande kriterium Genomförande blir litet. Ny viktning 2 redovisar en höjning av procentsatsen/reduktionsvärdet för Genomförande till 55 %. Därmed återställdes val av vinnande anbud, men rangordningen för övriga anbud var fortsatt omvänd. I Ny viktning 3 gjordes en höjning av kriteriet Genomförande till 60 %, 15 % över ursprunglig viktning. Därmed återställdes ursprunglig placering för de två anbud som tidigare värderats högst. Ett lågt räknat anbudspris med godtagbart genomförande har således goda möjligheter att ta hem anbudet på grund av priset. Man kan trots det notera att vid sista viktningen har skillnaderna jämnats ut väsentligt mellan det anbud som angett högst respektive lägst pris. Vidare kan man fråga sig om inte Företag 1 i detta anbud borde ha diskvalificerats från prisjämförelse, då betyget för Genomförandet inte nått upp till en acceptabel nivå. Modelltest   87 Ursprunglig viktning Utvärderings­ kriterier Komp. personal Komp. företag Genomförande Kostnad Totalsumma Resultat Vikt 20 % 10 % 45 % 25 % Företag 1 Betyg 3,7 4,5 2,7 5 Poäng 0,74 0,45 1,215 1,25 3,655 4 Företag 2 Betyg 3,7 3,8 4,2 3,61 Poäng 0,74 0,38 1,89 0,903 3,913 1 Företag 3 Betyg 4,9 4,5 3,4 3,73 Poäng 0,98 0,45 1,53 0,933 3,893 2 Företag 4 Betyg 4,4 4,5 4 2,74 Poäng 0,88 0,45 1,8 0,685 3,815 3 Ny viktning 1 Reduktions­ kriterier Komp. personal Komp. företag Genomförande Summa avdrag Resultat Företag 1 Anbudspris 2 585 360 Max reduk­ Max avdrag tionsvärde 20 % 10 % 45 % 517072 258536 1163412 Betyg Avdrag kr 3,7 4,5 2,7 232682 628242 860925 1 1724435 Företag 2 Anbudspris 3 585 199 Max avdrag 717040 358520 1613340 Betyg Avdrag kr 3,7 3,8 4,2 272475 1355205 1627680 2 1957519 Företag 3 Anbudspris 3 462 365 Max avdrag 692473 346237 1558064 Betyg Avdrag kr 4,9 4,5 3,4 311613 1059484 1371097 3 2091268 Företag 4 Anbudspris 4 723 356 Max avdrag 944671 472336 2125510 Betyg Avdrag kr 4,4 4,5 4 425102 1700408 2125510 4 2597846 Ny viktning 2 Reduktions­ kriterier Kompetens Genomförande Summa avdrag Resultat Företag 1 Anbudspris 2 585 360 Max reduk­ Max avdrag tionsvärde 30 % 55 % 775 608 1 421 948 Betyg Avdrag kr 3,97 2,7 615 833 767 852 1 383 685 2 1 201 675 Företag 2 Anbudspris 3 585 199 Max avdrag 1 075 560 1 971 860 Betyg Avdrag kr 3,73 4,2 802 368 1 656 362 2 458 729 1 1 126 470 Företag 3 Anbudspris 3 462 365 Max avdrag 1 038 710 1 904 301 Betyg Avdrag kr 4,76 3,4 988 851 1 294 925 2 283 776 3 1 178 589 Företag 4 Anbudspris 4 723 356 Max avdrag 1 417 007 2 597 846 Betyg Avdrag kr 4,43 4 1 255 468 2 078 277 3 333 745 4 1 389 611 Ny viktning 3 Reduktions­ kriterier Kompetens Genomförande Summa avdrag Resultat Företag 1 Anbudspris 2 585 360 Max reduk­ Max avdrag tionsvärde 30 % 60 % 775 608 1 551 216 Betyg Avdrag kr 3,97 2,7 615 833 837 657 1 453 489 3 1131871 Företag 2 Anbudspris 3 585 199 Max avdrag 1 075 560 2 151 119 Betyg Avdrag kr 3,73 4,2 802 368 1 806 940 2 609 308 1 975891 Företag 3 Anbudspris 3 462 365 Max avdrag 1 038 710 2 077 419 Betyg Avdrag kr 4,76 3,4 988 851 1 412 645 2 401 496 2 1060869 Företag 4 Anbudspris 4 723 356 Max avdrag 1 417 007 2 834 014 Betyg Avdrag kr 4,43 4 1 255 468 2 267 211 3 522 679 4 1200677 88  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin 7.3.3  Test 2, exempel 3 – kvalitetsvärderingsmodellen (procentuellt avdrag) Anbudet är samma som det som redovisats som exempel 3 i poängutvärderingsmodellen och avser slutundersökning av boplats samt del av gravfält. Fyra undersökare inkom med anbud och respektive anbudspris var enligt följande: Företag 1: 3 571 400 kr Företag 2: 1 973 000 kr Företag 3: 1 527 450 kr Företag 4: 4 330 595 kr Beskrivningen av ambitionsnivån utgick från direktiv kring var fokus skulle ligga vid undersökningen. Överst redovisas den ursprungliga utvärderingen där företag 2 vinner. Vinnande anbud i ursprunglig utvärdering är den som hade högst värderad kvalitet i utvärderingen samt näst lägst pris. Under denna visas effekten av att omvandla procenten till reduktionskriterier enligt Kvalitetsvärderingsmodellen med ursprunglig procentsats för valda kriterier. Beskrivning Vid användning av ursprunglig procentsättning, Ny viktning 1, bibehålls rangordningen mellan anbuden för Företag 1 och 2, medan anbuden för Företag 3 och 4 har bytt plats. Den Vetenskapliga relevansen tillsammans med Genomförandekriteriet och Kompetens utgör här sammanlagt ett reduktionskriterium på 70 %. Först när den sammanslagna procentsättningen för Genomförande och Vetenskaplig relevans ökas från 50 till 75 %, och viktningen av kompetens ligger kvar på 20 %, blir rangordningen mellan anbuden som den ursprungliga (ej redovisat). I Ny viktning 2 redovisas effekten av viktning enligt procentsatserna 50/50 (Genomförande och Vetenskaplig relevans om vardera 25 %), där Företag 3 istället skulle ha tagit hem anbudet. Då reduktionen av kvalitetskriterierna i detta exempel endast uppgår till totalt 50 %, ökar därmed anbudsprisets betydelse med ”ny” anbudsvinnare som följd. Modelltest   89 Ursprunglig viktning Utvärderings­ kriterier Kompetens Vetenskapl. rel. Genomförande Kostnad Totalsumma Resultat Vikt 20 % 25 % 25 % 30 % Företag 1 Betyg 5 3 2 2,14 Poäng 1 0,75 0,5 0,642 2,89 4 Företag 2 Betyg 5 5 5 3,87 Poäng 1 1,25 1,25 1,161 4,66 1 Företag 3 Betyg 4 4 4 5 Poäng 0,8 1 1 1,5 4,3 2 Företag 4 Betyg 5 4 2 1,76 Poäng 1 1 0,5 0,528 3,03 3 Ny viktning 1 Reduktions­ kriterier Kompetens Vetenskapl. rel. Genomförande Summa avdrag Resultat Företag 1 Anbudspris 3 571 400 Max reduk­ Max avdrag tionsvärde 20 % 25 % 25 % 714280 892850 892850 Betyg Avdrag kr 5 3 2 714280 535710 357140 1607130 3 1964270 Företag 2 Anbudspris 1 973 000 Max avdrag 394600 493250 493250 Betyg Avdrag kr 5 5 5 394600 493250 493250 1381100 1 591900 Företag 3 Anbudspris 1 527 450 Max avdrag 305490 381863 381863 Betyg Avdrag kr 4 4 4 244392 305490 305490 855372 2 672078 Företag 4 Anbudspris 4 330 595 Max avdrag 866119 1082649 1082649 Betyg Avdrag kr 5 4 2 866119 866119 433060 2165298 4 2165298 Ny viktning 2 Reduktions­ kriterier Vetenskapl. rel. Genomförande Summa avdrag Resultat Företag 1 Anbudspris 3 571 400 Max reduk­ Max avdrag tionsvärde 25 % 25 % 892850 892850 Betyg Avdrag kr 3 2 535710 357140 892850 3 2678550 Företag 2 Anbudspris 1 973 000 Max avdrag 493250 493250 Betyg Avdrag kr 5 5 493250 493250 986500 2 986500 Företag 3 Anbudspris 1 527 450 Max avdrag 381863 381863 Betyg Avdrag kr 4 4 305490 305490 610980 1 916470 Företag 4 Anbudspris 4 330 595 Max avdrag 1082649 1082649 Betyg Avdrag kr 4 2 866119 433060 1299179 4 3031417 90  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin 7.3.4  Test 2, exempel 4 – kvalitetsvärderingsmodellen (procentuellt avdrag) Slutundersökning av våtmarkslämning, 2008. Fyra undersökare inkom med anbud och respektive anbudspris var enligt följande: Företag 1: 1 781 400 kr Företag 2: 2 367 850 kr Företag 3: 1 087 400kr. Ambitionsnivån för undersökningen skulle vara ”hög”. Överst redovisas den ursprungliga utvärderingen där företag 2 vinner. Vinnande anbud i ursprunglig utvärdering är den som hade högst värderad kvalitet i utvärderingen samt högst pris. Under denna visas effekten av att omvandla procenten till reduktionskriterier enligt Kvalitetsvärderingsmodellen. Beskrivning Vid Ny viktning 1, oförändrad viktning i förhållande till den ursprungliga, byter Företag 2 och 3 plats. Företag 3 vinner anbudet före den tidigare anbudsvinnaren, Företag 2. Det kan även noteras att Företag 1, som ursprungligen värderats mycket lågt i ursprunglig utvärdering, närmat sig företag 2 väsentligt. Att Företag 3 angett en mindre än hälften så kostsam undersökning blir avgörande för att vinna anbudet. Trots att betyget för Genomförande värderats betydligt lägre hos Företag 3, jämfört med Företag 2, får en procentsättning av reduktionskriteriet Genomförande till 45 % ett litet genomslag vid slutligt resultat. Ny viktning 2: Först vid höjning av procentsatsen för Genomförandet från 45 till 61 % (en ökning på 16 %) återställs ursprunglig rangordning, vilket också avser ursprunglig vinnare av anbudet. Reduktionen av kostnaden blir för Företag 2 då över 2 miljoner, jämfört med Företag 3:s avdrag på drygt 700 000 kr. Modelltest   91 Ursprunglig viktning Utvärderings­ kriterier Komp. personal Komp. företag Genomförande Kostnad Totalsumma Resultat Vikt 20 % 10 % 45 % 25 % Företag 1 Betyg 3,8 3,8 2,7 3,05 Poäng 0,76 0,38 1,215 0,763 3,118 3 Företag 2 Betyg 4,8 4,5 4,7 2,3 Poäng 0,96 0,45 2,115 0,575 4,100 1 Företag 3 Betyg 4,1 4,3 3,5 5 Poäng 0,82 0,43 1,575 1,250 4,075 2 Ny viktning 1 Reduktions­ kriterier Komp. personal Komp. företag Genomförande Summa avdrag Resultat Företag 1 Anbudspris 1 781 400 Max reduk­ Max avdrag tionsvärde 20 % 10 % 45 % 356 280 178 140 801 630 Betyg Avdrag kr 3,8 3,8 2,7 270 773 135 386 432 880 839 039 3 942 361 Företag 2 Anbudspris 2 367 850 Max avdrag 473 570 236 785 1 065 533 Betyg Avdrag kr 4,8 4,5 4,7 454 627 213 107 1 001 601 1 669 334 2 698 516 Företag 3 Anbudspris 1 087 400 Max avdrag 217 480 108 740 489 330 Betyg Avdrag kr 4,1 4,3 3,5 178 334 93 516 342 531 614 381 1 473 019 Ny viktning 2 Reduktions­ kriterier Komp. personal Komp. företag Genomförande Summa avdrag Resultat Företag 1 Anbudspris 1 781 400 Max reduk­ Max avdrag tionsvärde 20 % 10 % 61 % 356 280 178 140 1 086 654 Betyg Avdrag kr 3,8 3,8 2,7 270 773 135 387 586 793 992 952 3 788 448 Företag 2 Anbudspris 2 367 850 Max avdrag 473 570 236 785 1 444 389 Betyg Avdrag kr 4,8 4,5 4,7 454 627 213 107 1 357 725 2 025 459 1 342 391 Företag 3 Anbudspris 1 087 400 Max avdrag 217 480 108 740 663 314 Betyg Avdrag kr 4,1 4,3 3,5 178 334 93 516 464 320 736 170 2 351 230 92  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin 7.3.5  Test 2, exempel 5 – kvalitetsvärderingsmodellen (procentuellt avdrag) Förundersökning från 2009, vilket berörde tre fornlämningar i form av bytomt, boplats samt område med gravar. Tre undersökare gick vid utvärderingsmomentet vidare till prisjämförelse och respektive anbuds pris var enligt följande: Företag 1: 556 100 kr Företag 2: 899 500 kr Företag 3: 790 800 kr Avseende ambitionsnivån angavs att undersökningarna skall vara ”av god kvalitet” i kombination med anvisningar kring genomförandet. Ursprunglig utvärderingen gav en väl sammanhållen totalpoäng där det anbud med högst värderad kompetens och genomförande samt näst högst/ lägst pris vann. Under ursprunglig viktning redovisas effekten av samma procentsats enligt kvalitetsvägningsmodellen. Beskrivning Vid Ny viktning 1 har procentsättning gjorts enligt ursprunglig viktning. Detta resulterar i att Företag 1 och 3 byter plats, vilket förändrar utfallet av vinnande anbud. Det lägre priset får här avgörande betydelse, trots ett relativt lågt värderat Genomförande för Företag 1. Ny viktning 2: Höjer man det procentuella avdraget för Genomförandet med 10 % blir ordningen ”återställd”, i likhet med ursprunglig viktning. Det totala avdraget för reduktionskriterierna blir därmed nästan dubbelt så stort för Företag 3, som vinner anbudet, jämfört med Företag 1 som angett lägst pris för undersökningen. Modelltest   93 Ursprunglig viktning Utvärderings­ kriterier Komp. företag Komp. personal Genomförande Kostnad Totalsumma Totalsumma Vikt 10 % 20 % 35 % 35 % Företag 1 Betyg 4,5 4 3 5 Poäng 0,45 0,8 1,05 1,75 4,05 2 Företag 2 Betyg 4,5 4,5 4,5 3,09 Poäng 0,45 0,9 1,58 1,08 4,01 3 Företag 3 Betyg 4,5 4,5 4,5 3,52 Poäng 0,45 0,9 1,58 1,23 4,16 1 Ny viktning 1 Reduktions­ kriterier Komp. personal Komp. företag Genomförande Summa avdrag Resultat Företag 1 Anbudspris 556 100 Max reduk­ Max avdrag tionsvärde 20 % 10 % 35 % 111220 55610 194635 Betyg Avdrag kr 4 4,5 3 88976 50049 116781 255806 1 300294 Företag 2 Anbudspris 899 500 Max avdrag 179900 89950 314825 Betyg Avdrag kr 4,5 4,5 4,5 161910 80955 283342,5 526208 3 373293 Företag 3 Anbudspris 790 800 Max avdrag 158160 79080 276780 Betyg Avdrag kr 4,5 4,5 4,5 142344 71172 249102 462618 2 328182 Ny viktning 2 Reduktions­ kriterier Komp. personal Komp. företag Genomförande Summa avdrag Resultat Företag 1 Anbudspris 556 100 Max reduk­ Max avdrag tionsvärde 20 % 10 % 45 % 111220 55610 250245 Betyg Avdrag kr 4 4,5 3 88976 50049 150147 289172 2 266928 Företag 2 Anbudspris 899 500 Max avdrag 179900 89950 404775 Betyg Avdrag kr 4,5 4,5 4,5 161910 80955 364297,5 607163 3 292338 Företag 3 Anbudspris 790 800 Max avdrag 158160 79080 355860 Betyg Avdrag kr 4,5 4,5 4,5 142344 71172 320274 533790 1 257010 94  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin 7.3.6  Test 3, exempel 1 – kvalitetsvärderingsmodellen (monetärt avdrag) Anbudet är samma som det som redovisats i Test 2, exempel 1 – (procentuellt avdrag), avsnitt 7.3.1. Respektive anbudspris var i denna upphandling enligt följande: Företag 1: 2 998 900 kr Företag 2: 5 028 815 kr Företag 3: 3 005 790 kr Företag 1 vann anbudet före Företag 2 och 3. Modellen prövades dels genom ett beräknat medelvärde av inkomna anbud, vilket beräknats till 3 677 835 kr och dels utifrån priset på det antagna anbudet, 2 998 900 kr. Prisreduktionen motsvarade i det första exemplet ett procentuellt avdrag av 30 % på 1 103 350 kr, upp till ett avdrag på 70 % motsvarande 2 574 484 kr. Nedan redovisas först den anbudsutvärdering, enligt poängvägningsmodellen, som låg till grund för beslutet. Därefter följer anbudsutvärdering enligt fast pris i kvalitetsvärderingsmodellen, där ursprunglig viktning gjorts enligt ursprunglig procentsats och utifrån vinnande anbudspris. Därunder visas effekten av att höja det maximala reduktionsavdraget till 100 %. sist redovisas resultatet av att använda ett framräknat medelvärde (3 677 835 kr) där reduktionsavdraget satts till 100 %. Beskrivning Ny viktning 1 redovisar effekten av direkt överföring av ursprungliga procentsatser till kvalitetsvärderingsmodellen med monetärt avdrag. Det ursprungligen vinnande anbudet, vilket redovisat lägst pris i kombination med ett jämförelsevis högt betyg vinner även i denna modell. Däremot förändras rangordningen mellan Företag 2 och 3. I Ny viktning 2 och 3 prövades sedan möjligheterna att genom höjning utifrån ett framräknat medelvärde på anbudspriset, 3 677 835 kr (Ny viktning 2), respektive utifrån vinnande anbuds pris (Ny viktning 3). Oavsett att prisreduktionen utgår från vinnande anbud eller utifrån framräknat medelvärde, med ett maximalt kvalitetsavdrag på 100 %, kunde Företag 2 prismässigt närma sig Företag 3. Prisskillnaden på över 2 miljoner kronor blir därmed avgörande vid framräkning av utvärderingspris. Modelltest   95 Ursprunglig viktning Utvärderings­ kriterier Kvalitet/ Genomförande Kompetens Kostnad Totalsumma Resultat 40 % 30 % 30 % Vikt Företag 1 Betyg Poäng Företag 2 Betyg Poäng Företag 3 Betyg Poäng 4,25 4,69 5 1,7 1,400 1,500 4,600 1 5 5 2,98 2 1,5 0,849 4,349 2 3,25 3,44 4,98 1,3 1,032 1,494 3,826 3 Ny viktning 1 Reduktions­ kriterier Kompetens Genomförande Summa avdrag Resultat Företag 1 Anbudspris 2 998 900 Max reduk­ Max avdrag tionsvärde 30 % 40 % 1 103 350 1 471 134 Betyg Avdrag kr 4,69 4,25 1 034 942 1 250 464 2 285 406 1 713 494 Företag 2 Anbudspris 5 028 815 Max avdrag 1 103 350 1 471 134 Betyg Avdrag kr 5 5 1 103 350 1 471 134 2 574 484 3 2 454 331 Företag 3 Anbudspris 3 005 790 Max avdrag 1 103 350 1 471 134 Betyg Avdrag kr 3,44 3,25 759 105 956 237 1 715 342 2 1 290 448 Ny viktning 2 Reduktions­ kriterier Kompetens Genomförande Summa avdrag Resultat Företag 1 Anbudspris 2 998 900 Max reduk­ Max avdrag tionsvärde 30 % 70 % 1 103 350 2 574 484 Betyg Avdrag kr 4,69 4,25 1 034 942 2 188 311 3 223 254 1 -224 354 Företag 2 Anbudspris 5 028 815 Max avdrag 1 103 350 2 574 484 Betyg Avdrag kr 5 5 1 103 350 2 574 484 3 677 834 3 1 350 981 Företag 3 Anbudspris 3 005 790 Max avdrag 1 103 350 2 574 484 Betyg Avdrag kr 3,44 3,25 759 105 1 673 415 2 432 519 2 573 271 Ny viktning 3 Reduktions­ kriterier Kompetens Genomförande Summa avdrag Resultat Företag 1 Anbudspris 2 998 900 Max reduk­ Max avdrag tionsvärde 30 % 70 % 899 670 2 099 230 Betyg Avdrag kr 4,69 4,25 843 890 1 784 346 2 628 236 1 370 664 Företag 2 Anbudspris 5 028 815 Max avdrag 899 670 2 099 230 Betyg Avdrag kr 5 5 899 670 2 099 230 2 998 900 3 2 029 915 Företag 3 Anbudspris 3 005 790 Max avdrag 899 670 2 099 230 Betyg Avdrag kr 3,44 3,25 618 973 1 364 500 1 983 472 2 1 022 318 96  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin 7.3.7  Test 3, exempel 2 – kvalitetsvärderingsmodellen (monetärt avdrag) Anbudet är samma som det som redovisats i Test 2, exempel 2 – (procentuellt avdrag), avsnitt 7.3.2. Anbudet vanns av Företag 2, följt av Företag 3, 4 och 1. Anbudspris var enligt följande: Företag 1: 2 585 360 kr Företag 2: 3 585 199 kr Företag 3: 3 462 365 kr Företag 4: 4 723 356 kr Modellen prövades genom ett framtaget medelvärde av inkomna anbud som beräknats till 3 589 070 kr, vilket i det närmaste också motsvarade priset för det vinnande anbudet (3 585 199kr). Nedan redovisas först den anbudsutvärdering, enligt poängvägningsmodellen, som låg till grund för beslutet. Därefter redovisas effekten av en fast prisreduktion enligt kvalitetsvärderingsmodellen, vilket för ett procentuellt avdrag av 10 % motsvarar maximalt avdrag på 358 907 kr, upp till ett avdrag på 70 %, motsvarande 2 512 349 kr. Beskrivning Vid Ny viktning 1 redovisas viktning enligt ursprunglig procentsättning. Det anbud som förut värderats lägst, Företag 1, kom vid användandet av denna modell att värderas högst och tidigare vinnande anbud, Företag 2, blev placerat på andra plats. Företag 3 och 4 bibehåller sin rangordning jämfört med den ursprungliga. I Ny viktning 2 redovisas en maximal prisreduktion på 100 % av kvalitetskriterierna. Därmed minskade skillnaderna mellan anbud 1 och 2, men skillnaderna i pris är trots det påfallande stor. Ett jämförelsevis lågt räknat anbudspris blir här avgörande, vilket ej var möjligt att balansera upp genom att i efterhand öka det procentuella avdraget. Det ska dock noteras att ett betygsatt genomförande för Företag 1 på 2,7 kanske egentligen inte skulle motivera att anbudet går vidare till slutlig prisjämförelse. Skulle man vid utvärderingen ha förkastat anbudet från Företag 1 blir ursprunglig rangordning mellan Företag 2 till 4 bibehållen, både vid ursprunglig procentsättning (totalt 75 %), och vid en maximal prisreduktion på 100 %. Jämfört med utfallet av samma anbud enligt Test 2, exempel 2 – (procentuellt avdrag), avsnitt 7.3.2, kan man således konstatera att modellen med procentuellt avdrag, i detta exempel, på ett bättre sätt kunde motverka en förändrad rangordning genom att i efterhand höja procentsättningen av kriteriet Genomförande. Modelltest   97 Ursprunglig viktning Utvärderings­ kriterier Komp. personal Komp. företag Genomförande Kostnad Totalsumma Resultat Vikt 20 % 10 % 45 % 25 % Företag 1 Betyg 3,7 4,5 2,7 5 Poäng 0,74 0,45 1,215 1,25 3,655 4 Företag 2 Betyg 3,7 3,8 4,2 3,61 Poäng 0,74 0,38 1,89 0,903 3,913 1 Företag 3 Betyg 4,9 4,5 3,4 3,73 Poäng 0,98 0,45 1,53 0,933 3,893 2 Företag 4 Betyg 4,4 4,5 4 2,74 Poäng 0,88 0,45 1,8 0,685 3,815 3 Ny viktning 1 Reduktions­ kriterier Komp. personal Komp. företag Genomförande Summa avdrag Resultat Företag 1 Anbudspris 2 585 360 Max reduk­ Max avdrag tionsvärde 20 % 10 % 45 % 717 814 358 907 1 615 081 Betyg Avdrag kr 3,7 4,5 2,7 323 016 872 144 1 195 160 1 1 390 200 Företag 2 Anbudspris 3 585 199 Max avdrag 717 814 358 907 1 615 081 Betyg Avdrag kr 3,7 3,8 4,2 272 769 1 356 668 1 629 437 2 1 955 762 Företag 3 Anbudspris 3 462 365 Max avdrag 717 814 358 907 1 615 081 Betyg Avdrag kr 4,9 4,5 3,4 323 016 1 098 255 1 421 271 3 2 041 094 Företag 4 Anbudspris 4 723 356 Max avdrag 717 814 358 907 1 615 081 Betyg Avdrag kr 4,4 4,5 4 323 016 1 292 065 1 615 081 4 3 108 275 Ny viktning 2 Reduktions­ kriterier Kompetens Genomförande Summa avdrag Resultat Företag 1 Anbudspris 2 585 360 Max reduk­ Max avdrag tionsvärde 30 % 70 % 1076721 2512349 Betyg Avdrag kr 3,97 2,7 854916 1356669 2211585 1 373775 Företag 2 Anbudspris 3 585 199 Max avdrag 1076721 2512349 Betyg Avdrag kr 3,73 4,2 803234 2110373 2913607 2 671592 Företag 3 Anbudspris 3 462 365 Max avdrag 1076721 2512349 Betyg Avdrag kr 4,76 3,4 1025038 1708397 2733436 3 728929 Företag 4 Anbudspris 4 723 356 Max avdrag 1076721 2512349 Betyg Avdrag kr 4,43 4 953975 2009879 2963854 4 1759502 98  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin 7.3.8  Test 3, exempel 3 – kvalitetsvärderingsmodellen (monetärt avdrag) Anbudet är samma som det som redovisats i Test 2, exempel 3 – (procentuellt avdrag), avsnitt 7.3.3. Anbudet vanns av Företag 2, följt av Företag 3, 4 och 1. Respektive anbudspris var enligt följande: Företag 1: 3 571 400 kr Företag 2: 1 973 000 kr Företag 3: 1 527 450 kr Företag 4: 4 330 595 kr Modellen prövades dels genom ett framräknat medelvärde av inkomna anbud á 2 850 611 kr, dels utifrån priset för det vinnande anbudet, 1 973 000 kr. Nedan redovisas först den anbudsutvärdering, enligt poängvägningsmodellen, som låg till grund för beslutet. Därefter redovisas effekten av framräknad reduktion utifrån vinnande anbud, respektive framräknat medelvärde av prisjämförda anbud. Vid beräkningarna av det framräknade medelvärdet motsvarade ett procentuellt avdrag av 20 % totalt 570 122 kr, upp till ett avdrag på 55 % vilket motsvarade 1 537 836 kr. För beräknade avdrag utifrån antaget anbud motsvarade 20 % en reduktion på 394 600 kr, respektive för 55 % motsvarande 1 085 150 kr. Beskrivning Vid Ny viktning 1 och 2 har prisreduktion beräknats utifrån vinnande anbuds pris. I dessa exempel kom Företag 3 att vinna över Företag 2, oavsett att det maximala reduktionsvärdets procent ökades från ursprungliga 70 till 100 %. Det lägre priset blir här utslagsgivande i kombination med relativt sett höga betyg för de olika kvalitetskriterierna. Vid Ny viktning 3 och 4 har prisreduktionen utgått från ett framräknat medelvärde á 2 850 611 kr. Vid beräknad prisreduktion utifrån ett medelvärde, som i detta fall ligger över den kostnad som Företag 2 och 3 angivit, ges båda dessa anbudsgivare ett negativt värde i den slutliga sammanräkningen (lågt utvärderingspris). Detta ska ses som positivt ur kvalitets- och kostnadseffektivitetssynpunkt. I exemplet Ny viktning 4, där reduktionen uppgår till totalt 85 % och kriteriet Genomförande höjts från 25 till 40 %, återställs ursprunglig rangordning för de två högst värderade anbuden. De två tidigare lägst rankade anbuden har vid denna viktning dock bytt plats. Ursprunglig viktning Utvärderings­ kriterier Kompetens Vet. relevans Genomförande Kostnad Totalsumma Resultat Vikt 20 % 25 % 25 % 30 % Företag 1 Betyg 5 3 2 2,14 Poäng 1 0,75 0,5 0,642 2,89 4 Företag 2 Betyg 5 5 5 3,87 Poäng 1 1,25 1,25 1,161 4,66 1 Företag 3 Betyg 4 4 4 5 Poäng 0,8 1 1 1,5 4,3 2 Företag 4 Betyg 5 4 2 1,76 Poäng 1 1 0,5 0,528 3,03 3 Modelltest   99 Viktning enligt vinnande anbuds pris: 1 973 000 kr. Ny viktning 1 Reduktions­ kriterier Kompetens Vet. Rel Genomförande Summa avdrag Resultat 3 Max reduktionsvärde 20 % 25 % 25 % Företag 1 Anbudspris 3 571 400 Max avdrag 394 600 493 250 493 250 Betyg Avdrag kr 5 3 2 394 600 295 950 197 300 887 850 2683550 2 Företag 2 Anbudspris 1 973 000 Max avdrag 394 600 493 250 493 250 Betyg Avdrag kr 5 5 5 394 600 493 250 493 250 1 381 100 591900 1 Företag 3 Anbudspris 1 527 450 Max avdrag 394 600 493 250 493 250 Betyg Avdrag kr 4 4 4 315 680 394 600 394 600 1 104 880 422570 4 Företag 4 Anbudspris 4 330 595 Max avdrag 394 600 493 250 493 250 Betyg Avdrag kr 5 4 2 394 600 394 600 197 300 986 500 3344095 Ny viktning 2 Reduktions­ kriterier Kompetens Vet. Rel Genomförande Summa avdrag Resultat Max reduk­ tionsvärde 20 % 25 % 55 % Företag 1 Anbudspris 3 571 400 Max avdrag 394 600 493 250 1 085 150 Betyg Avdrag kr 5 3 2 394 600 295 950 434 060 1 124 610 3 2 446 790 Företag 2 Anbudspris 1 973 000 Max avdrag 394 600 493 250 1 085 150 Betyg Avdrag kr 5 5 5 394 600 493 250 1 085 150 1 973 000 2 0 Företag 3 Anbudspris 1 527 450 Max avdrag 394 600 493 250 1 085 150 Betyg Avdrag kr 4 4 4 315 680 394 600 868 120 1 578 400 1 -50 950 Företag 4 Anbudspris 4 330 595 Max avdrag 394 600 493 250 1 085 150 Betyg Avdrag kr 5 4 2 394 600 394 600 434 060 1 223 260 4 3 107 335 Viktning enligt beräknat medelpris: 2 850 611 kr. Ny viktning 3 Reduktions­ kriterier Kompetens Vet. Rel Genomförande Summa avdrag Resultat 3 Max reduk­ tionsvärde 20 % 25 % 25 % Företag 1 Anbudspris 3 571 400 Max avdrag 570 122 712 653 712 653 Betyg Avdrag kr 5 3 2 570 122 427 592 285 061 1 282 775 2 288 625 2 Företag 2 Anbudspris 1 973 000 Max avdrag 570 122 712 653 712 653 Betyg Avdrag kr 5 5 5 570 122 712 653 712 653 1 995 428 -22 428 1 Företag 3 Anbudspris 1 527 450 Max avdrag 570 122 712 653 712 653 Betyg Avdrag kr 4 4 4 456 098 570 122 570 122 1 596 342 -68 892 4 Företag 4 Anbudspris 4 330 595 Max avdrag 570 122 712 653 712 653 Betyg Avdrag kr 5 4 2 570 122 570 122 285 061 1 425 306 2 905 289 Ny viktning 4 Reduktions­ kriterier Kompetens Vet. Rel Genomförande Summa avdrag Resultat Max reduk­ tionsvärde 20 % 25 % 40 % Företag 1 Anbudspris 3 571 400 Max avdrag 570 122 712 653 1 140 244 Betyg Avdrag kr 5 3 2 570 122 427 592 456 098 1 453 811 3 2 117 589 Företag 2 Anbudspris 1 973 000 Max avdrag 570 122 712 653 1 140 244 Betyg Avdrag kr 5 5 5 570 122 712 653 1 140 244 2 423 019 1 -450 019 Företag 3 Anbudspris 1 527 450 Max avdrag 570 122 712 653 1 140 244 Betyg Avdrag kr 4 4 4 456 098 570 122 912 195 1 938 415 2 -410 965 Företag 4 Anbudspris 4 330 595 Max avdrag 570 122 712 653 1 140 244 Betyg Avdrag kr 5 4 2 570 122 570 122 456 098 1 596 342 4 2 734 253 100  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin 7.3.9  Test 3, exempel 4 – kvalitetsvärderingsmodellen (monetärt avdrag) Anbudet är samma som det som redovisats i Test 2, exempel 4 – (procentuellt avdrag), avsnitt 7.3.4. Anbudet vanns av Företag 2, följt av Företag 3 och 1. Respektive anbudspris var enligt följande: Företag 1: 1 781 400 kr Företag 2: 2 367 850 kr Företag 3: 1 087 400 kr Av nedanstående tabeller redovisas överst den anbudsutvärdering, enligt poängvägningsmodellen, som låg till grund för beslutet. Då det företag som angett högst anbudspris vann anbudet, 2 367 850 kr, redovisas nedan endast prisreduktion beräknad utifrån detta anbud. I tabellerna nedan den ursprungliga viktningen framgår effekten av en fast prisreduktion, där ett procentuellt avdrag av 10 % motsvarade en prisreduktion på 236 785 kr, upp till ett avdrag på 70 %, motsvarande 1 657 495 kr. Beskrivning Vid Ny viktning 1 har en direkt överföring av den ursprungliga procentsättningen kommit att förändra rangordningen helt mellan anbuden. Företag 2 som vunnit anbudet blir lägst rankat och Företag 3 vinner. Orsaken till detta kan ses mot bakgrund av de relativt stora kostnadsskillnader som finns emellan anbuden. Vid Ny viktning 2 har en höjning av kriteriet Genomförande gjorts från 45 till 70 %, vilket totalt sett möjliggör ett maximalt kvalitetsavdrag på 100 %. Genom denna justering hamnar tidigare anbudsvinnare (Företag 2) på andra plats, men avståndet till Företag 3 är dock fortfarande betydande. Att Företag 3 har angett ett cirka hälften så lågt pris för undersökningen blir här avgörande för utfallet, vilket inte gick att kompensera genom i efterhand justerade procentsatser. Jämfört med utfallet av samma anbud enligt Test 2, exempel 4 – (procentuellt avdrag), avsnitt 7.3.4, kan man således konstatera att modellen med procentuellt avdrag, i detta exempel, på ett bättre sätt kunde motverka en förändrad rangordning genom att i efterhand höja procentsättningen av kriteriet Genomförande. Modelltest   101 Ursprunglig viktning Utvärderings­ kriterier Komp. personal Komp. företag Genomförande Kostnad Totalsumma Resultat Vikt 20 % 10 % 45 % 25 % Företag 1 Betyg 3,8 3,8 2,7 3,05 Poäng 0,76 0,38 1,215 0,763 3,118 3 Företag 2 Betyg 4,8 4,5 4,7 2,3 Poäng 0,96 0,45 2,115 0,575 4,100 1 Företag 3 Betyg 4,1 4,3 3,5 5 Poäng 0,82 0,43 1,575 1,250 4,075 2 Ny viktning 1 Reduktions­ kriterier Komp. personal Komp. företag Genomförande Summa avdrag Resultat Företag 1 Anbudspris 1 781 400 Max reduk­ Max avdrag tionsvärde 20 % 10 % 45 % 473570 236785 1065533 Betyg Avdrag kr 3,8 3,8 2,7 359913 179957 575388 1115257 2 666143 Företag 2 Anbudspris 2 367 850 Max avdrag 473570 236785 1065533 Betyg Avdrag kr 4,8 4,5 4,7 454627 213107 1001601 1669334 3 698516 Företag 3 Anbudspris 1 087 400 Max avdrag 473570 236785 1065533 Betyg Avdrag kr 4,1 4,3 3,5 388327 203635 745873 1337835 1 -250435 Ny viktning 2 Reduktions­ kriterier Komp. personal Komp. företag Genomförande Summa avdrag Resultat Företag 1 Anbudspris 1 781 400 Max reduk­ Max avdrag tionsvärde 20 % 10 % 70 % 473570 236785 1657495 Betyg Avdrag kr 3,8 3,8 2,7 359913 179957 895047 1434917 3 346483 Företag 2 Anbudspris 2 367 850 Max avdrag 473570 236785 1657495 Betyg Avdrag kr 4,8 4,5 4,7 454627 213107 1558045 2225779 2 142071 Företag 3 Anbudspris 1 087 400 Max avdrag 473570 236785 1657495 Betyg Avdrag kr 4,1 4,3 3,5 388327 203635 1160247 1752209 1 -664809 102  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin 7.3.10  Test 3, exempel 5 – kvalitetsvärderingsmodellen (monetärt avdrag) Anbudet är samma som det som redovisats i Test 2, exempel 5 – (procentuellt avdrag), avsnitt 7.3.5. Anbudet vanns av Företag 3, följt av Företag 1 och 2. Respektive anbuds pris var enligt följande: Företag 1: 556 100 kr Företag 2: 899 500 kr Företag 3: 790 800 kr Modellen prövades dels genom ett framräknat medelvärde av inkomna anbud, 748 800 kr, dels utifrån priset för det vinnande anbudet, 790 800 kr. Nedan redovisas först den anbudsutvärdering, enligt poängvägningsmodellen, som låg till grund för beslutet. Därefter följer i tabellform effekten av reduktionspriser utifrån endast vinnande anbud, då prisskillnaderna var små och då resultatet, utifrån test med framräknat medelpris, inte kom att påverka resultatet nämnvärt. Vid beräknade avdrag utifrån antaget anbud motsvarade 10 % en reduktion på 79 080 kr, respektive där ett beräknat avdrag på 70 % motsvarande en prisreduktion på maximalt 553 560 kr. Beskrivning Vid Ny viktning 1 har en direkt överföring av den ursprungliga procentsättningen förändrat rangordningen mellan de tidigare två högst värderade anbuden. Företag 3 som vunnit anbudet hamnar på andra plats och Företag 1 vinner. Vid Ny viktning 2 kvarstår rangordningen enligt ovan trots att reduktionen för Genomförande höjts från 35 till 70 % och det sammanlagda kvalitetsavdraget uppgår till maximalt 100 %. Återigen har det lägsta priset haft stor betydelse för utfallet, trots att prisreduktionen för kriteriet Genomförande ursprungligen värderats lågt för Företag 1 i detta anbud. Jämfört med utfallet av samma anbud enligt Exempel 5 – (procentuellt avdrag), avsnitt 7.3.5, kan man återigen konstatera att modellen med procentuellt avdrag på ett bättre sätt kunde motverka en förändrad rangordning. Detta genom att i efterhand höja procentsättningen av kriteriet Genomförande. Det skall betonas att de problem som modellen med monetärt avdrag i flera exempel uppvisat, kan hänga samman med svårigheterna att i efterhand anpassa till resultatet från annan modells utvärdering. Förutsättningarna för upprättande av anbud står i direkt förhållande till de angivelser som ges i förfrågningsunderlaget, varför anbuden också styrs av den utvärderingsmodell som anges. Förfrågningsunderlag med tydliga anvisningar om kvalitetsavdragens storlek kan därmed vara styrande för hur undersökarna kommer att forma undersökningsplan samt kostnad för detta. Dessa förutsättningar har saknats i testerna enligt ovan, vilket sannolikt har haft stor påverkan på utfallet. Modelltest   103 Ursprunglig viktning Utvärderings­ kriterier Komp. företag Komp. pers Genomförande Kostnad Totalsumma Totalsumma Vikt 10 % 20 % 35 % 35 % Företag 1 Betyg 4,5 4 3 5 Poäng 0,45 0,8 1,05 1,75 4,05 2 Företag 2 Betyg 4,5 4,5 4,5 3,09 Poäng 0,45 0,9 1,58 1,08 4,01 3 Företag 3 Betyg 4,5 4,5 4,5 3,52 Poäng 0,45 0,9 1,58 1,23 4,16 1 Ny viktning 1 Reduktions­ kriterier Komp. personal Komp. företag Genomförande Summa avdrag Resultat Företag 1 Anbudspris 556 100 Max reduk­ Max avdrag tionsvärde 20 % 10 % 35 % 158160 79080 276780 Betyg Avdrag kr 4 4,5 3 126528 71172 166068 363768 1 192332 Företag 2 Anbudspris 899 500 Max avdrag 158160 79080 276780 Betyg Avdrag kr 4,5 4,5 4,5 142344 71172 249102 462618 3 436882 Företag 3 Anbudspris 790 800 Max avdrag 158160 79080 276780 Betyg Avdrag kr 4,5 4,5 4,5 142344 71172 249102 462618 2 328182 Ny viktning 2 Reduktions­ kriterier Komp. personal Komp. företag Genomförande Summa avdrag Resultat Företag 1 Anbudspris 556 100 Max reduk­ Max avdrag tionsvärde 20 % 10 % 70 % 158160 79080 553560 Betyg Avdrag kr 4 4,5 3 126528 71172 332136 529836 1 26264 Företag 2 Anbudspris 899 500 Max avdrag 158160 79080 553560 Betyg Avdrag kr 4,5 4,5 4,5 142344 71172 498204 711720 3 187780 Företag 3 Anbudspris 790 800 Max avdrag 158160 79080 553560 Betyg Avdrag kr 4,5 4,5 4,5 142344 71172 498204 711720 2 79080 104  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin 7.3.11  Resultat – Test 2 och 3 Totalt testades åtta anbud i kvalitetsvägningsmodellen, vilka tidigare utvärderats genom poängvägningsmodellen. Fem av dessa har redovisats i före­ gående avsnitt (7.3.1–10), vilka testats i båda varianterna av kvalitetsvärderingsmodellen. De tre första av dessa anbud är samma som de som redovisats i test 1 (avsnitt 7.1.1–3) och övriga två utgörs av anbud rörande en slutundersökning och en förundersökning. Av testerna framgår att tidigare viktade procentsättningar inte automatiskt kan överföras till kvalitetsvärderingsmodellen, där en direkt överföring av tidigare använda viktningar kunde skapa en totalt ny rangordning. Vad som kunde konstateras i flera av anbuden där procentsättningen utgick från den ursprungliga var att priset får, eller kan få, en stor betydelse vid resultatsammanräkningen. Även om prisreduktionen för övriga kriterier kunde vara stora i de utvärderingar där högt betyg getts i relation till ett högt anbudspris, tycktes konsekvenserna av en lågt beräknad kostnad kunna bli avgörande. En procentuell eller prissatt höjning av kriteriet Genomförande kunde till viss del motverka detta, men ett lågt räknat lägstapris hos ett konkurrerande anbud kunde ändå skapa förändringar i rangordningen jämfört med utfallet vid ursprunglig anbudsutvärdering. Genom testerna kunde noteras att den variant av kvalitetsvägningsmodellen där avdraget görs mot det egna anbudspriset, test 2, uppvisade en större likhet med poängvägningsmodellen avseende resultatet. Modellen styrka ligger i det att prisreduktionens avdrag från anbudets pris står i direkt relation till varandra, där högt betyg på kvalitetskriterierna också genererade ett högt prisavdrag. Således kunde anbud med höga betyg konkurrera med de anbud som värderats lägre, oavsett stora prisskillnader, om procentsättningen av kriterierna var rätt anpassade. Vid val av varianten där kvalitetskriterierna gavs ett fast reduktionspris, test 3, var det betydligt svårare att återskapa ursprunglig rangordning liksom val av vinnande anbud, trots att omfattande förändringar av procentsättning för maximalt kvalitetsavdrag prövades. Fasta reduktionsavdrag kan sannolikt fungera bra som en riktlinje och måttstock när de, inför upprättande av anbud, anges i förfrågningsunderlagets beskrivning av anbudsprövningen. De kan därmed utgöra en fingervisning av vad myndigheten anser vara en rimlig kostnad för undersökningen och hur man kommer att värdera kvaliteten. Denna möjlighet gick av naturliga skäl ej att återskapa i nu genomförd test, då värderingen av prisreduktionen gjorts i efterhand. I två av de fem anbuden som redovisas enligt test 2 kvarstår vinnande anbud med tidigare använda procentsatser, men förhållandet eller rangordningen mellan övriga anbud har förändrats. Vid en höjning av procentandelarna för reduktionskriteriet Genomförande kunde resultatet från ursprunglig utvärdering uppnås. I flertalet tester fick dock en höjning av genomförandekriteriet göras med mellan 10 och 25 % för att helt efterlikna ursprungligt resultat. I tre av de fem anbuden som redovisas i test 3, avdrag utifrån fastställt belopp i kronor, kunde ursprunglig anbudsvinnare inte återskapas. Detta Modelltest   105 oavsett att det maximala reduktionsvärdet uppgick till 100 % i förhållande till anbudspriset. Modellen upplevdes därmed som svår att arbeta med, i syfte att återskapa resultatet från tidigare genomförda upphandlingar. Om angivna reduktionsvärden varit kända på förhand hade troligen anbudsgivarna påverkats och anpassat sig till dessa, vid utformandet av anbud och kostnad för undersökningen. Det negativa resultatet från testet ska därför inte ligga till grund för värdering av själva modellen, utan bekräftar snarare att den var svår att använda i efterhand för att uppnå, eller efterlikna, ett tidigare utvärderat resultat. Modellerna har genom sina olika beräkningsgrunder olika förutsättningar för framtagande av vinnande anbud, vilket också påverkar utfallet. Ur källkritisk synpunkt är det därför ingen självklarhet att ursprungligt resultat, avseende vinnande anbud respektive rangordning vid utvärderingen, ska ligga som grund för resultatet av den nu testade modellen. För att kunna pröva utfallet av kvalitetsvärderingsmodellen bedömdes det dock som relevant att använda tidigare resultat som grund för jämförelsen. Sammantaget kan man konstatera att om den av länsstyrelsen anvisade värderingen av kvalitet ska ge önskad effekt vid utvärderingen måste viktningen i procent noga anpassas till de kriterier man väljer att värdesätta. Testet visade att den viktning som vanligen anges vid poängvägningsmodellen inte direkt kan översättas till någon av kvalitetsvärderingsmodellerna. Med en höjning av kriteriet Genomförande med mellan 10 och 15 % har dock flertalet tidigare vinnande anbud även i denna modell bedömts som mest kostnadseffektivt, där kvalitetsreduktionen förhåller sig procentuellt till det egna priset. Detta gäller även de fall där prisskillnaderna varit stora anbuden emellan. För den andra varianten av kvalitetsvärderingsmodellen, där prisreduktionen redovisas som fast pris, fick ofta det maximala avdraget för kvalitetskriterierna uppgå till cirka 80–100 % (= hög prisreduktion) för att efterlikna den ursprungliga viktningen. Detta indikerar att ett lågt angivet reduktionsavdrag kan begränsa möjligheten att vid utvärderingen anta ett anbud med hög kvalitet och högt pris. Anbudspriset kan, enligt min mening, därigenom få en alltför stor betydelse vid val av undersökare. 7.4  Sammanfattning av modelltesterna 1, 2 och 3 Att som i test 2 och 3 experimentera med nya, till synes relevanta procentsatser liksom prissatta reduktionskriterier, för att nå samma resultat som tidigare genomförda utvärderingar gett är, som ovan nämnts, en källkritiskt något tveksam metod. Ursprunglig utvärdering och rangordning av anbuden ska till viss del ses som en effekt av tidigare viktning av kriterierna inför upphandlingen samt som ett resultat av den utvärderingsmodell man valt att använda. Samtidigt får den i utredningen valda metoden betraktas som ett sätt att se skillnader och likheter mellan de olika modellerna samt att det gav en referens att förhålla sig till vid prövning av den ”nya” modellen. Det faktum att valet av modell tycks ha en påfallande stor inverkan på resultatet för vinnande anbud, liksom för rangordningen, visar också på att valet av utvärderingsmodell i sig har stor betydelse för det slutliga resulta- 106  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin tet. Att ursprunglig rangordning inte gick att återskapa vid laborerandet av procentsatser/prisavdrag är ett utslag av detta, trots att betygssättning och kostnader för respektive anbud inte förändrats. Utöver kvaliteten i anbuden är alltså val av modell för utvärdering en faktor som påverkar både rangordning samt val av vinnande anbud. Modelltesterna visade att det fanns både svagheter och styrkor i de testade matematiska modellerna. En av styrkorna med att i procent värdesätta kriterier är att det ger ökad tydlighet och transparens för anbudsgivaren samt att det kan underlätta utvärderingen att omsätta en bedömning i en siffra. Modellerna ger också sken av objektivitet vid utvärderingstillfället samt skapar en tydlighet i hur man graderar anbudens olika delar. Likaså visar det tydligt på hur länsstyrelsen slutligen rangordnar anbuden inbördes, något som inte framkommer vid exempelvis användandet av den argumenterande modellen. Problemet med de matematiska modellerna ligger främst i hur att på bästa sätt kunna ange en korrekt värdesättning av kriterierna inför ett anbud samt till viss del i hur betygssättningen av kriterierna görs. Det som skiljer kvalitetsvärderingsmodellerna från poängvägningsmodellen är att slutlig poängsättning inte påverkas av annat anbuds lägsta pris, oavsett om detta är relevant eller inte för val av vinnande anbud. Vid användandet av procentuellt avdrag, vilket redovisas i Test 2, görs avdraget emot det egna priset som står i direkt koppling till anbudets värderade kvalitet och i Test 3 redovisas ett på förhand fastställt avdrag för angivna kvalitetskriterier. För båda dessa varianter av kvalitetsvärderingsmodellen ger en ”rätt” anpassad viktning av den eller de kriterier man väljer att värdera, en tydlighet gentemot undersökaren i vad länsstyrelsen kommer att lägga särskild vikt vid, i utvärderingsmomentet. Därmed kan en väl anpassad undersökningsplan med ”rätt” kvalitet också premieras med hög prisreduktion, vilket kan motverka betydelsen av ett allt för lågt räknat konkurrerande anbud. Modellen där avdragen görs emot ett på förhand fastställt pris, visade sig dock vara mer känslig för annat anbuds lägsta pris, än modellen där viktningen sker i procent enligt test 2. Även poängvägningsmodellen är känslig för anbud med låga priser, om de viktade kriterierna bedömts som tillräckliga (= god kvalitet) vid utvärderingen. Ett sådant anbud har då påverkan på betyget för alla övriga anbud och kan påverka rangordningen dem emellan, liksom utfallet av vinnande anbud. Både poängvägningsmodellen och de två kvalitetsvärderingsmodellerna verkar vara ungefär lika känsliga för justeringar av procentsättningen av kriterier, alternativt det i kronor angivna reduktionsvärdet, vilket tydligt belysts genom modelltesterna. Betydelsen av en väl avvägd procentsättning av kriterierna, vid användning av matematisk utvärderingsmodell, ska därmed betonas starkt! 8.  Slutsatser Genomgång och analys av de anbudsförfaranden som gjorts under åren 2008 och 2009 visar på en successiv anpassning till de reviderade föreskrifterna som trädde i kraft den 1 januari 2008. Av de 60 anbudsförfaranden som gjorts under denna period har två modeller för utvärdering varit använda, dels en argumenterande värdering, dels en matematisk modell benämnd poängvägningsmodellen. Några län har prövat båda modellerna men flertalet har av olika anledningar kommit att välja den ena eller andra, vilken man sedan valt att fortsätta med, liksom att utveckla och skapa rutiner kring. Antalet utvärderingar som gjorts med respektive modell är jämnt fördelat, liksom de antal län som använder respektive modell. Vid intervju med handläggare på länsstyrelserna visade det sig också att den absoluta majoriteten tyckte att den modell man använder fungerar relativt bra. En av de svårigheter som framkom, oavsett val av modell, är formuleringen av ambitionsnivå. Detta avspeglas bland annat i olikheter avseende anbudens föreslagna insatser och genomförande samt differenser i kostnaden för undersökningen. Bedömningen av kostnaden har i sig också betonats kunna utgöra problem vid utvärderingen, beroende på vilken modell som används. Värdering av kostnadseffektivitet, kostnadens alltför stora genomslag i utvärderingsmodellen samt undersökningsplaner där låg kostnad försvårat bedömningen av anbudets rimlighet avseende genomförande och kvalitet, har nämnts i detta sammanhang. Även tids- och resursåtgången för handläggning av anbudsförfaranden upplevdes av många länsstyrelser som ett problem, liksom brist på tid för egen kompetensutveckling och kunskapsinhämtning. Tiden för upprättande av anbud har även betonats vara en resurs- och kostnadskrävande insats för undersökarna. Kvalitet i ett anbudsförfarande innefattar många olika moment som rör både länsstyrelsens och undersökarnas förmåga, erfarenhet och kompetens. Detta har påverkan på allt ifrån upprättande av underlagsmaterial såsom rapporter och förfrågningsunderlag till undersökningsplan och utvärdering av denna, liksom genomförande av undersökningen samt tillsyn och uppföljning av uppdraget. Vissa moment i processen är mätbara och andra måste värderas kvalitativt. Avseende länsstyrelsernas handläggning har tidsaspekten vid olika moment utgjort ett mätbart kriterium i analysen, såsom tid för upprättande, liksom utvärdering, av anbud. Likaså har kvaliteten i förfrågningsunderlag och utvärderingsprotokoll till vissa delar studerats utifrån mätbara data samt hur dessa har förändrats över tid och hur de skiljer sig åt beroende på val av modell. Innehållsmässiga kvaliteter och brister har också tydliggjorts utifrån analysen samt utifrån de svar på frågor som inhämtats från både undersökare och länsstyrelse. Ur beställarsynpunkt har vissa moment i handläggningen visat sig vara mer komplicerade att hantera än andra. Exempel på dessa är sättet att ange ambitionsnivå, viktningen av kriterier, kostnad och kostnadseffektivitet samt generell tydlighet i vad länsstyrelsen efterfrågar i anbudet. Även anbudsutvärderingen, liksom skillnader mellan olika länsstyrelsers bedöm- Arkeologiska undersökningar längs E22 i Blekinge 2011. Foto: Eva Skyllberg. Slutsatser   109 ningsgrunder, har av undersökarna ibland uppfattats som otillfredsställande. Förfrågningsunderlaget utgör själva beställningsdokumentet utifrån vilket undersökarna har att upprätta anbud. Likaså är det mot förfrågningsunderlaget, och kraven som där anges, som undersökningsplanerna ska speglas vid utvärderingen. En tydlig beställning borde därför underlätta undersökarnas möjlighet att anpassa undersökningsplanerna till det som efterfrågas, liksom länsstyrelsens värdering av kvaliteten i anbuden. Idag har flertalet överklaganden sannolikt sin grund i otydligheter i förfrågningsunderlaget. Andra exempel på detta kan vara stora kostnadsdifferenser anbuden emellan liksom ett förhållandevis stort antal anbud som inte går vidare till prisjämförelse. Förutom att dåligt anpassade anbud försvårar utvärderingsmomentet innebär det också att undersökare lägger ner stora resurser på anbudsskrivande, med oklara förutsättningar om hur och vad som kommer att värderas. Länsstyrelsen har därför en mycket viktig roll i att formulera förfrågningsunderlaget på ett sådant sätt att tolkningsutrymmet över vad som efterfrågas, och hur detta kvalitativt ska utvärderas, minimeras. Genom analys av den statistik som tagits fram över förfrågningsunderlag, utvärderingsprotokoll, beslut och domar samt genom de svar som inhämtades vid intervjumomentet kan ett antal för- och nackdelar konstateras som kan kopplas till respektive modell som idag använts vid anbudsutvärdering. Dessa kan sammanfattas enligt följande: Poängvägningsmodellen + Jämförelsevis kort tid för anbudsutvärdering + Jämförelsevis litet antal överklaganden + Procentsatta kriterier ger ökad tydlighet i vad som värderas vid viktningen + Betygssättningen upplevs som stöd vid utvärderingen - Priset kan få för stort genomslag vid utvärderingen - Svårighet att vid upphandling ange ”rätt” procentsättning av kriterierna - Ändrad viktning av procentsatserna kan förändra rangordning samt vinnande anbud - Ett annat anbuds lägsta pris har påverkan på alla övriga anbud Argumenterande värdering + Ökad möjlighet att värdera hel­ heten i anbudet + Prisets rimlighet kan ställas mot anbudets kvalitet. + Modellen upplevs förenkla vägningen av, och utvärderingen av/mellan, anbud. - Tidsödande utvärderingsmoment - Ökad risk för överklaganden - Mindre tydlig/transparent för undersökarna, inför upprättande av anbud. Det finns också ett antal moment där ingen skillnad statistiskt kunnat påvisas, oavsett val av utvärderingsmodell. Dessa kan sammanfattas enligt följande: 110  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin •• Förkasta anbud vid anbudsutvärderingar •• Anta det anbud som angett lägst pris •• Anta det anbud som angett högst pris Vid användandet av den argumenterande värderingen bör, enligt min mening, tydligheten i förfrågningsunderlaget ökas för att förbättra genomsiktligheten inför upprättande av anbud. En ökad tydlighet kan göras på flera olika plan. Att på ett bra och tydligt sätt ange kunskapspotential och ambitionsnivå för undersökningar samt hur dessa hänger ihop är, enligt mig, ett av de mest avgörande momenten vid formulerandet av förfrågningsunderlag. Ambitionsnivån kan också klargöras genom förtydliganden om vad som ska prioriteras, respektive nedprioriteras, med tydlig koppling till kunskapspotential och för undersökningen angiven inriktning. Därigenom förbättras förutsättningar för upprättande av anbud så att kvaliteten kan bli jämnare och mer i nivå med vad som efterfrågas. Om kvalitetskriterierna inte viktas i procent kan de istället rangordnas eller beskrivas utifrån var särskild vikt kommer att läggas. Kriterierna bör kontinuerligt också anpassas utifrån de för anbudet specifika förutsättningarna. Därmed ökas transparensen för undersökarna och utvärderingsmomentet underlättas för länsstyrelsen. Vid användandet av poängvägningsmodellen måste större hänsyn tas till hur man i förfrågningsunderlaget i procent anger betydelsen av kriterierna. Detta för att öka tydligheten inför upprättande av anbud samt för att öka anpassningen till den aktuella undersökningen. En i förfrågningsunderlaget statisk och onyanserad procentsättning av kriterier, utan tydlig koppling till det aktuella undersökningsobjektet, den angivna kunskapspotentialen samt ambitionsnivån, ger låg grad av transparens. Förutsättningen för undersökarna att anpassa anbuden efter villkoren i förfrågningsunderlaget minskar därmed. Ändrade procentsatser på genomförda anbud visade i genomförda tester också på att i flera av utvärderingarna, där poängvägningsmodellen använts, har en förändrad viktning påverkat utfallet av vinnande anbud. Betydelsen av en väl avvägd procentsättning av kriterierna, vid användning av matematisk utvärderingsmodell, ska därför inte underskattas. Likaså bör man vid utvärderingen vara mer restriktiv med att ge högsta betyg vid betygssättningen, då priset därigenom riskerar att bli en för dominerande faktor vid sammanvägningen. Användandet av decimaltal eller underkriterier (som del av det viktade huvudkriteriet) ger ökad differentiering mellan anbuden och redovisar, enligt min mening, tydligare de kvalitativa skillnader som värderats i det enskilda anbudet. Därmed kan pris, i förhållande till värderad kvalitet, bli mer framträdande vid slutlig poängsammanräkning. För angivelser av ambitionsnivå gäller samma som angetts i stycket ovan, avseende argumenterande värdering. Gällande de i studien testade varianterna av kvalitetsvärderingsmodellen finns det i mitt tycke inget som talar emot att använda dessa vid anbudsförfarande. Modellen kan eventuellt vara känslig för prisdumpning, vilket delvis kan motverkas genom den rimlighetsbedömning av ”god kvalitet” som görs innan den faktiska prisjämförelsen sker. En av fördelarna med kvalitetsvärdering ligger i det att anbudets pris står för sig själv samt att hög Arkeologisk undersökning av stenklätt berg vid Stora Holm på Hisingen, Västergötland 2011. Foto: Leif Johansson. 112  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin kvalitet premieras med högt poängavdrag/prisreduktion. Problemet med att hitta en väl avvägd procentsättning, alternativt ett i kronor definierat reduktionsvärde, kvarstår dock för båda modellerna. Av de anbud som prövats med reviderade procentsatser framkom att en höjning av kvalitetskriterier med upp mot 15 % är lämplig, för att kunna jämföras med ursprunglig viktning enligt poängvägningsmodellen. För modellen där monetära värden anges är anpassningen av det angivna reduktionsvärdet inför den aktuella undersökningen avgörande för bedömning av kostnadseffektivitet vid anbudsutvärderingen. Enligt min mening finns det en överdrivet stor försiktighet i att prova andra former av utvärderingsmodeller, alternativt att bredda variationen hos de modeller som nu används. Vid annan myndighetsupphandling av varor och tjänster används betydligt fler modeller än vad som används i arkeologiska sammanhang. Av dessa har två varianter av Kvalitetsvärderingsmodellen prövats inom ramen för denna studie och ytterligare tre modeller har beskrivits avseende dess för- och nackdelar samt dess eventuella möjlighet att användas vid arkeologisk upphandling. Den utvärderingsform som, utöver ovan angivna modeller skulle kunna vara tillämpbar i enstaka sammanhang är förstaprisauktion, där lite förenklat länsstyrelsen anger villkoren och undersökaren anger priset. Villkoren skulle då kunna formuleras så att tillräckligt hög kvalitet säkras vid genomförandet och att länsstyrelsen vid utvärderingsmomentet främst granskar rimligheten i anbudets olika delar, liksom tids- och kostnadsaspekten. Främsta fördelen med ett sådant förfarande är att man förhoppningsvis får in anbud som helt motsvarar det man efterfrågar samt att utvärderingsmomentet sannolikt påskyndas avsevärt. Risken finns dock för att upprättandet av förfrågningsunderlaget blir tidsödande då man genom skall-krav måste säkerställa god kvalitet i undersökningens alla moment samt att modellen knappast skulle bidra till metodutveckling eller andra sorts innovationer inom arkeologin. Tänkbara sammanhang skulle enligt min mening vara vid mindre kostsamma undersökningar (5–20 prisbasbelopp) och avser endast undersökningar där utvärdering av kvalitet är förhållandevis okomplicerad och mätbar samt där syfte och mål är väl definierat. Exempel på sådana anbud kan vara särskild utredning samt eventuellt mindre komplicerade förundersökningar. Vid anbudsförfarande som rör särskild undersökning bedöms modellen inte vara tillämpbar, då vetenskaplig kvalitet i undersökningen inte endast kan säkerställas genom formulerade skall-krav. Två av de modeller som redogörs för i rapporten kan utifrån hur föreskrifterna är formulerade i nuläget inte användas vid anbudsförfarande, kvalitetskonkurrens med fastställt anbudspris samt konkurrenspräglad dialog. Båda modellerna skulle dock kunna vara tillämpbara vid arkeologisk upphandling om villkoren i föreskrifterna ändrades och båda modellerna skulle, med rätt förutsättningar, kunna bidra till att uppnå god kvalitet i anbudssammanhang. 9.  Referenser 9.1  Litteratur Andersson, A. & Lunander, A. 2004. Metoder vid utvärdering av pris och kvalitet inom offentlig upphandling. En inventering och analys av utvärderingsmodeller inom offentlig upphandling. Konkurrensverkets uppdragsforskningsserie 2004:1. Bergman, M. & Lundberg, S. 2009. Att utvärdera anbud – Utvärderingsmodeller i teori och praktik. Konkurrensverkets uppdragsforskningsrapport 2009:10. Reviderad januari 2010 Kritz, A. 2010. Kriterier för bedömning av kvalitet i uppdragsarkeologin. Riksantikvarieämbetet 2010. Konkurrenspräglad dialog, 2010:1, Vägledning Upphandlingsstöd, Kammarkollegiet. Konsekvensutredning. Verkställighetsföreskrifter till 2 kap. 10–13 §§ lagen (1988:950) om kulturminnen m.m. Riksantikvarieämbetet 2007-06-14. Dnr: 301-47962006. Lag (SFS 2007:1091) om offentlig upphandling. Lunander, A. 2009. En logisk fälla. Relativ poängsättning av pris vid anbudsutvärdering i offentlig upphandling. Konkurrensverkets uppdragsforskningsrapport, 2009:12. Molander, P. 2009. Regelverk och praxis i offentligupphandling. Rapport till Expertgruppen för studier i offentlig ekonomi 2009:2. Regeringskansliet, Finansdepartementet. Nya rättsmedel på upphandlingsområdet. Regeringens proposition 2009/10:180. Stockholm den 8 april 2010. Riksantikvarieämbetets föreskrifter och allmänna råd avseende verkställigheten av 2 kap. 10–13 §§ lagen (1988:950) om kulturminnen m.m. KRFS 2007:2. Tillämpning av 2–4 kap. lagen (1988:950) om kulturminnen m.m. Statistik gällande 2008. Rapport från Riksantikvarieämbetet 2010. Uppdragsarkeologi i tiden. Betänkande av Uppdragsarkeologiutredningen. SOU 2005:80. Upphandlingsreglerna – en introduktion. 2011. Konkurrensverket. Vägledning för tillämpning av Kulturminneslagen 2007–2010. Uppdragsarkeologi. Tillämpning av Riksantikvarieämbetets föreskrifter och allmänna råd avseende verkställigheten av 2 kap. 10–13 §§ lagen (1988:950) om kulturminnen m.m. – Vägledning 2007: avsnitt 3, Förfrågningsunderlag; avsnitt 4, Anbudsförfarande eller direktval; avsnitt 5, Bedömning av undersökare och undersökningsplan; avsnitt 6, Beslut. – Vägledning 2009: avsnitt 1, Samråd och tillståndsprövning inför arbetsföretag; avsnitt 2, Det uppdragsarkeologiska systemet; avsnitt 9, Tillsyn, uppföljning och utvärdering. Överklaganden av beslut enligt 2–4 kap. lag (1988:950) om kulturminnen m.m. En utvärdering av domar från åren 2000–2008. Rapport från Riksantikvarieämbetet 2009. 114  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin 9.2  Studerade anbud Diarienummer 431-2902-2009 Beslutsår 2009 Län Blekinge – K Kommun 1 Sölvesborg, Karlshamn Sölvesborg Sölvesborg, Mjällby Socken Typ av undersökning Särskild utredning 431-9060-2008, 431-1297-2009 2009 Blekinge – K Förundersökning 431-105-2008 2008 Halland – N Varberg Veddige Särskild undersökning 431-17006-2007 431-3835-2009 431-6993-2009 2008 2009 2009 Jönköping – F Jönköping – F Jönköping – F Jönköping Jönköping Jönköping Gränna Barnarp Ljungarum Särskild undersökning Särskild undersökning Särskild undersökning 431-1838-2008 431-2549-2008 431-9223-2008 431-12995-2008 431-4752-2009 431-6895-2008 2008 2008 2009 2009 2009 2009 Kalmar – H Kalmar – H Kalmar – H Kalmar – H Kalmar – H Kalmar – H Kalmar Västervik Västervik Kalmar Kalmar Västervik Kalmar Gladhammar Gladhammar Kalmar Kalmar Västervik Förundersökning Förundersökning Förundersökning Särskild undersökning Särskild undersökning Särskild undersökning 431-7806-2007 2008 Kronoberg – G Alvesta Skatelöv Särskild undersökning 431-11377-2008 2008 Skåne – M Malmö Bunkeflo, Lockarp Särskild undersökning 431-7733-2008 431-25641-2008 431-47873-2008 431-64898-2007 431-86901-2008 431-80403-2008 431-73683-2008 2008 2008 2008 2008 2009 2009 2009 Skåne – M Skåne – M Skåne – M Skåne – M Skåne – M Skåne – M Skåne – M Malmö Kristianstad Trelleborg Kristianstad Malmö Vellinge Malmö Bunkeflo Vä Trelleborg Kristiansstad Glostorp Stora Hammar Hyllie Särskild undersökning Förundersökning Särskild undersökning Särskild undersökning Särskild undersökning Särskild undersökning Särskild undersökning 431-116887-2007 431-7302-2008 2008 2008 Stockholm – AB Stockholm – AB Botkyrka Upplands-Väsby Botkyrka Fresta Särskild utredning Särskild undersökning 431-114756-2007 431-67713-2007 431-87280-2007 431-95599-2008 431-23620-2009 431-33979-2009 2008 2008 2008 2009 2009 2009 Stockholm – AB Stockholm – AB Stockholm – AB Stockholm – AB Stockholm – AB Stockholm – AB Haninge Haninge Botkyrka Sigtuna Sigtuna Norrtälje Österhaninge Österhaninge Botkyrka Norrsunda Husby-Ärlinghundra Frötuna Särskild undersökning Särskild undersökning Särskild undersökning Förundersökning Förundersökning Förundersökning 431-17398-2008 431-13068-2009 2009 2009 Södermanland – D Södermanland – D Eskilstuna Nyköping Eskilstuna Nyköping Särskild undersökning Särskild undersökning Referenser  115 Diarienummer 431-1922-2009 Beslutsår 2009 Län Södermanland – D Kommun 1 Nyköping Socken Nyköping Typ av undersökning Särskild undersökning 431-10903-2007 431-13980-2008 2008 2009 Uppsala – C Uppsala – C Uppsala Uppsala Uppsala Rasbo Särskild undersökning Särskild utredning, Förundersökning 431-5545-2009 2009 Uppsala – C Heby Huddunge Förundersökning 431-8244-2008 431-7559-2008 2008 2009 Västmanland – U Västmanland – U Västerås Västerås Västerås, Dingtuna Västerås Förundersökning Särskild undersökning 431-14292-2007 431-14292-2007 431-28345-2006 431-17785-2007 431-26090-2006 431-14299-2007 431-14299-2007 431-50286-2006 431-12905-2009 431-95070-2006 431-97056-2007 431-82475-2008 2008 2008 2008 2008 2008 2008 2008 2008 2009 2009 2009 2009 Västra Götaland – O Västra Götaland – O Västra Götaland – O Västra Götaland – O Västra Götaland – O Västra Götaland – O Västra Götaland – O Västra Götaland – O Västra Götaland – O Västra Götaland – O Västra Götaland – O Västra Götaland – O Ale Ale Ale Trollhättan Uddevalla Lilla Edet Lilla Edet Göteborg Strömstad Trollhättan Mölndal Skövde Skepplanda Skepplanda Skepplanda Fors Forshälla Sankt Peder Tunge Göteborg Skee Upphärad Mölndal Skövde Särskild undersökning Särskild undersökning Särskild undersökning Särskild undersökning Särskild undersökning Särskild undersökning Särskild undersökning Särskild undersökning Särskild undersökning Särskild undersökning Särskild undersökning Särskild undersökning 431-21063-2007 431-07941-2008 431-02919-2009 2008 2008 2009 Örebro– T Örebro– T Örebro – T Örebro Örebro Kumla Gällersta Gällersta, Mosjö Kumla Förundersökning Förundersökning Särskild utredning 431-30045-2007 431-17796-2008 431-4688-2009 431-5653-2009 431-32286-2008 431-28236-2008 431-28236-2008 431-14334-2009 2008 2008 2009 2009 2009 2009 2009 2009 Östergötland – E Östergötland – E Östergötland – E Östergötland – E Östergötland – E Östergötland – E Östergötland – E Östergötland – E Linköping Linköping Motala Linköping Linköping Norrköping Norrköping Norrköping Linköping Linköping Motala Vist Vreta kloster Styrstad Norrköping Östra Eneby Särskild undersökning Särskild undersökning Särskild undersökning Särskild undersökning Särskild undersökning Särskild undersökning Särskild undersökning Särskild undersökning 116  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin 9.3  Projektledning Eva Skyllberg, Riksantikvarieämbetet Carolina Andersson, Riksantikvarieämbetet 9.4  Referenspersoner PO Andersson, Public Procurement Service Anders Berg, Upphandlingssamordnare, Länsstyrelsen Västra Götaland Anders Wihlborg, Länsstyrelsen i Skåne län Bertha Amaya, Länsstyrelsen i Östergötlands län Jan Dunér, Länsstyrelsen i Stockholms län Tina Fors, Länsstyrelsen i Uppsala län 10.  Bilagor 10.1  Bilaga 1. Intervjufrågor till Länsstyrelserna Länsstyrelse Handläggare Datum 10.1.1  Frågor kring bedömning och utvärdering av anbud Personell fördelning samt kvalitetssäkring Hur många handläggare är det som normalt sett är inblandade vid en anbudsutvärdering och hur utförs/genomförs utvärderingen dem emellan? Antal: Redogörelse: Har ni använt er av extern kompetens vid anbudsutvärdering och vad är i så fall era erfarenheter av detta? Ja Nej Synpunkter: Har Ni utarbetade kvalitetssäkringsrutiner vid anbudsförfarande och hur ser de i så fall ut? Ja Nej Redogörelse: Har juridisk expertis varit delaktig i era beslut och hur har i så fall deras medverkan sett ut? Vilka synpunkter har era jurister haft på anbudsför­ faranden? Ja Nej Synpunkter: Erfarenheter från anbudsutvärdering samt beslut Vari består de främsta svårigheterna med att utvärdera anbud, avseende bedömning av kompetens, vetenskaplig relevans, genomförande, pris mm? Synpunkter: Vad är era erfarenheter från ”fri” textskrivning i undersökningsplaner kontra ”begränsad” eller ”styrd” textmängd, vid utvärderingsmomentet? Synpunkter: Har Ni fattat beslut där ni inte varit nöjda med vinnande anbud? Ja Nej Vad var i så fall problemet (direktiv i FFU, tidsbrist, skall-krav, utvärderingsmetod, annat)? Synpunkter: Hur har undersökarnas reaktion på anbudsutvärderingarna varit? Synpunkter: 118  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin Har något beslut överklagats och vad är i så fall era erfarenheter av detta? Synpunkter: Ambitionsnivå Hur anger Ni ambitionsnivån i FFU? (låg–hög, genom direktiv kring genomförandet e t c)? Synpunkter: Upplever Ni det som svårt att ange ambitionsnivå? Synpunkter: Upplever Ni att angiven ambitionsnivå uppfattas ”rätt” av undersökaren? Ja Nej Synpunkter: Kostnaden Vilken förförståelse har Ni haft om kostnaden för undersökningen inför upphandling och hur var utfallet? Synpunkter: I de upphandlingar där den beräknade kostnaden varierat stort mellan anbuden, vilka orsaker ser Ni kan ligga bakom detta? Synpunkter: Upplever ni att priset får/kan få ett alltför stort genomslag i utvärderingarna? Ja Nej Synpunkter: Utvärderingsmodell Beskriv den/de utvärderingsmodell/er Ni prövat vid anbudsförfarande och vad som är anledningen till valet av modell? Beskrivning: Vad anser Ni att vald utvärderingsmodell har för för- och nackdelar? Fördelar: Nackdelar: Övergripande frågor kring anbudsförfarande Vilka positiva, respektive negativa, erfarenheter har Ni från genomförda upphandlingar? Synpunkter: När får man god kvalitet i anbudssammanhang? Synpunkter: Övriga tankar eller kommentarer… Synpunkter: Bilagor  119 10.2  Bilaga 2. Intervjufrågor till Undersökarna Undersökare/företag utvärdering och beslut Personell fördelning samt kvalitetssäkring Namn Datum 10.2.1  Frågor kring upprättande av anbud samt Hur många personer är normalt sett involverade i upprättande av anbud, hur utförs/genomförs arbetet dem emellan och hur lång är i snitt den totala tidsåtgången för detta arbete i arbetsdagar räknat? Antal personer: Tidsåtgång/anbud: Redogörelse: Har Ni utarbetade kvalitetssäkringsrutiner vid anbudsförfarande och hur ser de i så fall ut? Ja Nej Redogörelse: Erfarenheter från anbudsförfarande samt beslut Vad är era erfarenheter från att anpassa anbuden till de i förfrågningsunderlaget angivna kriterierna såsom; Kompetens, Vetenskaplig relevans, Genomförande, Pris? Synpunkter: Vad är era erfarenheter från ”fri” textskrivning i undersökningsplaner kontra ”begränsad” eller ”styrd” textmängd, vid upprättande av anbud? Synpunkter: Har Ni, efter beslut, tagit kontakt med Länsstyrelsen avseende er reaktion på anbudsutvärderingar och vad är i så fall er erfarenhet av detta? Ja Nej Synpunkter: Har Ni överklagat något beslut och vad är i så fall era erfarenheter av detta? Ja Nej Synpunkter: Ambitionsnivå Hur uppfattar Ni Länsstyrelsens angivna ambitionsnivå i FFU? Synpunkter: Upplever Ni det som svårt att anpassa ambitionsnivån i anbudet? Ja Nej Synpunkter: Hur är ambitionsnivån beskriven när Ni anser att det fungerar bra att anpassa denna till kraven i förfrågningsunderlaget? Synpunkter: 120  Bedömnings- och utvärderingsmetoder inom uppdragsarkeologin Hur skulle Ni önska att ambitionsnivån tydliggjordes i FFU? Synpunkter: Kostnaden I de upphandlingar där den beräknade kostnaden varierat stort mellan anbuden, vilka orsaker ser Ni kan ligga bakom detta? Synpunkter: Upplever Ni att priset får/kan få ett alltför stort genomslag i utvärderingarna? Ja Nej Synpunkter: Utvärderingsmodell Hos Länsstyrelserna används vanligen två olika sorters utvärderingsmodeller, dels en argumenterande värdering, dels en poängvägningsmodell med betyg. Vad anser Ni att vald utvärderingsmodell har för för- och nackdelar, vilken av dessa tycker Ni är bäst lämpad vid anbudsutvärdering och varför? Poängvägning Fördelar: Nackdelar: Argumenterande värdering Fördelar: Nackdelar: Val av den modell Ni anser är bäst lämpad vid anbudsutvärdering: Synpunkter: Övergripande frågor kring anbudsförfarande Vilka positiva, respektive negativa, erfarenheter har Ni från genomförda upphandlingar? Synpunkter: Vad gör att man upplever att anbudsutvärderingen är tydlig och rättvis och hur ser en bra utvärdering ut? Synpunkter: När får man god kvalitet i anbudssammanhang? Synpunkter: