<b>Bijsluiter</b>. De hyperlink naar het originele document werkt niet meer. Daarom laat Woogle de tekst zien die in dat document stond. Deze tekst kan vreemde foutieve woorden of zinnen bevatten en de opmaak kan verdwenen of veranderd zijn. Dit komt door het zwartlakken van vertrouwelijke informatie of doordat de tekst niet digitaal beschikbaar was en dus ingescand en vervolgens via OCR weer ingelezen is. Voor het originele document, neem contact op met de Woo-contactpersoon van het bestuursorgaan.<br><br>====================================================================== Pagina 1 ======================================================================

<pre>Evaluatie proces GGiD
        Eindrapportage – versie
             GGD regio Utrecht


                      13-10-2023
</pre>

====================================================================== Einde pagina 1 =================================================================

<br><br>====================================================================== Pagina 2 ======================================================================

<pre>    Inhoudsopgave


    1.     Samenvatting

    2.     Introductie: aanleiding, opdracht en methode

    3.     Reconstrueren: tijdlijn, mijlpalen & beslismomenten

    4.     Begrijpen: bevorderende en belemmerende factoren in proces

    5.     Leren & borgen: lessen en aanbevelingen voor de toekomst

    6.     Verdieping bij hoofdstukken 3 en 4

    7.     Bijlagen

     Klik in deze rapportage op een
     icoontje om naar het betreffende
2
     hoofdstuk te navigeren.
</pre>

====================================================================== Einde pagina 2 =================================================================

<br><br>====================================================================== Pagina 3 ======================================================================

<pre>    Inhoudsopgave


    1.   Samenvatting

    2.   Introductie: aanleiding, opdracht en methode

    3.   Reconstrueren: tijdlijn, mijlpalen & beslismomenten

    4.   Begrijpen: bevorderende en belemmerende factoren in proces

    5.   Leren & borgen: lessen en aanbevelingen voor de toekomst

    6.   Verdieping bij hoofdstukken 3 en 4

    7.   Bijlagen


3
</pre>

====================================================================== Einde pagina 3 =================================================================

<br><br>====================================================================== Pagina 4 ======================================================================

<pre>    1. Samenvatting


    Samenvatting en leeswijzer

    Aanleiding en evaluatie                                                  Wat is er gebeurd? Een tijdlijn
    De GGD’en regio Utrecht, Hollands Noorden en Twente hebben een           In de periode van 2015 tot nu kenschetsen we vijf fases:
    gezamenlijk aanbestedings- en ontwikkeltraject doorlopen voor een        1. Voorbereiding op de aanbesteding.
    Digitaal Dossier Jeugdgezondheidszorg. Dit traject liep vanaf 2015.      2. Marktoriëntatie en aanbesteding voor een digitaal dossier.
    Eind 2022 hebben de algemeen besturen van deze GGD’en besloten
                                                                             3. Ontwikkeling van het product. Daarin maken we weer
    de ontwikkeling van het Digitaal Dossier stop te zetten.
                                                                                  onderscheid naar a) een beginfase en b) een vervolgfase.
    De algemeen besturen van de GGD’en hebben dit                            4. Stopzetting van het ontwikkeltraject.
    aanbestedingstraject −van de start van het traject tot stopzetting van
    de ontwikkeling− laten evalueren door AEF. Deze rapportage bevat         In elk van deze fase hebben er zogenoemde kantelmomenten
    de uitkomsten van die evaluatie.                                         plaatsgevonden: momenten waarop er een weg ingeslagen is die
                                                                             van invloed is geweest op het vervolg van het traject. Denk hierbij
    De evaluatie is gericht op het begrijpen van de gang van zaken, en
                                                                             bijvoorbeeld aan het besluit tot samenwerking tussen de GGD’en,
    op het trekken van lessen voor de toekomst. Centraal staan de
                                                                             het vaststellen van hun onderlinge ambities, het aanbesteden en de
    vragen wat er gebeurd is, waarom er gebeurd is wat er gebeurd is en
                                                                             selectie van de uiteindelijke kandidaat.
    welke lessen hieruit getrokken kunnen worden voor de toekomst.
    Meer lezen? In hoofdstuk 2 vindt u meer informatie over de opdracht en   Meer lezen? Een uitgebreide tijdlijn met kantelmomenten en een nadere
    onze aanpak. Deze aanpak staat in Bijlage A nader uitgewerkt.            beschrijving van elk van die momenten is te vinden in hoofdstuk 3. In
                                                                             Verdieping A staat een deel van deze kantelmomenten nader uitgewerkt.




4
</pre>

====================================================================== Einde pagina 4 =================================================================

<br><br>====================================================================== Pagina 5 ======================================================================

<pre>    1. Samenvatting


    Samenvatting en leeswijzer

    Verklarende factoren: waarom is er gebeurd wat er gebeurd is?               Welke lessen kunnen hieruit getrokken worden voor de
    Er is niet één of een klein aantal verklarende factoren. Er blijkt sprake   toekomst?
    te zijn van veel verschillende factoren, grote en kleine, interne en        Over elk van deze bevorderende en belemmerende factoren vallen
    externe, die in een complex samenspel hebben geleid tot de uitkomst.        relevante lessen te trekken voor de toekomst. De bevorderende
    In onze analyse maken we onderscheid tussen enerzijds                       factoren moeten behouden worden of kunnen nog verder versterkt
    bevorderende factoren −die een positieve invloed hadden op het              worden. Zo hebben een gedeelde visie en een professionele
    verloop van het traject− zoals een gedeelde visie, gedreven mensen          programmaorganisatie geholpen in het stroomlijnen van de
    en een professionele programma-organisatie, en anderzijds                   samenwerking tussen GGD’en en de uitvoering van het programma.
    belemmerende factoren die een negatieve invloed hadden op het               Daarnaast kunnen maatregelen getroffen worden om belemmerende
    traject. Zo was er een aantal belemmerende factoren dat ertoe geleid        factoren te voorkomen of tegen te gaan. Zo helpt het in de sturing om
    heeft dat er uiteindelijk naar mening van de GGD’en geen werkend            een dergelijk groot traject op te knippen in kleinere delen met go/no
    product is, zoals de ambities, waaruit voortvloeide dat er een nieuw        go-momenten en om duidelijke werkafspraken vast te leggen met de
    product gebouwen werd en de spanning tussen kaders en beoogde               leverancier.
    werkwijze. Daarnaast waren er factoren die ervoor zorgden dat het
    lang duurde voordat het traject werd stopgezet. Die hebben te maken         Meer lezen? In hoofdstuk 5 vindt u een vertaling van de belemmerende en
    met de lastige kenbaarheid van de status van een dergelijk complex          bevorderende factoren naar lessen voor de toekomst en hoe deze lessen
    project, met een hoge drempel om te stoppen en het feit dat, óm te          geborgd kunnen worden in de organisaties. Niet al deze lessen zijn nog
    kunnen stoppen, juridische stappen in volgorde doorlopen worden,            relevant voor de komende periode, bijvoorbeeld omdat GGD’en ze al
    elk met een eigen doorlooptijd.                                             hebben geïmplementeerd of omdat er andere keuzes worden gemaakt
    Meer lezen? In hoofdstuk 4 vindt u een de verschillende factoren die        voor de aankomende aanbestedingstrajecten. De concrete aanbevelingen
    hebben bijgedragen aan de uitkomst. In Verdieping B lichten we deze         daarvoor vindt u aan het einde van hoofdstuk 5.
5   nader toe.
</pre>

====================================================================== Einde pagina 5 =================================================================

<br><br>====================================================================== Pagina 6 ======================================================================

<pre>    1. Samenvatting


    Een paar woorden vooraf (1/2)

    Naar aanleiding van het uitvoeren van de evaluatie geven we graag het       hoeveelheid mensuren die hierin is gaan zitten, is enorm. Dat geldt
    volgende mee.                                                               evenzogoed voor de emotionele investering die betrokkenen in het GGiD
                                                                                gedaan hebben.
    Het traject rondom het GGiD (toen nog: digitaal dossier JGZ) begon met
    veel positiviteit. De ambities waren groot, het enthousiasme onder          Het eind van het traject zorgde bij betrokkenen doorgaans dan ook voor
    betrokkenen navenant. Het werk van JGZ-professionals zou gemakkelijker      een mix van teleurstelling dat het niet gelukt is en opluchting dat het klaar
    worden, de dienstverlening voor ouders beter. Zo’n zes jaar later was van   is. Die mix van emoties was wat onze gesprekspartners meebrachten in de
    dat aanvankelijke enthousiasme niets meer over. De ambities zijn niet       gesprekken tijdens deze evaluatie. Die zijn voor een aantal van hen niet
    verwezenlijkt.                                                              makkelijk geweest. Des te meer dank vanuit ons dat zij ons te woord
                                                                                hebben gestaan om hun reflecties te delen, maar ook om ons inzicht te
    In deze zes jaar hebben de GGD’en en hun gezamenlijke programma-
                                                                                geven in wat er allemaal gespeeld heeft. Zonder hun inzichten was het ons
    organisatie hard gewerkt om uitvoering te geven aan hun ambities. Bij het
                                                                                nooit gelukt om over deze hele periode grip te krijgen op de vele
    programma zijn en waren mensen van allerlei geledingen en
                                                                                gebeurtenissen en daarbij hoofd- van bijzaken te kunnen onderscheiden.
    achtergronden betrokken. Er was sprake van verschillende belangen: het
    belang van de professional, van diens cliënten, maar ook van financiële,
    juridische en politieke bestuurlijke belangen. Deze lagen soms in elkaars
    verlengde, maar waren soms ook tegenstrijdig met elkaar. De mate van
    complexiteit van het traject was daarom enorm. Het kreeg in toenemende
    mate een juridisch (en politiek) karakter. De dynamiek was dan ook
    complex, de werkelijkheid vaak weerbarstig.
    In deze context hebben de betrokkenen met elkaar geopereerd. De

6
</pre>

====================================================================== Einde pagina 6 =================================================================

<br><br>====================================================================== Pagina 7 ======================================================================

<pre>    1. Samenvatting


    Een paar woorden vooraf (2/2)

    Het was desondanks een aardige uitdaging voor ons om deze ‘puzzel’ in         samenhang van verschillende keuzes en omstandigheden. De gevolgen en
    een vrij korte periode te leggen. We hebben daarbij een waarderende blik      risico's van die samenhang zijn niet allemaal vooraf te voorzien en te
    en aanpak gehanteerd. Dat betekent dat we met open blik de gesprekken         sturen, en ogenschijnlijk kleine dingen hebben soms grote impact. In dit
    in zijn gegaan, zonder oordeel vooraf, en dat we de voornoemde puzzel         traject zijn keuzes door betrokkenen naar eer, geweten en kunde gemaakt
    pas zijn gaan leggen toen we de puzzelstukjes verzameld hadden. We            en er is expertise ingehuurd waar kunde tekortschoot. We hebben in deze
    hebben hiermee ten doel gehad een feitelijk kloppend relaas op te stellen,    evaluatie geconstateerd dat er, naast de geïdentificeerde lessen, ook veel
    voldoende afgewogen geformuleerd, dat recht doet aan de verschillende         goed ging, maar dat het in weerwil daarvan verkeerd is afgelopen.
    perspectieven, ervaringen en complexiteit. Een relaas waarin, als gevolg
                                                                                  Hoe het vervolg van dit traject er ook uit ziet, we hopen met deze
    hiervan, alle betrokkenen zich voldoende herkennen.
                                                                                  rapportage een bijdrage te hebben geleverd in het kunnen afsluiten van dit
    Een feitelijk kloppend relaas dat voldoende wordt herkend door                hoofdstuk en door te kunnen naar de toekomst. Een toekomst waarin het
    betrokkenen is voorwaardelijk om deze evaluatie de beoogde functie te         werk van professionals alsnog makkelijker wordt en de dienstverlening
    kunnen laten vervullen: terug kijken om vooruit te kunnen kijken. Onze        naar ouders beter. Zij het niet op de manier zoals oorspronkelijk bedacht.
    intentie is dan ook dat de betrokken colleges en raden naar aanleiding
    hiervan de vraag ‘wat kunnen we hiervan leren‘ centraal stellen. Met het
    antwoord op die vraag zijn alle betrokken organisaties en het
    maatschappelijk belang volgens ons het meest geholpen.
    Deze evaluatie heeft voor ons als onderzoekers het inzicht onderstreept dat
    het verloop van grote en complexe projecten wordt bepaald door de



7
</pre>

====================================================================== Einde pagina 7 =================================================================

<br><br>====================================================================== Pagina 8 ======================================================================

<pre>    Inhoudsopgave


    1.   Samenvatting

    2.   Introductie: aanleiding, opdracht en methode

    3.   Reconstrueren: tijdlijn, mijlpalen & beslismomenten

    4.   Begrijpen: bevorderende en belemmerende factoren in proces

    5.   Leren & borgen: lessen en aanbevelingen voor de toekomst

    6.   Verdieping bij hoofdstukken 3 en 4

    7.   Bijlagen


8
</pre>

====================================================================== Einde pagina 8 =================================================================

<br><br>====================================================================== Pagina 9 ======================================================================

<pre>    2. Introductie: aanleiding, opdracht en methode


    Aanleiding en opdracht

    Aanleiding                                                               De insteek van deze evaluatie is dat vanuit de kennis van nu wordt
    De GGD’en regio Utrecht, Hollands Noorden en Twente hebben een           teruggekeken op het aanbestedings- en ontwikkelproces en de rol
    gezamenlijk aanbestedings- en ontwikkeltraject doorlopen voor een        die de GGD’en daarin hadden. De leverancier is dus nadrukkelijk
    Digitaal Dossier Jeugdgezondheidszorg. Dit traject liep vanaf 2015.      geen onderwerp van de evaluatie geweest.
    Eind 2022 hebben de algemeen besturen van deze GGD’en besloten
    de ontwikkeling van het Digitaal Dossier stop te zetten.
    De algemeen besturen van de GGD’en hebben dit                            In Bijlage B is een verklarende woordenlijst voor meer technische
    aanbestedingstraject −van de start van het traject tot stopzetting van   termen en een lijst met gehanteerde afkortingen opgenomen.
    de ontwikkeling− laten evalueren.


    Opdracht
    Centraal in deze opdracht staan twee onderzoeksvragen:
     1.   Hoe is de huidige situatie ontstaan?
     2.   Welke lessen kunnen we hiervan leren voor de toekomst?

    Elk van deze vragen kent weer verschillende deelvragen. De
    volledige vragen, in de vorm van het evaluatiekader, zijn opgenomen
    in Bijlage A.


9
</pre>

====================================================================== Einde pagina 9 =================================================================

<br><br>====================================================================== Pagina 10 ======================================================================

<pre>     2. Introductie: aanleiding, opdracht en methode


     (Uitgangspunten voor) de aanpak

     Uitgangspunten voor de aanpak                                      Aanpak
     In de vormgeving van onze aanpak hebben we een aantal              We hebben verschillende methoden gehanteerd om tot de
     uitgangspunten centraal gesteld:                                   benodigde informatie te komen:
     ▹ We kijken terug om te begrijpen en stellen ons oordeel uit;      ▹ Aan de hand van een analyse van documenten hebben we de
                                                                          tijdlijn opgesteld.
     ▹ We hanteren een lerende aanpak: we kijken terug óm vooruit te
       kunnen kijken;                                                   ▹ Via interviews met betrokkenen hebben we de tijdslijn getoetst.
                                                                          De interviews stonden echter voornamelijk in het teken van het
     ▹ We hebben oog voor de verschillende perspectieven én de
                                                                          begrijpen wat er gebeurd is.
       uitwisseling daartussen;
                                                                        ▹ Met behulp van groepssessies met betrokkenen hebben we de
     ▹ We zorgen voor eigenaarschap bij de betrokken organisaties;
                                                                          bevindingen uit de interviews getoetst en zijn er lessen
     ▹ We pretenderen niet dat allesomvattende oplossingen bestaan in     geïdentificeerd voor de toekomst.
       complexe en weerbarstige projecten als deze;
                                                                        In Bijlage A geven we meer achtergrond weer over deze methoden
                                                                        (geïnterviewden, gespreksleidraden, etc.).




10
</pre>

====================================================================== Einde pagina 10 =================================================================

<br><br>====================================================================== Pagina 11 ======================================================================

<pre>     Inhoudsopgave


     1.   Samenvatting

     2.   Introductie: aanleiding, opdracht en methode

     3.   Reconstrueren: tijdlijn, mijlpalen & beslismomenten

     4.   Begrijpen: bevorderende en belemmerende factoren in proces

     5.   Leren & borgen: lessen en aanbevelingen voor de toekomst

     6.   Verdieping bij hoofdstukken 3 en 4

     7.   Bijlagen


11
</pre>

====================================================================== Einde pagina 11 =================================================================

<br><br>====================================================================== Pagina 12 ======================================================================

<pre>     3. Reconstrueren: tijdlijn, mijlpalen & beslismomenten


     Inleiding op de reconstructie

     Een begrip van wat er gebeurd is, is voorwaardelijk om te kunnen
     begrijpen waarom het gebeurd is. We maken daarom een feitelijke
     reconstructie van het inkoop- en implementatietraject. Op basis van
     de beschikbare documentatie hebben we een tijdlijn opgesteld van de
     periode 2015 t/m nu.
     Er is in de betreffende periode veel gebeurd. Niet alle gebeurtenissen
     waren echter even wezenlijk in de totstandkoming van de huidige
     situatie. We spitsen ons daarom toe op de zogenoemde
     kantelmomenten: momenten waarop een bepaalde (onherroepelijke)
     weg ingeslagen is, ongeacht of dat expliciet gebeurd is of niet. Dit zijn
     immers de momenten waarop er het meest impactvol gestuurd is (of
     had kunnen worden). Daarnaast zijn voor de navolgbaarheid van het
     verloop van het traject ook enkele momenten in de tijdlijn
     weergegeven die niet direct als kantelmoment gezien kunnen worden.
     De kantelmomenten −en voorbereiding daarop− zijn de momenten
     waarop we de evaluatie toespitsen.




12
</pre>

====================================================================== Einde pagina 12 =================================================================

<br><br>====================================================================== Pagina 13 ======================================================================

<pre>     3. Reconstrueren: tijdlijn, mijlpalen & beslismomenten


     Reconstructie op hoofdlijnen

     We hebben de tijdlijn ingedeeld in vier afzonderlijke fasen. In de tabel                   uitgelicht aan de hand van de voornoemde kantelpunten. Voor de
     hieronder is een globaal overzicht opgenomen van de fasen en hun                           onderstreepte kantelmomenten staat weer een nadere toelichting in
     doorlooptijd. Op de volgende bladzijden staat elke fase steeds nader                       Verdieping B. Je kunt deze bereiken door erop te klikken.

                                       2015               2016               2017               2018               2019                2020               2021                2022

                             Q 1 2         3    4    1 2      3    4    1    2    3   4    1    2    3    4    1   2    3    4    1    2    3   4    1    2    3      4   1   2      3 4

     1. Voorbereiding

     2. Marktoriëntatie &
     aanbesteding

     3a. Ontwikkeling
     (beginfase)*

     3b. Ontwikkeling
     (vervolgfase)

     4. Stopzetten en
     afwikkeling

13
     *Fases 3a en 3b zijn niet eenduidig van elkaar te onderscheiden. We hebben ervoor gekozen om fase 3b te laten beginnen bij de eerste formele escalatie over de
     voortgang van het traject; de voorlopige ingebrekestelling van de leverancier eind 2019.
</pre>

====================================================================== Einde pagina 13 =================================================================

<br><br>====================================================================== Pagina 14 ======================================================================

<pre>       3. Reconstrueren: tijdlijn, mijlpalen & beslismomenten


       Reconstructie per fase | 1. Kantelpunten voorbereiding
       op aanbesteding

                               < 2015                                                                                        2016
                                                             Q1                               Q2                                  Q3                                 Q4




                      a. Aanleiding aanbesteding            b. Eerdere aanbesteding                                                                            g. Intentieverklaring (sep)
                      - Er moet een nieuw digitaal          Een eerdere                                                                                        De partijen tekenen een
                                                                                                    d. GGD regio Utrecht sluit aan
                          jeugddossier worden               aanbesteding van                                                                                   gezamenlijke intentieverklaring
                                                                                                    (jun/jul)
                          aanbesteed (bij wet verplicht).   GGD’en Hollands                                                                                    (sep.). Deze werd in feb. ‘17
                                                                                                    Het AB van de GGDrU besluit in
       Kantelpunten




                      - De contracten met de huidige        Noorden (Hollands                                                                                  opgevolgd door een
                                                                                                    2016 deel te nemen aan de
                          aanbieder liepen af. Er wordt     Noorden) Hollands                                                                                  samenwerkingsovereenkomst.
                                                                                                    samenwerking.
                          nagedacht over                    Midden (Hollands
                          functionaliteiten voor een        Midden) is niet gelukt.                                                    f. Funderend overleg DPG’en (sep)
                          nieuw systeem.                                                                                               De samenwerking met vier partijen
                                                                           c. Taskforce GGD-dossier (jun)                              wordt opgestart.
                                                                           DPG’en van Hollands Midden en
                                                                           Hollands Noorden stellen een       e. Twente sluit aan                                     h. Hollands Midden stapt eruit
                                                                           Taskforce samen voor een nieuwe    De DPB van GGD Twente                                   (jan ‘17)
                                                                           aanbesteding.                      besluit dat zij zich ook bij de                         Hollands Midden besluit te
 Klik op een onderstreepte                                                                                    samenwerking aansluiten.                                stoppen met deelname aan
   titel voor aanvullende                                                                                                                                             de samenwerking.
         achtergrond


14
</pre>

====================================================================== Einde pagina 14 =================================================================

<br><br>====================================================================== Pagina 15 ======================================================================

<pre>       3. Reconstrueren: tijdlijn, mijlpalen & beslismomenten


       Reconstructie per fase | 2. Marktoriëntatie & aanbesteding


                                                                                                         2017
         Q1                                                Q2                                              Q3                                               Q4




                      a. Start aanbesteding (feb)
                      De aanbesteding wordt op                                         d. Indienen definitieve
                      Tenderned gezet.                                                 conceptoplossing (jun)                                                          g. Deadline offertes (nov)
                                              b. Selectie (apr)                        5 partijen dienen een concept                                                   Uiterlijke datum voor
                                                                                                                                          f. Start offertefase (sep)   indienen offertes. Er
                                              Selectiebesluit: van de acht
       Kantelpunten




                                                                                       in. Besloten wordt welke                           Uiteindelijke start
                                              aanmeldingen worden er 7                 partijen een offerte mogen                                                      worden er 3 ingediend.
                                                                                                                                          offertefase.
                                              uitgenodigd voor de                      indienen.
                                              dialoogronde, de laatste partij
                                              voldoet niet aan de                                                 e. (Afgewezen) bezwaar (okt)                              h. (Voorlopige) gunning (dec)
                                              selectiecriteria.                                                   Afgewezen kandidaat bij 2.d.                              Besluit door stuurgroep tot
                                                                c. Dialooggesprekken (mei - jun)                  tekent bezwaar aan bij de                                 voorlopige gunning van de
                                                                6 van de 7 partijen nemen deel aan                rechter. Dit wordt afgewezen.                             opdracht aan de betreffende
                                                                de dialooggesprekken.                             Vertraging voor offertefase.                              leverancier.
 Klik op een onderstreepte
   titel voor aanvullende
         achtergrond


15
</pre>

====================================================================== Einde pagina 15 =================================================================

<br><br>====================================================================== Pagina 16 ======================================================================

<pre>       3. Reconstrueren: tijdlijn, mijlpalen & beslismomenten


       Reconstructie per fase | 3a. Ontwikkeling (beginfase)


                                                            2018                                                                                       2019
                        Q1                       Q2                     Q3                      Q4                       Q1                    Q2                   Q3                    Q4




                                   b. Nieuwe planning                                                                                                              h. Doorgaan (sep-dec)
                                   Verwachte livedatum: januari                                                        e. Functionele acceptatie                   N.a.v. veelvuldig overleg met
                                   2019                                               d. Scenario’s vervolg (jan)
                                                                                      De stuurgroep bespreekt          Versie van het GGiD die op 23/1             leverancier, en o.a. op basis
                                                                                      enkele scenario’s voor het       jl. in gebruik zou worden                   van auditrapporten (kwaliteit
                                                       c. Eerste release niet door                                     genomen bij Hollands Noorden                en management) wordt er
        Kantelpunten




                       a. Ontwikkelovereenkomst                                       vervolg in het licht van de
                       GGD’en en Leverancier sluiten   acceptatietest                 (feitelijke) non-acceptatie.     is onder voorwaarden                        voldoende vertrouwen
                       ontwikkelovereenkomst voor      - Eerste release Hollands                                       functioneel geaccepteerd.                   geconstateerd om met de
                       het GGiD.                           Noorden (gepland 1 okt.) komt                                                                           ontwikkeling door te gaan
                                                           niet door de acceptatietest.                  f. (Verder) uitstel                                       op de ingeslagen weg.
                                                           Nieuwe test wordt gepland op                  O.b.v. bevindingen koplopersgroep
                                                           10 december, maar ook deze                    GGDrU (team IJsselstein): geplande
                                                           release kan niet worden                       ingebruikname per 23/9 niet verantwoord.
                                                           geïmplementeerd.
                                                       - Nieuwe releasedatum verschuift                                       g. Concurrentie meldt zich
 Klik op een onderstreepte                                 naar 21/1/2019.                                                    Eén van de afgevallen partijen mengt zich in het proces via een brief
   titel voor aanvullende                              - Later ‘enkele maanden’ uitstel.                                      waarin zorgen worden geuit over de rechtmatigheid van het traject.
         achtergrond


16
</pre>

====================================================================== Einde pagina 16 =================================================================

<br><br>====================================================================== Pagina 17 ======================================================================

<pre>       3. Reconstrueren: tijdlijn, mijlpalen & beslismomenten


       Reconstructie per fase | 3b. Ontwikkeling (vervolgfase)


                 2019                                     2020                                                          2021                                                 2022

                      Q4           Q1              Q2              Q3              Q4                 Q1         Q2             Q3              Q4             Q1             Q2              Q3



                                                                 c. Nieuwe versie DD (feb)
                                                                 Leverancier levert versie van
                       a. Voorlopige                             product op die volgens hen de
                                                                                                                                                     h. Ingebrekestelling (feb)
                       ingebrekestelling                         onderling overeengekomen                           f. Aangepaste versie DD (dec)
                                                                                                                                                     GGD’en stellen de leverancier in
                       Leverancier wordt                         functionaliteit bevat. Deze versie                 - Leverancier levert versie van
                                                                                                                                                     gebreke, laatste
                       voorlopig in gebreke                      komt echter niet door de                               product op die volgens hen
       Kantelpunten




                                                                                                                                                     herstelmogelijkheid.
                       gesteld en gevraagd                       acceptatietest van de GGD’en.                          aan benodigde verbeteringen
                       onderbouwing aan te                                                                              vanuit adviesprocedure
                                                                     d. Bindende adviesprocedure (feb)                  voldoet. Ook deze komt niet
                       leveren voor meerwerk,                                                                                                         i. Verzoek voorlopig deskundigenbericht (mrt)
                                                                     Om een verschil van inzicht m.b.t. de              door de acceptatietest van
                       vertraging en aanspraak                                                                                                        GGD’en hebben bij de rechtbank een verzoek
                                                                     scope van de functionaliteiten voor de             de GGD’en.
                       op termijn-verlenging en                                                                                                       gedaan voor een voorlopig
                                                                     livegang te beslechten, wordt door             - Sommatie van advocaat
                       plan van aanpak voor                                                                                                           deskundigenbericht, dat uitspraak over de
                                                                     GGD’en en leverancier een bindende                 leverancier over
                       vervolg.                                                                                                                       strekking van de vraag moet doen.
                                                                     adviesprocedure aangevraagd.                       onmiddellijke livegang.
                                        b. Addendum (jan)                                                           - Onenigheid tussen partijen
 Klik op een onderstreepte                                              e. Uitkomst bindende adviesprocedure
                                        Partijen sluiten een addendum                                                   over of de nieuwe versie aan
   titel voor aanvullende                                               (nov)
                                        met onderling                                                                   de uitkomst van de bindende
                                                                        Uitkomst procedure: identificatie van aantal                                        j. Verzoek afgewezen (jul)
         achtergrond                    overeengekomen specificaties                                                    adviesprocedure voldoet.
                                                                        benodigde verbeteringen voor werkend                                                Dit verzoek wordt afgewezen door de
                                        voor eindproduct. Doel
                                                                        product. De leverancier wil niet in gesprek                                         rechtbank. De GGD’en gaan in hoger beroep
                                        livegang: oktober 2020.
                                                                        met de GGD’en over de uitkomst.                                                     op deze uitspraak*.
17

       *Ten tijde van afronding van deze rapportage (okt. 2023) worden de GGD’en in hoger beroep door de rechter in het gelijk gesteld.
</pre>

====================================================================== Einde pagina 17 =================================================================

<br><br>====================================================================== Pagina 18 ======================================================================

<pre>     3. Reconstrueren: tijdlijn, mijlpalen & beslismomenten


     Reconstructie per fase | 4. Stopzetten en afwikkeling


                      2022                                     2023
                      Q4                    Q1            Q2          Q3   Q4
     Kantelmomenten




                             a. Stoppen (nov)
                             De algemeen besturen van
                             de drie GGD’en besluiten
                             woensdag 2 november 2022
                             te stoppen met het huidige
                             traject van het GGiD.




18
</pre>

====================================================================== Einde pagina 18 =================================================================

<br><br>====================================================================== Pagina 19 ======================================================================

<pre>     3. Reconstrueren: tijdlijn, mijlpalen & beslismomenten


     Besluitvorming | per kantelpunt – GGD regio Utrecht1
     (1/2)
     Een deel van de kantelmomenten in de voorgaande tijdlijn betreft                               gemeenschappelijke regelingen (Wgr)) om het besluit te nemen (kolom
     besluiten die zijn genomen. In de tabel hieronder en op de volgende                            2) en wie het genomen heeft (kolom 3), al dan niet op basis van een
     pagina hebben we een overzicht van zulke ‘besluitvormings-                                     door het algemeen of dagelijks bestuur (AB / DB) afgegeven mandaat
     kantelmomenten’ opgenomen, momenten waaruit bepaalde juridische                                (kolom 4). In deze kolom is ook aangegeven hoe de algemeen en
     verantwoordelijkheden voortkwamen. Voor elk daarvan is aangegeven bij                          dagelijks besturen betrokken zijn geweest , in het bijzonder wanneer
     wie de wettelijke bevoegdheid lag (op grond van de Wet                                         een gemandateerde het besluit genomen heeft.



     Kantelpunt                                               Bevoegd        Besloten             Opmerkingen (mandaat, betrokkenheid AB/DB)
     1.g. Intentieverklaring                                  DB2            DPG (22/9/16)        Mandaat3: “Besluiten tot het verrichten van privaatrechtelijke
                                                                                                  rechtshandelingen, leidend tot inhoudelijke of financiële verplichtingen.” (p.4)
     1.g. Samenwerkingsovereenkomst                           DB2            DPG (3/2/17)         Mandaat: zie hierboven.
     2.a Aanbesteding (incl. PvE)                             DB2            AB (30/6/16)
     Oprichting coöperatieve vereniging                       AB4            AB (25/4/19)         Raden hebben wensen en bedenkingen aan kunnen geven.




     1.   Er zijn drie verschillende rapportages opgeleverd, één voor elke         Gezondheid GGD regio Utrecht (geactualiseerd per 2023, maar
          regio Zij onderscheiden zich van elkaar op deze pagina’s.                niet gewijzigd ten opzichte van de vorige versie op de
19   2.   Wgr, art. 33b, lid 1, sub d                                              aangehaalde mandaten)
     3.   Alle mandaten op basis van Besluit Mandaat Directeur Publieke       4.   Wgr, art. 31a.
</pre>

====================================================================== Einde pagina 19 =================================================================

<br><br>====================================================================== Pagina 20 ======================================================================

<pre>     3. Reconstrueren: tijdlijn, mijlpalen & beslismomenten


     Besluitvorming | per kantelpunt – GGD regio Utrecht (2/2)


     Kantelpunt (vervolg)                  Bevoegd       Besloten               Opmerkingen (mandaat, betrokkenheid AB/DB)
     3b.a Voorlopige ingebrekestelling     DB1           DPG (2/10/19)          Mandaat: “Het namens het openbaar lichaam, het Dagelijks Bestuur of het Algemeen
                                                                                Bestuur, besluiten om rechtsgedingen, bezwaarprocedures of administratief
                                                                                beroepsprocedures te voeren of handelingen ter voorbereiding daarop te verrichten,
                                                                                alsmede het voeren daarvan.” (p.4) | DPG regio Utrecht heeft ondertekend, mede
                                                                                namens de anderen. | AB geïnformeerd op 30/10/19.
     3b.b Addendum                         DB2           DPG (3/2/20)           Mandaat: “Besluiten tot het verrichten van privaatrechtelijke rechtshandelingen,
                                                                                leidend tot inhoudelijke of financiële verplichtingen.” (p.4) | Met AB op o.a. 20/12/19
                                                                                besproken.
     3b.d Bindend advies                   DB1           DPG3                   Mandaat: “Het namens het openbaar lichaam, het Dagelijks Bestuur of het Algemeen
                                                                                Bestuur, besluiten om rechtsgedingen, bezwaarprocedures of administratief
                                                                                beroepsprocedures te voeren of handelingen ter voorbereiding daarop te verrichten,
                                                                                alsmede het voeren daarvan.” (p.4) | AB op verschillende momenten geïnformeerd
                                                                                in deze periode.
     4.a Stoppen                           AB4           AB (2/11/22)           In aanloop naar besluit DB en AB op verschillende momenten geïnformeerd.



     1: Wgr, art. 33b, lid 1, sub e        3. Exacte datum is ons niet bekend
     2. Wgr, art. 33b, lid 1, sub d        4. Wgr, art. 33
20
</pre>

====================================================================== Einde pagina 20 =================================================================

<br><br>====================================================================== Pagina 21 ======================================================================

<pre>     Inhoudsopgave


     1.   Samenvatting

     2.   Introductie: aanleiding, opdracht en methode

     3.   Reconstrueren: tijdlijn, mijlpalen & beslismomenten

     4.   Begrijpen | deel a. Bevorderende en belemmerende factoren

     5.   Leren & borgen: lessen en aanbevelingen voor de toekomst

     6.   Verdieping bij hoofdstukken 3 en 4

     7.   Bijlagen


21
</pre>

====================================================================== Einde pagina 21 =================================================================

<br><br>====================================================================== Pagina 22 ======================================================================

<pre>     4. Begrijpen: bevorderende en belemmerende factoren in proces


     Bevorderende en belemmerende factoren | introductie

     Waar het vorige hoofdstuk draaide om te begrijpen wat er gebeurd          We vervolgen met de belemmerende factoren: antwoorden op de
     is, staat in dit hoofdstuk centraal dat we proberen te begrijpen          vraag waarom het project niet geslaagd is (ondanks de
     waarom het gegaan is zoals het gegaan is. We hebben hiernaar op           bevorderende factoren).
     een waarderende manier onderzoek gedaan. Dat betekent dat we              Dit laatste roept in de eerste plaats de vraag op: wat maakt dat het
     niet op zoek zijn gegaan naar de tegenstelling ‘goed’ en ‘slecht’, maar   project niet geslaagd is? Het antwoord daarop is tweeledig
     zonder oordeel hebben onderzocht welke verklaringen er zijn voor          (hoofdverklaringen):
     de gang van zaken.
                                                                               A.   Het proces heeft niet geleid tot het door de GGD’en benodigde
     Daarvoor is niet één eenduidige reden aan te wijzen. Veeleer is er             product.
     sprake van een complex samenspel van verklaringen, van
     bevorderende en belemmerende factoren voor de gang van zaken.             B.   De planning is in grote mate uitgelopen, waar extra kosten mee
     We beschrijven deze factoren in dit hoofdstuk en Verdieping B.                 gepaard gingen.
     We starten met de bevorderende factoren: randvoorwaarden die              De antwoorden op deze laatste vraag roepen op hun beurt ook
     aanwezig waren om het project te laten slagen. Het lijkt misschien        weer vragen op naar de verklaring daarvoor, etc. In het beschrijven
     vreemd om in een evaluatie naar een project dat niet succesvol is         van de bevindingen hebben we daardoor een gelaagdheid
     afgesloten, aandacht te besteden aan bevorderende factoren.               aangebracht.
     Tegelijkertijd is dit de kern van de waarderende aanpak: verander
     wat niet goed ging, maar behoud of versterk zelfs wat juist wel goed
     ging.



22
</pre>

====================================================================== Einde pagina 22 =================================================================

<br><br>====================================================================== Pagina 23 ======================================================================

<pre>     4. Begrijpen: bevorderende en belemmerende factoren in proces


     Bevorderende en belemmerende factoren | leeswijzer
     voor dit hoofdstuk
     We presenteren in de volgende pagina’s steeds een visueel overzicht             In lopende tekst beschrijven we steeds ook beknopt de belangrijke
     van de bevorderende en belemmerende factoren, aan de hand van                   bevindingen direct na het schema. Een nadere beschrijving van elk
     een schema met de opeenvolgende verklaringen. Ter illustratie                   van de verklaringen is in Verdieping B opgenomen. De beschrijving
     hiervan hebben we een voorbeeld hieronder ingevoegd:                            hiervan kent een vaste structuur:
                                                           Oorzaak 1                 ▹ Verklaring: hoe deze verklaring bijgedragen heeft aan de
                     Gevolg
                                                                                       betreffende hoofdverklaring.
                                                           Oorzaak 2                 ▹ Ondersteunende bevindingen: welke feiten en bevindingen deze
                                                                                       verklaring plausibel maken.
     Aan de hand van de kleur van de verklaringen (blauw, dan wel rood)
     hebben we aangegeven op wie deze voornamelijk betrekking heeft:                 ▹ Deelverklaringen: welke verklaringen op hun beurt weer
     de GGD’en of de leverancier (een combinatie komt ook voor).                       bijgedragen hebben aan het optreden van deze verklaring.
     Verklaringen die plausibel genoeg zijn om aan te voeren, maar
     minder hard gemaakt kunnen worden zijn aan de hand van een                      N.B. In de onderzoeksvragen (Bijlage A) wordt onderscheid gemaakt
     stippellijn (     ) weergegeven*.                                               naar regio-overstijgende en regio-specifieke thema’s. Zoals blijkt uit
                                                                                     de bevindingen die in dit hoofdstuk gepresenteerd zijn, zijn de
                                                                                     gevonden verklaringen allen eigen aan het programma, dat wil
                                                                                     zeggen regio-overstijgend. Slechts hier en daar zijn er
                                                                                     ondersteunende bevindingen die van regio op regio verschillen. Dit
                                                                                     wordt bij de betreffende bevindingen aangegeven.


     *Verklaringen die aangedragen en door ons getoetst zijn, maar we uiteindelijk
23
     als onvoldoende plausibel bestempeld hebben, zijn in Verdieping C opgenomen.
</pre>

====================================================================== Einde pagina 23 =================================================================

<br><br>====================================================================== Pagina 24 ======================================================================

<pre>     4. Begrijpen: bevorderende en belemmerende factoren in proces


     Bevorderende factoren | visueel overzicht
                                                                                                                           Klik op een verklaring
     We hebben vijf bevorderende factoren geïdentificeerd. Deze zijn in                                                   voor nadere uitwerking
     het schema hiernaast weergegeven, zie de leeswijzer voor                                                                     daarvan
     toelichting op het schema. We beschrijven de bevorderende                                 1. Gedeelde visie tussen
     factoren op de volgende pagina’s beknopt en werken deze in                                       GGD’en
     Verdieping B verder uit. Klikken op een bevorderende factor leidt je
     meteen naar de betreffende uitwerking.
                                                                                                  2. Professionele
                                                                                               programma-organisatie


                                                                                                 3. Goede onderlinge
                                                                       Bevorderende factoren   samenwerking tussen de      Geloof in bijdrage
                                                                                                       GGD’en                 product aan
                                                                                                                          maatschappelijke taak
                                                                                               4. Gedreven bemensing,           GGD’en
                                                                                                die er alles aan gedaan
                                                                                                        hebben
                                                                                                                           B.2.d. Hoge drempel
                                                                                                                                voor falen
                                                                                               5. Verschillende vormen
                                                                                                  van risicomitigatie




24
</pre>

====================================================================== Einde pagina 24 =================================================================

<br><br>====================================================================== Pagina 25 ======================================================================

<pre>     4. Begrijpen: bevorderende en belemmerende factoren in proces


     Bevorderende factoren | samenvattende beschrijving

     Het GGiD is uiteindelijk niet tot stand gekomen op de manier zoals
     beoogd en benodigd. Toch zijn er meerdere factoren aan te wijzen die
     ondersteunend waren om het traject goed te laten verlopen.
     Het traject rondom het GGiD begon veelbelovend: er was een
     gedeelde visie tussen de GGD’en die gedurende de hele periode als
     gedeelde stip op de horizon gefungeerd heeft: een digitaal dossier dat
     het voor inwoners en medewerkers makkelijker moest maken.
     Gedurende het ontwikkeltraject waren er andere factoren aanwezig
     die de kans op succes vergrootten. Zo was er sprake van een
     professionele programma-organisatie en van een goede onderlinge
     samenwerking tussen de GGD’en. De programma-organisatie werd
     bemenst door gedreven mensen die er veel in geïnvesteerd hebben
     om het traject tot een succesvol einde te brengen. Daarbij heeft de
     programma-organisatie ook uitgebreid gebruik gemaakt van
     instrumenten voor risico-mitigatie (‘checks & balances’).




25
</pre>

====================================================================== Einde pagina 25 =================================================================

<br><br>====================================================================== Pagina 26 ======================================================================

<pre>      4. Begrijpen: bevorderende en belemmerende factoren in proces


      Belemmerende factoren voor niet opleveren van
      beoogde product | visueel overzicht
                                                                                               a. Hoge ambities
      We hebben een aantal deelverklaringen
      geïdentificeerd voor hoofdverklaring A. We                                              b. Onbehulpzame
      beschrijven deze op de volgende pagina                    1. Nieuw bouwen
                                                                                               marktcondities
      beknopt en werken deze in Verdieping B verder
      uit. In Verdieping C staan nog enkele                                                c. GGD’en gingen uit van     I. Onervarenheid van de
                                                                                                haalbaarheid                    GGD’en
      verklaringen kort beschreven die genoemd zijn
                                                             2. Kaders met elkaar op
      door betrokkenen, maar waarvoor uiteindelijk te            gespannen voet
      weinig ondersteunende bevindingen waren.
                                                                                         a. Geraamde budget uitgeput
                                                                                         zonder dat product klaar was
                                                               3. Voorstel niet in de
                                                             praktijk kunnen brengen
                                                                                             b. Geen ervaring op
                                A. Niet geleid tot door
                                                                                              soortgelijk dossier        Klik op een verklaring
                              GGD’en benodigde product
                                                                                                                        voor nadere uitwerking
                                                                4. Afspraken niet         a. Ontwikkelbudget was op             daarvan
                                                                   nagekomen                 enig moment uitgeput

     Niet geslaagd
                                                                                           b. Personele wisselingen
                                                            5. De PO-rol kon niet goed
                                                                 ingevuld worden

                               B. Grote mate van uitloop
26
                                                               6. Mogelijk te weinig
                                                                 financiële prikkel
</pre>

====================================================================== Einde pagina 26 =================================================================

<br><br>====================================================================== Pagina 27 ======================================================================

<pre>     4. Begrijpen: bevorderende en belemmerende factoren in proces


     Belemmerende factoren voor niet opleveren van
     beoogde product | samenvattende beschrijving
     In weerwil van de bevorderende factoren was er bij stopzetting van      Partijen werden in de aanbesteding gevraagd een inschatting te
     het project geen sprake van een product dat voldeed aan de              maken van de benodigde kosten voor ontwikkeling van een digitaal
     behoeften van de GGD’en. Een aantal factoren droeg hieraan bij.         dossier op basis van een nog vrij open programma van eisen. Daarbij
                                                                             lag het beschikbare budget en tijd echter wel vast, die eerste ook
     Eén daarvan is de keuze voor een nieuw te bouwen product, die
                                                                             wettelijk gezien. Dit leidde tot een te krap budget en te weinig tijd om
     voortvloeide uit het hoge ambitieniveau van het programma van eisen,
                                                                             de (aanvankelijk nog niet volledig uitgekristalliseerde) wensen in de
     in combinatie met het feit dat bestaande producten niet aan de eisen
                                                                             praktijk te kunnen brengen. Mogelijk werd dit versterkt door de
     voldeden. Daarnaast maakte de relatieve onervarenheid van GGD’en
                                                                             onervarenheid van de leverancier in het ontwikkelen van een
     met dergelijke grote ICT-projecten dat zij, ook op basis van de
                                                                             vergelijkbaar product. Dergelijke ervaring werd door de GGD'en ook
     ingehuurde expertise en een marktconsultatie, ervanuit gingen dat het
                                                                             niet vereist.
     haalbaar was om binnen de gestelde kaders (inhoudelijke eisen,
     budget en planning) een product te laten ontwikkelen dat aan de         Ondanks dat de keuze voor de leverancier een logisch gevolg was van
     behoeften voldeed.                                                      het aanbestedingsproces en de criteria, geven betrokkenen aan dat zij
                                                                             al snel constateerden dat deelproducten van de leverancier
     Ook stonden de geldende kaders op gespannen voet met elkaar. De         herhaaldelijk niet aan de gestelde eisen voldeden en door het
     complexiteit en onvoorspelbaarheid van grote ICT-projecten vragen       ontbreken of niet werken van functionaliteiten niet geïmplementeerd
     om een agile werkwijze, waarbij een opener programma van eisen al       konden worden. Sturing op het ontwikkelproces vanuit de GGD’en
     werkende weg door opdrachtgever en opdrachtnemer tot een                werd bemoeilijkt doordat de initiële Product Owner, de link of
     concreet product omgevormd worden.                                      translator tussen (JGZ-)inhoud en ICT, beperkt regie kon voeren op de
                                                                             ontwikkeling aan leverancierszijde.


27
</pre>

====================================================================== Einde pagina 27 =================================================================

<br><br>====================================================================== Pagina 28 ======================================================================

<pre>     4. Begrijpen: bevorderende en belemmerende factoren in proces


     Belemmerende factoren voor de grote mate van
     uitloop | samenvattende beschrijving
     We hebben een aantal deelverklaringen
     geïdentificeerd voor hoofdverklaring B. We
                                                                                                     1. Uitloop in de          Onbepaalbaarheid van
     beschrijven deze op de volgende pagina                                                           aanbesteding            opdracht: hogere kosten
     beknopt en werken deze in Verdieping B
     verder uit. In Verdieping C staan nog enkele                                                                             a. Beperkte kenbaarheid
     verklaringen kort beschreven die genoemd                                                                                  van status en potentie
     zijn door betrokkenen, maar waarvoor
                                                                                                                            b. te weinig sturing richting
     uiteindelijk te weinig ondersteunende               A. Niet gelukt om beoogde                                          leverancier op contractuele
     bevindingen waren.                                     product op te leveren                                                    afspraken

                                                                                                                                  c. Verschillende
                                                                                                                            uitgangsposities drie GGD’en
                                                                                                2. AB’en pa na lange tijd
                                    Niet geslaagd        B. Grote mate van uitloop
                                                                                                  besloten te stoppen
                                                                                                                            d. Hoge drempel voor falen

                                                                                                                               e. Juridische stappen
                                                                            Klik op een verklaring                           moesten in volgorde gezet
                                                                           voor nadere uitwerking                                      worden
                                                                                   daarvan
                                                                                                                                f. Coronapandemie




28
</pre>

====================================================================== Einde pagina 28 =================================================================

<br><br>====================================================================== Pagina 29 ======================================================================

<pre>     4. Begrijpen: bevorderende en belemmerende factoren in proces


     Belemmerende factoren voor de grote mate van
     uitloop | samenvattende beschrijving
     Het heeft lang geduurd (in relatie tot de beoogde doorlooptijd)            vergrootten de drempel om het traject stop te zetten. De wederzijdse
     voordat het traject werd stopgezet door de Algemeen Besturen van de        afhankelijkheid van de drie GGD’en vertraagde een snelle
     GGD’en. Daar lag een aantal factoren aan ten grondslag.                    besluitvorming verder.

     Het was ten eerste gedurende het traject lastig kenbaar in hoeverre        Juridische risico’s, in combinatie met de lange termijn business case
     ‘de haven in zicht was’. Tijdens de ontwikkeling en het testen verschoof   van het GGiD (exploitatie), zorgde ervoor dat veel focus is gelegd op
     regelmatig wat werkte en wat niet. Ook gaven externe audits geen           het goed houden van de relatie met de leverancier. Ook bij
     uitsluitsel. Dit zorgde voor een continu dilemma voor betrokkenen, dat     aantoonbare problemen in de uitvoering, duurde het een tijd voordat
     samenhing met deze onkenbaarheid van de status van het product: sta        de GGD’en strakker gingen sturen op het nakomen van de afspraken
     je op het punt door te gaan met iets dat mogelijk niet haalbaar is, of     door de leverancier en voordat ze de confrontatie aangingen op de
     sta je op het punt te stoppen met iets dat potentieel juist wel            −in hun ogen− gebrekkige conceptversies van het product.
     succesvol is?
                                                                                In een latere fase kreeg het traject steeds meer ook een juridisch
     Er was al veel geïnvesteerd in het GGiD en de voordelen waren              karakter: er zijn verschillende juridische instrumenten ingezet, in
     potentieel groot. Dit maakte de drempel om te stoppen hoog. Dit            toenemende zwaarte. Voor een zorgvuldige juridische procedure
     heeft deels te maken met politieke afwegingen. Hierbij gold binnen         moesten deze stappen allemaal doorlopen worden, elk ervan kende
     Hollands Noorden dat er al een eerder traject was mislukt en dat de        ook weer een bepaalde doorlooptijd.
     politieke druk hoog was om het niet nogmaals te laten falen. Binnen
     GGD regio Utrecht waren operationele besparingen van het
     toekomstige GGiD al ingebed in de (krappe) begroting. Deze factoren


29
</pre>

====================================================================== Einde pagina 29 =================================================================

<br><br>====================================================================== Pagina 30 ======================================================================

<pre>     Inhoudsopgave


     1.   Samenvatting

     2.   Introductie: aanleiding, opdracht en methode

     3.   Reconstrueren: tijdlijn, mijlpalen & beslismomenten

     4.   Begrijpen | deel b. Conclusies

     5.   Leren & borgen: lessen en aanbevelingen voor de toekomst

     6.   Verdieping bij hoofdstukken 3 en 4

     7.   Bijlagen


30
</pre>

====================================================================== Einde pagina 30 =================================================================

<br><br>====================================================================== Pagina 31 ======================================================================

<pre>     4. Begrijpen: bevorderende en belemmerende factoren in proces


     Conclusies | naar aanleiding van bevorderende en
     belemmerende factoren (1/4)
     In het voorgaande (en de daarbij behorende verdieping) hebben we                              Vertrekpunt voor deze hoofdbevinding zijn de bevorderende factoren
     ernaar gestreefd om alle bevorderende en belemmerende factoren in                             2 en 4. Er was een professionele programmaorganisatie en de
     kaart te brengen die dienen als verklaringen voor het verloop van                             betrokkenen hebben veel geïnvesteerd om succesvol tot ontwikkeling
     aanbesteding, ontwikkeling en stopzetten van het GGiD. In het                                 van een werkend GGiD te komen. We hebben in deze evaluatie geen
     verklaren van de uiteindelijke uitkomst van het traject hebben de                             grote kansen gesignaleerd die de programma-organisatie in de
     verschillende factoren echter een verschillende betekenis. In deze                            ontwikkelperiode heeft laten liggen om alsnog tot het benodigde
     paragraaf geven we daarom concluderend een meer gewogen                                       eindproduct te komen.
     verklaring voor het verloop en de beëindiging van het traject.
                                                                                                   De uiteindelijke uitkomst is te verklaren vanuit de combinatie van drie
     Bij deze concluderende bevindingen is het belangrijk om aan te tekenen                        factoren: randvoorwaarden, leverancier en eisen. Deze drie factoren
     dat we de verklaringen terugkijkend hebben opgebouwd, vanuit het                              lagen bij de start van de ontwikkeling van het GGiD echter vast:
     overzicht en de kennis van nu. Dat we in deze rapportage iets constateren,
                                                                                                   ▹ De randvoorwaarden lagen vast op basis van het
     betekent daarom niet dat we concluderen dat betrokkenen dat destijds ook
                                                                                                     aanbestedingsproces. In het bijzonder het budget is
     hadden kunnen of moeten weten*.
                                                                                                     aanbestedingstechnisch niet (of althans heel beperkt) op te hogen
     Conclusie 1: binnen de geldende randvoorwaarden van planning en                                 binnen een contract; Tekst vervolgt op volgende pagina
     budget hadden de GGD-en met deze leverancier het door hen
     vereiste eindresultaat niet kunnen ontwikkelen.




31   *In het licht van het lerende karakter van deze evaluatie, is dat ook geen relevant aspect.
</pre>

====================================================================== Einde pagina 31 =================================================================

<br><br>====================================================================== Pagina 32 ======================================================================

<pre>     4. Begrijpen: bevorderende en belemmerende factoren in proces


     Conclusies | naar aanleiding van bevorderende en
     belemmerende factoren (2/4)
     Vervolg van vorige pagina
     ▹ De leverancier was geselecteerd op basis van een (bewust
       doordacht) aanbestedingsproces en was daarom na selectie een
       gegeven;
     ▹ de eisen voor een functioneel GGiD lagen bij aanvang vast.
       Gesprekspartners geven aan dat afzwakking daarvan tot een
       product geleid had dat niet de benodigde functionaliteit zou
       hebben gehad.

     Het is nadrukkelijk het samenspel tussen deze factoren dat de uitkomst
     verklaart. Het is niet te zeggen of de uitkomst anders was geweest, als
     één van deze factoren, in enige mate, anders was geweest.




32
</pre>

====================================================================== Einde pagina 32 =================================================================

<br><br>====================================================================== Pagina 33 ======================================================================

<pre>     4. Begrijpen: bevorderende en belemmerende factoren in proces


     Conclusies | naar aanleiding van bevorderende en
     belemmerende factoren (3/4)
     Conclusie 2: het zijn primair keuzes geweest bij het begin van het        ▹ De GGD’en gingen ervan uit ging dat (maar wisten niet zeker of) een
     traject, tot en met de aanbestedingsprocedure, die ertoe hebben             dergelijk product ontwikkeld kon worden binnen de betreffende
     geleid dat er binnen de gestelde randvoorwaarden geen bruikbaar             randvoorwaarden. Tegelijkertijd konden betrokkenen dit gezien de
     eindresultaat is opgeleverd.                                                onervarenheid van de GGD’en (Verklaring A.1.c.I) op het ontwikkelen
                                                                                 van een dergelijk pakket ook niet weten.
     Anderzijds vloeien sommige randvoorwaarden voort uit factoren
     waarop de GGD’en geen invloed hadden (maar wel van op de hoogte           ▹ De kaders die met elkaar op gespannen voet stonden (Verklaring
     waren), zoals de aanbestedingswet en geldende marktcondities.               A.2). Dat geldt in het bijzonder voor het spanningsveld tussen een
                                                                                 aanbesteding met een maximumbudget enerzijds en de wens om
     De volgende onderliggende verklaringen voor het niet hebben kunnen
                                                                                 agile te werken anderzijds. Bij een maximumbudget is een volledig
     realiseren van het gewenste product hebben elkaar versterkt, en
                                                                                 uitgewerkt programma van eisen wenselijk. Bij een agile werkwijze
     hebben de meeste invloed gehad op de uiteindelijke uitkomst:
                                                                                 passen meer open geformuleerde eisen en een meer flexibel
     ▹ De hoge ambities (Verklaring A.1a) Daarmee bedoelen we niet de            budget.
       ambities op zichzelf −die zijn legitiem en begrijpelijk− maar de wens
                                                                               Elk van bovengenoemde keuzes is op zichzelf goed doordacht
       om daar via deze opdracht invulling aan te geven. In het licht van de
                                                                               geweest en er waren de nodige checks and balances ingebouwd. Maar
       niet-behulpzame marktcondities (Verklaring A.1.b) vloeide uit deze
                                                                               in combinatie hebben de keuzes tot deze context geleid waarin deze
       ambities voort dat er een nieuw product ontwikkeld moest worden,
                                                                               leverancier met dit bod als beste uit de bus kwam. Daarbij moeten we
       waarvan het de vraag is hoe groot de potentiële markt ervoor was
                                                                               achteraf constateren dat het deze leverancier niet is gelukt om de
       geweest (maximaal 37 GGD’en). Daarbij was er bovendien sprake
                                                                               eisen binnen de gestelde randvoorwaarden van planning en budget
       was van een onduidelijke financiële prikkel voor de leverancier.
                                                                               tot uitvoering te brengen.

33
</pre>

====================================================================== Einde pagina 33 =================================================================

<br><br>====================================================================== Pagina 34 ======================================================================

<pre>     4. Begrijpen: bevorderende en belemmerende factoren in proces


     Conclusies | naar aanleiding van bevorderende en
     belemmerende factoren (4/4)
     Conclusie 3: het heeft vooral lang geduurd voordat werd besloten om     ▹ De noodzaak om alle juridische stappen doorlopen te hebben om
     te stoppen, omdat de haalbaarheid van een werkend product                 het ontwikkelproces uiteindelijk onderbouwd stop te kunnen zetten
     onduidelijk was en omdat de drempel om te stoppen hoog was.               (Verklaring B.2.e).
     Vervolgens hebben we geconstateerd dat het lang heeft geduurd voor
     het traject werd gestopt. Ook de verklaring hiervoor bestaat uit een
     samenspel van factoren. De belangrijkste verklaringen waarom het
     lang heeft geduurd voordat besloten werd te stoppen, zijn naar onze
     indruk:
     ▹ De onkenbaarheid van de status van het product en als gevolg
       daarvan het dilemma tussen stoppen met een traject dat mogelijk
       nog tot succes zal leiden en doorgaan met iets dat mogelijk niet de
       benodigde potentie heeft (Verklaring B.2.a).
     ▹ De hoge drempel om te stoppen met iets dat al zo lang loopt en
       zoveel gekost heeft, in combinatie met de politiek-bestuurlijke
       dynamiek (Verklaring B.2.d).




34
</pre>

====================================================================== Einde pagina 34 =================================================================

<br><br>====================================================================== Pagina 35 ======================================================================

<pre>     Inhoudsopgave


     1.   Samenvatting

     2.   Introductie: aanleiding, opdracht en methode

     3.   Reconstrueren: tijdlijn, mijlpalen & beslismomenten

     4.   Begrijpen: bevorderende en belemmerende factoren in proces

     5.   Leren & borgen: lessen en aanbevelingen voor de toekomst

     6.   Verdieping bij hoofdstukken 3 en 4

     7.   Bijlagen


35
</pre>

====================================================================== Einde pagina 35 =================================================================

<br><br>====================================================================== Pagina 36 ======================================================================

<pre>     5. Leren & borgen: lessen en aanbevelingen voor de toekomst


     5. Leren van bevorderende en belemmerende factoren

     Inleiding                                                                 Op de volgende pagina’s koppelen we relevante lessen aan de
     Tot dit punt in de rapportage hebben we teruggekeken: wat is er           verklaringen. Een deel van de lessen vertalen we later naar concrete
     gebeurd en waarom is er gebeurd wat er gebeurd is? Vanaf hier kijken      aanbevelingen. Onderdeel daarvan is hoe de betreffende lessen
     we vooruit, om te leren van de terugblik. Met andere woorden: als er      geborgd kunnen worden, op korte termijn in het vervolg van de
     lessen uit getrokken worden: wat moet anders en wat wil je juist          nieuwe aanbestedingstrajecten, én breder in de organisaties.
     behouden? En: wat is daarvoor nodig?
     Zowel de bevorderende factoren als de belemmerende factoren (de
                                                                               Leeswijzer
     verklaringen) die uiteen zijn gezet in hoofdstuk 4, vertalen we waar
     mogelijk naar lessen voor de toekomst voor GGD’en (en in mindere
     mate gemeenten).
                                                                                  Verklaring (zie de
     Niet uit iedere verklaring die we hebben geïdentificeerd, is echter een                                                            Les
                                                                                 bevindingen van H4)
     les te destilleren. Sommige verklaringen liggen buiten de invloedssfeer
     van de GGD’en en de gemeenten. Ook zijn er verklaringen die                                            Verklaring die
     voortkomen uit de context (situationele factoren), bijvoorbeeld                                    aanleiding geeft tot les
     marktcondities ten tijde van het aanbestedingsproces. Deze factoren
     zijn soms in de huidige context niet meer van toepassing. We nemen
     alleen lessen op als ze voor het hier en nu nog relevant zijn.




36
</pre>

====================================================================== Einde pagina 36 =================================================================

<br><br>====================================================================== Pagina 37 ======================================================================

<pre>     5. Leren & borgen: lessen en aanbevelingen voor de toekomst


     Lessen vanuit de bevorderende factoren | 1 t/m 3

     Ondanks het uitblijven van resultaat, zijn er meerdere factoren te identificeren die op een positieve manier hebben bijgedragen aan het verloop
     van de ontwikkeling en die elementen bevatten die de moeite waard zijn om te behouden of te versterken in een vervolg.

     Verklaringen                                                    Lessen

                                                                      1. ‘if you want to go fast, go slow’; het loont om veel tijd te investeren in het
               1. Gedeelde visie tussen GGD’en                        formuleren en doordenken van wat de wensen zijn vanuit de GGD’en en
                                                                      deze uit te werken en vast te leggen. Het creëren van een platform waar de
                                                                      GGD’en doorlopend met elkaar in gesprek kunnen blijven over deze visie is
                                                                      van grote meerwaarde voor een samenwerkingsrelatie.

                                                                      2. Een programma-organisatie die is ingericht op de complexiteit van de
          2. Professionele programma-organisatie
                                                                      opgave, zorgt voor een gestroomlijnd intern proces en aansturing van de
                                                                      leverancier. Waar nodig moet voor (de inrichting van) zo’n programma-
                                                                      organisatie externe expertise ingehuurd worden. Audits op de kwaliteit van
                                                                      de organisatie helpen om de programma-organisatie waar nodig te
       3. Goede onderlinge samenwerking tussen de                     verbeteren.
                         GGD’en
                                                                      3. Betrokkenheid in de programma-organisatie van alle geledingen
                                                                      (operationeel, tactisch, strategisch) vanuit de GGD’en, en het faciliteren van
                                                                      de onderlinge uitwisseling, draagt eraan bij dat men zich goed in elkaars
     Klik op een verklaring om                                        situatie kan inleven. Tegelijkertijd kost goede samenwerking in de praktijk
37
     naar de uitwerking ervan                                         veel energie en brengt samenwerking ook een extra complexiteit met zich
     te gaan.                                                         mee.
</pre>

====================================================================== Einde pagina 37 =================================================================

<br><br>====================================================================== Pagina 38 ======================================================================

<pre>     5. Leren & borgen: lessen en aanbevelingen voor de toekomst


     Lessen vanuit de bevorderende factoren | 4 & 5


     Verklaringen                                                  Lessen

            4. Gedreven bemensing, die er veel in                  4. Gedreven en gekwalificeerde mensen in de programma-organisatie die
        geïnvesteerd heeft om tot succesvol einde te               ook een ‘ambassadeursrol’ richting hun eigen achterban kunnen vertolken,
                          komen                                    zijn van belang. Om hun rol te kunnen waar maken, vraagt wel dat ze
                                                                   voldoende tijd vrijgespeeld krijgen, maar ook dat het mogelijk is om het
                                                                   gesprek te kunnen voeren over persoonlijke betrokkenheid en werkdruk.



                                                                   5. In een complex ontwikkeltraject is het essentieel om risico's en
         5. Verschillende vormen van risicomitigatie
                                                                   beheersmaatregelen tijdig (vooraf) te inventariseren. Om impact van risico's
                                                                   te beperken, kan onderscheid gemaakt worden in verschillende
                                                                   (opeenvolgende) instrumenten.
                                                                   ▹ In het inventariseren van risico’s is het van belang ook scenario’s met een
     Klik op een verklaring om
     naar de uitwerking ervan                                         kleine kans maar grote impact te betrekken. Voldoende ‘tegendenkkracht’
     te gaan.                                                         is helpend om deze scherp te hebben.
                                                                   ▹ Goede risico-mitigatie is geen garantie voor succes; risico’s kunnen zich
38
                                                                      altijd op onvoorziene wijzen manifesteren in een project.
</pre>

====================================================================== Einde pagina 38 =================================================================

<br><br>====================================================================== Pagina 39 ======================================================================

<pre>     5. Leren & borgen: lessen en aanbevelingen voor de toekomst


     Lessen vanuit hoofdverklaring A | verklaringen A.1 & A.2

     Verklaringen                                                  Lessen

                                                                   Gedeelde ambities helpen om de krachten te verenigen en gestaag naar
      A.1. De uitkomst van de aanbesteding was dat er              resultaat te werken. Balanceer dit wel:
        een nieuw product ontworpen ging worden.
         Hierbij is de kans op succes kleiner dan bij              6. Kies voor een iteratieve aanpak met expliciete ‘go/no go’-momenten aan
            aankoop van een bestaand product.                      de hand van vooraf vastgestelde voorwaarden, waardoor in kleine stapjes
                                                                   naar een stip op de horizon wordt gewerkt. Houd hier gedurende het gehele
                                                                   traject aan vast (zie ook les 18).
                   A.1.a. Hoge ambities                            7. Als in praktijk blijkt dat er meer tijd en geld nodig is dan beschikbaar om
                                                                   ambities te realiseren in het product, moet de focus verlegd worden naar
                                                                   wat wél kan. Parkeer in zo’n geval ambities, bijvoorbeeld tot op de langere
           A.1.b. Onbehulpzame marktcondities                      termijn landelijk stappen kunnen worden genomen.

         A.1.c. GGD’en gingen uit van haalbaarheid                 8. Terugkerende uitgebreide en onafhankelijke toetsing van de haalbaarheid
                                                                   van een project en aandachtspunten daarin, inclusief de governance brengt
                                                                   mogelijk nieuwe perspectieven ten opzichte van een marktconsultatie,
           A.1.c.I. Onervarenheid van de GGD’en
                                                                   omdat het zowel aanvullend als breder in opzet is. Een specifieke vorm om
                                                                   zo ‘tegendenkkracht’ te organiseren is via een ‘gateway review’.
      A.2. De gehanteerde kaders voor de ontwikkeling
         – een relatief open PvE en tegelijkertijd een             9. Modulair aanbesteden van een groot product, waarbij het product wordt
39     strakke planning en fixed budet – stonden met               opgeknipt in deelproducten, sluit beter aan bij een agile werkwijze en draagt
                  elkaar op gespannen voet.                        bij aan de beheersbaarheid van het project.
</pre>

====================================================================== Einde pagina 39 =================================================================

<br><br>====================================================================== Pagina 40 ======================================================================

<pre>     5. Leren & borgen: lessen en aanbevelingen voor de toekomst


     Lessen vanuit hoofdverklaring A | verklaringen A.3 & A.4

     Verklaringen                                                  Lessen

       3. Deelproducten van de leverancier gedurende               N.B. We trekken geen lessen t.b.v. de leverancier, omdat deze niet het onderwerp
       de ontwikkeling kwamen herhaaldelijk niet door              van de evaluatie is. Wél zijn er binnen de invloedssfeer van de GGD'en lessen te
           de acceptatietesten en konden door het                  trekken omdat zij immers invloed hebben gehad op de keuze voor een leverancier
             ontbreken of niet werken van vitale                   via de gunningscriteria (verklaring 3.b.).
       functionaliteiten niet geïmplementeerd worden.              10. Er is sprake van een spanningsveld als het gaat om de eisen mbt. de
                                                                   ervaring van de leverancier. Wanneer meer specifieke ervaring wordt vereist,
                                                                   is het aantal leveranciers dat in aanmerking komt waarschijnlijk kleiner en
      3.a. Geraamde budget          3.b. Geen ervaring op          ook bestaat de reële kans dat het vernieuwend vermogen bij ervaren
             uitgeput                 soortgelijk dossier          leveranciers kleiner is. Een goede balans hierin is context-afhankelijk en kan
                                                                   grotendeels pas achteraf opgemaakt worden. Het maken van een bewuste
        4. Gedurende de ontwikkeling van het digitale              afweging op dit vlak, rekening houdend met de risico’s wanneer de balans
           dossier is de leverancier afspraken over                teveel één kant uitwijst, is helpend in het opstellen van gunningscriteria en
         oplevertermijnen en technische specificaties              de selectie van een leverancier.
               herhaaldelijk niet nagekomen.                       11. Beoordeel aanbieders in de aanbesteding op hun expertise en ervaring
                                                                   met vergelijkbare opdrachten: primair op complexiteit en secundair op het
         4.a. Ontwikkelbudget voor de opdracht was
                                                                   GGD-/zorg-domein, zowel inhoudelijk als de (besluitvormings)processen. De
                          uitgeput
                                                                   context van de specifieke organisatie kan immers beter eigen worden
                     4.b. Personele wisselingen                    gemaakt in korte tijd dan complexe ICT-expertise. Los van zorgexpertise, is
                                                                   het essentieel dat er afspraken worden gemaakt over hoe de context van
40   Klik op een verklaring om                                     ‘de werkvloer’ mee te nemen in de ontwikkeling.
     naar de uitwerking ervan
     te gaan.
</pre>

====================================================================== Einde pagina 40 =================================================================

<br><br>====================================================================== Pagina 41 ======================================================================

<pre>     5. Leren & borgen: lessen en aanbevelingen voor de toekomst


     Lessen vanuit hoofdverklaring A | verklaringen A.5 & A.6

     Verklaringen                                                  Lessen

         A.5. In het bouwproces bleek dat de rol van               12. Nadruk op de rol van de product owner (PO) in ontwikkeltrajecten is
       product owner niet goed kon worden ingevuld.                essentieel om de brug te slaan tussen inhoudelijke eisen en techniek om
          De invulling van deze rol werd bemoeilijkt               prioriteiten te stellen:
       doordat de PO niet in positie werd gesteld om               ▹ Geef de PO een centrale plek in de programma-organisatie.
                     het proces te sturen.                         ▹ Zorg ervoor dat het programmateam voldoende translator capaciteiten
                                                                      heeft om informatie over het programma en vorderingen daarin goed te
                                                                      kunnen vertalen richting management en bestuur.
                                                                   13. Het helpt je om vooraf voor sleutelfuncties in het bouwproces (PO,
                                                                   architect/ontwerper, juridische capaciteit, etc.) te identificeren aan welke
      A.6. Een mogelijke verklaring voor het feit dat het          randvoorwaarden voldaan moet zijn om hun rol goed in kunnen vullen en
       uiteindelijke product niet (naar behoren) werd              dit contractueel te borgen. Leg met de leverancier vast hoe er gewerkt gaat
      geleverd, ligt in (het ontbreken van) de financiële          worden, in het bijzonder over samenwerking met en aansturing van het
      prikkel voor de leverancier. Deze was tweeledig:             ontwikkelteam van de leverancier.
        enerzijds het bouwen van het product zelf, in
         opdracht van de GGD’en en anderzijds het
          mogelijk verdienen aan het product als dit
          verkocht zou worden aan andere GGD’en


41
</pre>

====================================================================== Einde pagina 41 =================================================================

<br><br>====================================================================== Pagina 42 ======================================================================

<pre>     5. Leren & borgen: lessen en aanbevelingen voor de toekomst


     Lessen van hoofdverklaring B | verklaring B.1


     Verklaringen                                                  Lessen

         B.1. Een deel van de lange duur komt door                 14. De kans op een succesvolle aanbesteding –waarbij er voldoende
      uitloop van de aanbestedingsperiode, als gevolg              passende voorstellen gedaan worden− wordt groter wanneer de
      van het bezwaar van een afgewezen kandidaat.                 opdrachtdefinitie (gewenste eindresultaat én hoe daar te komen) vooraf en
                                                                   tijdens de aanbestedingsprocedure voldoende scherp bepaald worden.
                                                                   Wanneer er sprake is van een dialooggerichte aanbesteding, dan kan op
      Onbepaalbaarheid van opdracht: hogere kosten                 basis van signalen van een gegadigde (bijvoorbeeld over de mate van
                                                                   ‘bepaalbaarheid’ van de opdracht’) een toets daarvan bij andere gegadigden
                                                                   waardevolle inzichten opleveren: worden de gesignaleerde risico’s door
                                                                   andere gegadigden herkend en zo nee, waarom (niet)? Het nader definiëren
                                                                   van de kaders van de opdracht, draagt bij aan de uiteindelijke
                                                                   uitvoerbaarheid.




42
</pre>

====================================================================== Einde pagina 42 =================================================================

<br><br>====================================================================== Pagina 43 ======================================================================

<pre>     5. Leren & borgen: lessen en aanbevelingen voor de toekomst


     Lessen van hoofdverklaring B | verklaringen B.2
     Verklaringen                                                  Lessen
         B.2. De gemeenten (AB’en van de GGD’en)                   15. Het is in complexe projecten een enorme uitdaging om een eenduidige
      hebben pas na lange tijd besloten om het traject             graadmeter te formuleren voor de status van het project (zeker één die
                      stop te zetten.                              voor alle geledingen inzichtelijk is): hoe ver zijn we van het uiteindelijke doel?
                                                                   Een instrument als dit kan echter wél helpen bij gedragen besluitvorming
         B.2.a. Beperkte kenbaarheid van status en                 over al dan niet doorgaan (zie ook les 6).
                          potentie                                 16. Voor alle betrokkenen in het project moet navolgbaar zijn welke keuzes
                                                                   zijn gemaakt en waarom. Een sluitende feedbackloop, waarin signalen
       B.2.b. Te weinig sturing richting leverancier op            vanuit de werkvloer in besluitvoering worden betrokken en overwegingen
                   contractuele afspraken                          m.b.t. de besluiten weer landen op de werkvloer, is hierin van groot belang.

                                                                   17. Een goede relatie met de leverancier en sturing op regels en afspraken
      B.2.c. Verschillende uitgangsposities drie GGD’en
                                                                   zijn beide van belang, maar moeten in balans zijn. Het behoud van een
                                                                   goede relatie waarin voldoende ruimte is voor een open gesprek, mag niet
              B.2.d. Hoge drempel voor falen                       ten koste gaan van (stevige) sturing op regels en afspraken.

                                                                   18. Het inbouwen van expliciete go / no go-momenten, met duidelijke eisen
       B.2.e. Juridische stappen moesten in volgorde
                                                                   aan wanneer wel of niet doorgaan, kan voorkomen dat de drempel om te
                       genomen worden
                                                                   stoppen steeds hoger wordt. Wanneer vooraf wordt nagedacht over
                                                                   condities waarbij wordt geëscaleerd, en in een uiterst geval wordt
                   B.2.f. Coronapandemie                           overgegaan tot het stopzetten van het traject, verlaagt dit de drempel – zie
43                                                                 ook lessen 6 en 15.
</pre>

====================================================================== Einde pagina 43 =================================================================

<br><br>====================================================================== Pagina 44 ======================================================================

<pre>     5. Leren & borgen: lessen en aanbevelingen voor de toekomst


     Aanbevelingen | borgen van de relevante lessen voor de
     toekomstige aanbesteding van het digitaal dossier (1/3)
     In het vorige onderdeel hebben we in algemene zin lessen voor de                             Daarbij merken we op dat een deel van déze lessen ook alweer (deels)
     toekomst getrokken op basis van de ervaringen in het verleden. Deze                          door de GGD’en in de praktijk gebracht worden*.
     zijn breed toepasbaar. In dit onderdeel maken we de vertaling naar
                                                                                                  Ook bij een aanbesteding door één GGD voor de aankoop van een
     het digitaal dossier jeugdgezondheidszorg. De drie GGD’en moeten
                                                                                                  bestaand product zijn er verschillende organisatieonderdelen
     alsnog tot een nieuw dossier komen. Zij hebben op basis van de
                                                                                                  betrokken om dit proces in goede banen te leiden (DPG / managers
     ervaringen al zelf de keus gemaakt om elk afzonderlijk een bestaand
                                                                                                  voor besluitvorming, inkopers, juristen, professionals voor
     product aan te kopen, in plaats van te laten ontwikkelen. Een deel van
                                                                                                  implementatie, etc.). In de kern is er ook weer sprake van een
     de geïdentificeerde lessen is daarmee al in praktijk gebracht of
                                                                                                  projectorganisatie − hoe lichtgewicht ook:
     anderszins niet meer relevant. In dit deel spitsen we ons toe op de
     lessen die ook toepasbaar zijn op de drie toekomstige                                        Aanbeveling 1 (op basis van lessen 2 en 3): investeer in je
     inkooptrajecten. Daarbij maken we ook de vertaalslag naar wat er                             projectorganisatie. Betrek alle relevante geledingen in je
     concreet nodig is om deze lessen te borgen. Dit zijn onze                                    projectorganisatie: zowel managers als uitvoerders en de verschillende
     aanbevelingen. De volgorde waarin ze opgenomen zijn, hangt samen                             disciplines (ICT, maar ook zorginhoud, juridisch en financieel). Faciliteer
     met het moment waarop ze het meest relevant zijn. Voor de                                    onderlinge uitwisseling tussen deze geledingen. Dit kan een
     herleidbaarheid refereren we steeds aan de lessen waar een                                   tijdsinvestering aan het begin vragen, maar betaalt zich later vaak terug
     aanbeveling op gebaseerd is.                                                                 doordat mensen met verschillende achtergronden (en daarmee
                                                                                                  perspectieven) elkaar aanvullen en aanscherpen.




     *De toekomstige inkooptrajecten vallen niet binnen de reikwijdte van deze evaluatie, we kunnen dus niet
44   scherp reflecteren op de mate waarin en manier waarop die lessen in de praktijk gebracht zijn.
</pre>

====================================================================== Einde pagina 44 =================================================================

<br><br>====================================================================== Pagina 45 ======================================================================

<pre>     5. Leren & borgen: lessen en aanbevelingen voor de toekomst


     Aanbevelingen | borgen van de relevante lessen voor de
     toekomstige aanbesteding van het digitaal dossier (2/3)
     Het is echter niet gezegd dat je er met alleen mensen uit je eigen              Aanbeveling 3 (o.b.v. les 4): zorg voor een goed bemenste
     organisatie bent:                                                               projectorganisatie. Zorg er als projectorganisatie voor dat de leden ervan
                                                                                     voldoende tijd beschikbaar hebben (gekregen) en faciliteer hen om een
     Aanbeveling 2 (o.b.v. les 8): voer een expertisescan uit bij grotere            ambassadeursrol te spelen. Daarmee bedoelen we input op te halen vanuit
     projecten. Stel jezelf bij aanvang van elk groot project de expliciete vraag:   collega’s met een vergelijkbare functie en hen mee te nemen in de keuzes en
     welke kennis en expertise is benodigd om dit project (zij het een               afwegingen die gemaakt zijn. Dit vergroot het draagvlak voor het
     inkoopproces of iets anders) goed te doorlopen, wat daarvan hebben wij          uiteindelijk aangeschafte product.
     zelf al in huis en wat betekent dit voor wat we nodig hebben aan
     aanvullende expertise? Die kan bestaan uit mensen met aanvullende               Bij aanbestedingen geldt vervolgens altijd: je krijgt wat je vraagt. Dat
     kennis (meedenkers), of juist meer uit mensen met een focus op risico’s en      wil zeggen, de eisen en criteria die je aan de gegadigden stelt, bepalen
     die met een sceptische blik kijken (‘tegendenkers’). Heb hierbij in het         wie er uiteindelijk als leverancier uit de bus komt en welk product je
     bijzonder aandacht voor of er voldoende translatorcapaciteit aanwezig           precies krijgt:
     is; mensen die de brug kunnen vormen tussen techniek enerzijds en               Aanbeveling 4 (op basis van lessen 1 en 14): doordenk je eisen en criteria
     uitvoering, beleid en bestuur anderzijds. Afhankelijk van de omvang en          goed. Neem de tijd in het formuleren en doordenken van wat je wilt (en van
     complexiteit van het project kun je die expertisescan zelf uitvoeren, of dat    wie je het wilt). Kwaliteit gaat hier boven snelheid. Blijf ook gedurende de
     laten doen.                                                                     aanbesteding als projectorganisatie met elkaar in gesprek over wat je wilt,
     Ook een eigenstandig inkoopproces van een bestaand product kan                  om dit zo nodig nog te kunnen bijschaven. Wees en blijf daarbij kritisch op
     een aanzienlijke belasting voor betrokkenen betekenen:                          prioriteiten in de gestelde eisen. Zo kun je keuzes maken, als de praktijk
                                                                                     weerbarstiger blijkt. Zet hier indien nodig ‘tegendenkkracht’ (aanbeveling 2)
     :                                                                               voor in.

45
</pre>

====================================================================== Einde pagina 45 =================================================================

<br><br>====================================================================== Pagina 46 ======================================================================

<pre>     5. Leren & borgen: lessen en aanbevelingen voor de toekomst


     Aanbevelingen | borgen van de relevante lessen voor de
     toekomstige aanbesteding van het digitaal dossier (3/3)
     Ook bij de aankoop van een bestaand product, is de relatie met en            Zelfs het enorm goed doordenken van je eisen en criteria is nog geen
     aansturing van de leverancier bepalend voor het succes:                      garantie op succes. Het is daarom van waarde om ‘noodknoppen’ in te
                                                                                  bouwen:
     Aanbeveling 5 (o.b.v. lessen 12, 13 en 17): aandacht voor onderlinge
     samenwerking en aansturing. Besteed in de formulering van het                Aanbeveling 6 (o.b.v. lessen 6, 15 en 18): ga stap voor stap voorwaarts (dit
     beschrijvend document aandacht aan de verhouding opdrachtgever-              kunnen grote stappen zijn). Houd grip op het proces door als
     opdrachtnemer gedurende de looptijd van de opdracht. Leg met de              projectorganisatie vooraf expliciete go / no go-momenten in te bouwen
     uiteindelijk geselecteerde leverancier vast hoe er gewerkt gaat worden, in   (binnen het aanbestedingstraject –d.w.z. de mogelijkheid tot stopzetten,
     het bijzonder over samenwerking met en aansturing van de leverancier.        maar ook gedurende implementatie– uiteraard binnen wat juridisch
     Bouw waarborgen in voor het geval de leverancier niet (tijdig) aan het       mogelijk is). Houd daarbij ook rekening met risico’s die een kleine kans,
     gevraagde tegemoet komt (zie ook de volgende aanbeveling). Dit hoeft een     maar enorme impact hebben. Stem deze procedure af met de
     goede onderlinge verstandhouding met de leverancier niet in de weg te        DPG/bestuur. Expliciteer wanneer deze momenten plaatsvinden en
     staan.                                                                       objectiveer zoveel mogelijk wat de voorwaarden zijn waaronder je
                                                                                  doorgaat en maak afspraken over hoe je tot besluitvorming komt wanneer
                                                                                  de keus op tafel komt om te stoppen. Definiëren van een ‘graadmeter’ van
                                                                                  vorderingen door de projectorganisatie kan hierbij een behulpzame
                                                                                  activiteit zijn.




46
</pre>

====================================================================== Einde pagina 46 =================================================================

<br><br>====================================================================== Pagina 47 ======================================================================

<pre>     Inhoudsopgave


     1.   Samenvatting

     2.   Introductie: aanleiding, opdracht en methode

     3.   Reconstrueren: tijdlijn, mijlpalen & beslismomenten

     4.   Begrijpen: bevorderende en belemmerende factoren in proces

     5.   Leren & borgen: lessen en aanbevelingen voor de toekomst

     6.   Verdieping bij hoofdstukken 3 en 4:
           A.    Tijdlijn, mijlpalen en beslismomenten (H3)
           B.    Bevorderende en belemmerende factoren (H4)
           C.    Niet-opgenomen verklaringen (H4)

47   7.   Bijlagen
</pre>

====================================================================== Einde pagina 47 =================================================================

<br><br>====================================================================== Pagina 48 ======================================================================

<pre>     Inhoudsopgave


     1.   Samenvatting

     2.   Introductie: aanleiding, opdracht en methode

     3.   Reconstrueren: tijdlijn, mijlpalen & beslismomenten

     4.   Begrijpen: bevorderende en belemmerende factoren in proces

     5.   Leren & borgen: lessen en aanbevelingen voor de toekomst

     6.   Verdieping A | tijdlijn, mijlpalen & beslismomenten (H3)

     7.   Bijlagen


48
</pre>

====================================================================== Einde pagina 48 =================================================================

<br><br>====================================================================== Pagina 49 ======================================================================

<pre>     Verdieping A | tijdlijn, mijlpalen & beslismomenten (H3)


     1. Voorbereiding | a. Aanleiding aanbesteding

     De uitvoerders van de jeugdgezondheidszorg (veelal de GGD’en) zijn
     verantwoordelijk voor verslaglegging in een digitaal dossier.
     ▹ Artikel 5, lid 1 van de Wet publieke gezondheid (wpg) luidt “Het
       college van burgemeester en wethouders draagt zorg voor de
       uitvoering van de jeugdgezondheidszorg.”
     ▹ Artikel 5, lid 3.b luidt vervolgens: “Het college van burgemeester en
       wethouders draagt er zorg voor dat bij de uitvoering van de taak,
       bedoeld in het eerste lid, gebruik wordt gemaakt van digitale
       gegevensopslag, […]”.

     Alle betrokken GGD’en gebruikten het softwarepakket MLCas. De op
     dat moment lopende contracten voor dit pakket liepen voor elk van de
     GGD’en op relatief korte termijn af (GGDrU: 1-12-2017, GGD Twente:
     31-12-2016 (te verlengen tot 31-12-2017), GGD Hollands Noorden: 1-
     1-2018).




49           Klik hier om terug te gaan naar de tijdlijn.
</pre>

====================================================================== Einde pagina 49 =================================================================

<br><br>====================================================================== Pagina 50 ======================================================================

<pre>     Verdieping A | tijdlijn, mijlpalen & beslismomenten (H3)


     1. Voorbereiding | b. Eerdere aanbesteding

     ▹ Vanaf 2014 hebben de GGD’en Hollands Noorden en Hollands
       Midden gezamenlijk een aanbesteding en ontwikkeltraject
       doorlopen voor een DD JGZ. De geselecteerde leverancier hierbij
       was Regas (inmiddels Myneva).
     ▹ Dit ontwikkeltraject is tussentijds stopgezet vanwege problemen
       met de leverancier.
     ▹ Een grote hoeveelheid aan knelpunten, nog door te voeren
       wijzigingen en nog te realiseren functionaliteiten, maakte dan het
       niet aannemelijk was dat oplevering en implementatie van het
       dossier voor het einde van 2016 kon plaatsvinden.




50           Klik hier om terug te gaan naar de tijdlijn.
</pre>

====================================================================== Einde pagina 50 =================================================================

<br><br>====================================================================== Pagina 51 ======================================================================

<pre>     Verdieping A | tijdlijn, mijlpalen & beslismomenten (H3)


     1. Voorbereiding | c. Taskforce GGD-dossier

     ▹ In juni 2016 hebben de DPG’en van GGD’en Hollands Midden en                     ▹ Alternatief 2: Opnieuw aanbesteden met beter en gedetailleerder
       Hollands Noorden* opdracht gegeven om een Taskforce GGD-                           bestek
       dossier in het leven te roepen (GGD regio Utrecht is hier in juli bij           ▹ Alternatief 3a: Laten bouwen door GGD Hollands Noorden en
       aangesloten).                                                                      RDOG Hollands Midden
     ▹ De taskforce heeft de DPG’en geadviseerd over het GGD-dossier.                  ▹ Alternatief 3b: Laten bouwen door meerdere GGD’en
       Adviezen ten tijde van het verzoek om décharge (7 september 2016)             ▹ Deze scenario’s zijn beoordeeld −en daardoor met elkaar
       waren onder andere:                                                             vergeleken− op een aantal criteria (kosten, functionaliteit,
       ▹ om het GGD-dossier te laten bouwen door meerdere GGD’en (zie                  toekomstvastheid, benodigde inzet, etc.) en risico’s (uitloop in
          volgende kopje).                                                             kosten of tijd, beperkte bruikbaarheid, etc.)
       ▹ om aan te besteden middels concurrentie gerichte dialoog                    ▹ Geconcludeerd wordt dat “Het laatste alternatief ‘Laten bouwen door
          (advies van De Clercq Advocaten, zie daaropvolgend kopje).                   meerdere GGD’en’ met behoorlijke afstand het meeste waar voor je geld
                                                                                       [geeft] met slechts een iets hoger risico dan het vorige alternatief.
                                                                                       Daarom lijkt dit alternatief lijkt het meest aantrekkelijk. Natuurlijk mits je
     Manier om tot DD JGZ te komen
                                                                                       de risico’s goed kan managen. De grootste risico’s liggen bij het goed
     ▹ Op het moment dat de samenwerking zich slechts nog beperkte tot                 neerzetten van de samenwerking en het management van een complex
       Hollands Noorden en Hollands Midden, zijn verschillende scenario’s              software-project.”
       verkend voor het vervolg op de eerder mislukte aanbesteding. Deze
       scenario’s zijn:
       ▹ Alternatief 1: Aanbesteden met lagere ambitie


51           Klik hier om terug te gaan naar de tijdlijn.       *Dit is in Hollands Noorden een andere persoon dan de huidige DPG.
</pre>

====================================================================== Einde pagina 51 =================================================================

<br><br>====================================================================== Pagina 52 ======================================================================

<pre>     Verdieping A | tijdlijn, mijlpalen & beslismomenten (H3)


     1. Voorbereiding | c. Taskforce GGD-dossier (vervolg)

     Wijze van aanbesteden                                                     Er werd geadviseerd om de tweede mogelijkheid te hanteren, omdat
     Wanneer er een aanbesteding plaatsvindt voor een DD JGZ, dan zijn er      ”Indien voor de concurrentiegerichte dialoog wordt gekozen is de kans
     verschillende mogelijkheden. Aan De Clercq Advocaten is advies            groter dat de inschrijving uiteindelijk voldoet aan de vereisten en wensen
     gevraagd over de te hanteren methode. Zij identificeerden in wezen        van de Coöperatie, dit omdat er in dit geval de mogelijkheid is om
     twee keuzes:                                                              tussentijds bij te sturen.”.
     1. “(niet-)openbare procedure, waarbij gunningscriteria opgesteld         Dit had te maken met het feit dat “Het Programma van Eisen duidelijk
         worden en de inschrijvingen van alle gegadigden daar vervolgens aan   [is] over hetgeen het nieuwe Digitaal Burgerdossier moet kunnen, maar niet
         worden getoetst”;                                                     volledig duidelijk over de technische invulling van deze aspecten.”
     2. de concurrentiegerichte dialoog, waarbij een dialoog wordt
         gehouden met de gegadigden. Deze dienen op basis van de               Op basis van het advies wordt besloten (vóór 7 september 2016):
         uitkomsten van de dialoog een inschrijving in. Deze werkwijze         “GGD Hollands Noorden, GGD Hollands Midden en GGDrU besteden de
         wordt gehanteerd bij “complexe opdrachten, of anders gezegd: als      bouw van een gezamenlijk GGD-dossier via een aanbesteding op basis van
         de aanbestedende dienst wel weet waar het met de opdracht heen        de concurrentie gerichte dialoog”.
         moet, maar nog niet precies weet hoe daar te komen (en dus overleg
         met de markt noodzakelijk of gewenst is).”




52           Klik hier om terug te gaan naar de tijdlijn.
</pre>

====================================================================== Einde pagina 52 =================================================================

<br><br>====================================================================== Pagina 53 ======================================================================

<pre>     Verdieping A | tijdlijn, mijlpalen & beslismomenten (H3)


     1. Voorbereiding | d. GGD regio Utrecht sluit aan & e. GGD
     Twente sluit aan
     ▹ In de regio Utrecht was men al sinds 2014 in gesprek over een DD    ▹ Enkele weken later besluit de DPG van GGD Twente dat zij zich ook
       JGZ. In de AB-vergaderingen van de GGD regio Utrecht is in            aansluiten bij de samenwerking. Zij hadden net als de anderen op
       voorbereiding op aansluiting meermaals over het DD JGZ                dat moment MLCas, moesten op korte termijn aanbesteden en
       gesproken. Daarbij werd de mogelijkheid gesignaleerd dat voor een     konden zich volledig vinden in de visie van de andere GGD’en. Op
       nieuw DD JGZ mogelijk deelname aan een ander rechtspersoon            basis daarvan werd de afweging gemaakt om hierin gezamenlijk op
       nodig zou zijn en dat de Gemeenschappelijke Regeling daar op dat      te trekken, in plaats van alleen te opereren.
       moment niet in voorzag en hiervoor aangepast moet worden.
     ▹ Het AB van de GGDrU stemt op 30 juni 2016 in met de
       aanbesteding/ontwikkeling van het DD JGZ in samenwerking met de
       GGD-en Hollands Noorden en Hollands Midden (zie ook het
       overzicht van besluiten).
     ▹ Vanaf juli neemt de GGD regio Utrecht deel aan de Taskforce.




53           Klik hier om terug te gaan naar de tijdlijn.
</pre>

====================================================================== Einde pagina 53 =================================================================

<br><br>====================================================================== Pagina 54 ======================================================================

<pre>     Verdieping A | tijdlijn, mijlpalen & beslismomenten (H3)


     1. Voorbereiding | f. Funderend overleg directeuren
     publieke gezondheid
     Op 9 september 2016 komen de vier directeuren publieke
     gezondheid* samen voor een ‘funderend overleg’ rondom het DD JGZ.
     Daarin:
     ▹ delen zij hun ambities gezamenlijke doel en waar zij staan in het
       proces daarnaartoe (zie ook de intentieverklaring 1.f)
     ▹ verlenen zij decharge aan de oude programmastructuur (van de
       samenwerking tussen Hollands Midden en Hollands Noorden) en
       de Taskforce GGD-dossier.
     ▹ bespreken zij de samenstelling van de stuurgroep voor de nieuwe
       samenwerking.




54           Klik hier om terug te gaan naar de tijdlijn.       *Dit is in Hollands Noorden een andere persoon dan de huidige DPG.
</pre>

====================================================================== Einde pagina 54 =================================================================

<br><br>====================================================================== Pagina 55 ======================================================================

<pre>     Verdieping A | tijdlijn, mijlpalen & beslismomenten (H3)


     1. Voorbereiding | g. Intentieverklaring betrokken GGD’en

     Intentieverklaring                                                          Om deze intenties in de praktijk te kunnen brengen, richten zij een
     Op 22 september 2016 ondertekenen de directeuren publieke                   gezamenlijk programma in.
     gezondheid van de vier GGD’en een gezamenlijke intentieverklaring.          Samenwerkingsovereenkomst
     Hierin geven zij aan                                                        Op 3 februari 2017 wordt deze intentieverklaring opgevolgd door een
     ▹ dat zij de gezamenlijke ambitie hebben om het applicatielandschap         samenwerkingsovereenkomst tussen de (inmiddels) drie GGD’en, met
       voor GGD’en te verbeteren, versimpelen en harmoniseren. Dit               daarin een nadere uitwerking. Daarin staat o.a.: “de drie ggd’en hebben
       betreft in het bijzonder de applicaties voor bedrijfsvoering, planning    besloten om samen een nieuwe DD JGZ te ontwikkelen, dat toegespitst is op
       en roostering en het cliëntdossier.                                       de specifieke JGZ activiteiten”.
     ▹ Als eerste stap richting de verwezenlijking van deze ambitie willen zij
                                                                                 Voor de verwezenlijking van het GGD-burgerdossier wordt
       tot één GGD-burgerdossier komen.
                                                                                 onderscheid gemaakt in twee fasen. Fase 1 heeft betrekking tot het
     ▹ De ambitie is verder om het burgerdossier voor zoveel mogelijk            digitaal dossier JGZ, fase 2 betreft de uitbreiding naar een volledig
       inwoners van Nederland gelijk te willen maken.                            GGD-dossier (dus inclusief de andere taken van de GGD’en).
     Zij besluiten hiertoe gezamenlijk het DD JGZ aan te kopen en                Daarnaast wordt de laatstgenoemde ambitie van de intentieverklaring
     implementeren als eerste stap naar dat GGD-burgerdossier. Hiervoor          geconcretiseerd, door de juridische vorm van de samenwerking te
     wordt een gezamenlijk programma ingericht.                                  expliciteren: “een coöperatie maakt het kunnen toetreden van andere
     Zij geven tot slot aan dat ze van mening zijn dat zij voor dit alles        GGD’en in de toekomst mogelijk zonder een aanbestedingsprocedure.”.
     ‘inrichtingsautonomie’ nodig hebben ten opzichte van de leverancier.



55           Klik hier om terug te gaan naar de tijdlijn.
</pre>

====================================================================== Einde pagina 55 =================================================================

<br><br>====================================================================== Pagina 56 ======================================================================

<pre>     Verdieping A | tijdlijn, mijlpalen & beslismomenten (H3)


     1. Voorbereiding | h. GGD Hollands Midden stapt uit de
     samenwerking
     ▹ December 2016: Hollands Midden uit in de stuurgroep haar                      Hierdoor bleek het programma JGZ-dossier in de afgelopen tijd steeds
       bedenkingen over het proces van de afgelopen tijd.                            meer energie en meer tijd te vergen, hetgeen extra risico voor het slagen en
     ▹ 13 januari 2017: de directeuren van de op dat moment vier                     succesvol afronden van dit traject met zich meebrengt.”
       betrokken GGD’en evalueren het proces van de voorbije maanden.
       In dit overleg wordt besloten dat Hollands Midden uit de
       samenwerking stapt.
     ▹ 19 januari 2017: de directie van de GGD Hollands Midden meldt
       haar AB dat “Geconstateerd is dat over de visie en het eindresultaat dat
       ons voor ogen staat met het programma JGZ-dossier volledige
       overeenstemming is, doch dat over de weg daar naar toe door de
       verschillende organisaties verschillend wordt gedacht.

       GGD Hollands Midden staat een andere benadering voor van het proces
       om tot het eindresultaat te komen dan GGD Hollands Noorden, GGD
       regio Utrecht en GGD Twente, in die zin dat GGD Hollands Midden meer
       inhoudelijke zekerheden aan de voorkant van het proces geborgd wil
       zien. Dit vanwege de ervaring in het vorige traject dat het lastig is scope
       en doelen van een dergelijk programma bij te stellen.



56           Klik hier om terug te gaan naar de tijdlijn.
</pre>

====================================================================== Einde pagina 56 =================================================================

<br><br>====================================================================== Pagina 57 ======================================================================

<pre>     Verdieping A | tijdlijn, mijlpalen & beslismomenten (H3)


     2. Marktoriëntatie & aanbesteding | a. start
     aanbesteding
     ▹ Op 16 februari 2017 wordt de aanbesteding aangekondigd op
       Tenderned.
     ▹ Partijen kunnen zich aanmelden (‘Verzoek tot deelneming’). Zij
       moeten aantonen over een aantal competenties te beschikken, zie
       2.b Selectie verderop.
     ▹ Er wordt, na hierover juridisch advies ingewonnen te hebben,
       gekozen voor een aanbestedingstraject waarin sprake is van een
       concurrentiegerichte dialoog. Daarin kunnen potentiële leveranciers
       meepraten en -denken over de nadere explicitering van de opdracht.
       Dat kan in het bijzonder waarde hebben bij een complexe behoefte,
       waarbij de opdrachtgever wel scherp heeft waar zij heen wil, maar
       nog niet precies weet hoe daar te komen. De overwegingen hierbij
       waren dat –in het licht van de eerdere ervaringen– het uiteindelijke
       resultaat (een zo goed mogelijk aanbod dat tegemoet komt aan de
       behoefte van de opdrachtgever) belangrijkrijker moest zijn dan de
       snelheid van het proces.




57         Klik hier om terug te gaan naar de tijdlijn.
</pre>

====================================================================== Einde pagina 57 =================================================================

<br><br>====================================================================== Pagina 58 ======================================================================

<pre>     Verdieping A | tijdlijn, mijlpalen & beslismomenten (H3)


     2. Marktoriëntatie & aanbesteding | a. start aanbesteding
     (vervolg)
     Aan de start van het aanbestedingstraject werden in een gedeelde visie verschillende eisen gedefinieerd aan het nieuwe dossier.
     Het DDJGZ moet in deze visie:
     ▹ Aansluiten bij verdergaande digitalisering en flexibilisering in de maatschappij
     ▹ Plaats- en tijdsonafhankelijk beschikbaar zijn
     ▹ Een systeem zijn waarin de cliënt zelf regie kan voeren
     Deze visie is vertaald naar 3 doelen op hoofdlijnen, die uiteen vallen in een aantal kernpunten:

                                                                ▹ Cliënten kunnen hun afspraak online maken of wijzigen
          Client kan snel en eenvoudig eigen gegevens
                                                                ▹ 50% van de afspraken wordt online gemaakt
                           benaderen                            ▹ Cliënt kan de regie voeren over zijn eigen gezondheidsinformatie

                                                                ▹ Toegang tot het digitaal dossier is tijd en plaats onafhankelijk
                                                                ▹ Gebruiksvriendelijk en performant systeem dat logisch aansluit
                                                                  bij het werkproces van de Professional                             Deze eisen zijn in de
         Professional ondersteunen bij de taakuitvoering
                                                                ▹ Het systeem biedt mogelijkheden voor beslisondersteuning en        offerteaanvraag in meer
                                                                  het toepassen van kunstmatige intelligentie op basis van           detail uitgewerkt in:
                                                                  beschikbare data en voorwaarden
                                                                                                                                     ▹ Specificaties
         GGD is een solide partner voor gemeenten en            ▹ Real-time beschikbare gegevens t.b.v. rapportage voor teams,       ▹ Epics/Use cases
      Netwerkpartners door delen van relevante informatie         management, gemeenteniveau en Netwerkpartners                      ▹ Vereiste Koppelvlakken


58          Klik hier om terug te gaan naar de tijdlijn.
</pre>

====================================================================== Einde pagina 58 =================================================================

<br><br>====================================================================== Pagina 59 ======================================================================

<pre>     Verdieping A | tijdlijn, mijlpalen & beslismomenten (H3)


     2. Marktoriëntatie & aanbesteding | b. Selectie

     ▹ Er hebben zich 8 partijen geïnteresseerd getoond voor deze
       aanbesteding (‘verzoek om deelname’). Deze 8 partijen zijn aan de
       hand van een aantal criteria rondom competenties en ervaring           Selectiecriterium                                        Punten
       beoordeeld. Zie de tabel rechts.                                       Benodigd aantal referenties om aan                            30
     ▹ Op basis van deze criteria is één van de partijen niet geselecteerd.   competentie eisen te kunnen voldoen
       De overige 7 zijn voor de dialoogronde uitgenodigd.                    Ervaring met ontwikkelen cliëntportaal voor de                15
                                                                              gezondheidszorg
                                                                              Ervaring met ontwikkelen software gelaagd dossier             10
                                                                              Ervaring met ontwikkelen software t.b.v. een GBZ              10
                                                                              Ervaring met software in de acceptatiefase VZVZ               10
                                                                              Ervaring met de conversie van data                            10
                                                                              Ervaring met gelijktijdige software                               5
                                                                              implementatie bij meerdere organisaties
                                                                              Ervaring met ontwikkelen software Third Party                     5
                                                                              Compatibility
                                                                              Ervaring met ontwikkelen software voor veel klanten en            5
                                                                              medewerkers

59          Klik hier om terug te gaan naar de tijdlijn.                      Aantoonbare bijdrage aan Social return                        10
</pre>

====================================================================== Einde pagina 59 =================================================================

<br><br>====================================================================== Pagina 60 ======================================================================

<pre>     Verdieping A | tijdlijn, mijlpalen & beslismomenten (H3)


     2. Marktoriëntatie & aanbesteding | c.
     Dialooggesprekken
     ▹ Van de 7 partijen die voor de dialoogronde uitgenodigd zijn, nemen
       er 6 deel aan de dialooggesprekken.
     ▹ Op basis van deze gesprekken zijn er vier nota’s van inlichtingen
       gepubliceerd, waarin de vereisten aan leveranciers en omschrijving
       van de vraag aangepast of nader beschreven is.
     ▹ De belangrijkste wijziging naar aanleiding de dialooggesprekken was
       een aanpassing van de beoogde livegang naar december 2018. Dit
       omdat de streefdatum van livegang per april 2018 voor geen van de
       deelnemers haalbaar was.




60          Klik hier om terug te gaan naar de tijdlijn.
</pre>

====================================================================== Einde pagina 60 =================================================================

<br><br>====================================================================== Pagina 61 ======================================================================

<pre>     Verdieping A | tijdlijn, mijlpalen & beslismomenten (H3)


     2. Marktoriëntatie & aanbesteding | d. Indienen
     definitieve conceptoplossingen
     ▹ Van de 6 partijen die aan de dialooggesprekken deelgenomen
       hebben, dienen er 5 op 22 juni een ’definitieve conceptoplossing’ in.
       Deze worden beoordeeld op een aantal criteria.
     ▹ Op basis van deze beoordeling worden 4 partijen uitgenodigd om
       een offerte te schrijven. De vijfde partij wordt niet uitgenodigd
       omdat zij de laagste beoordeling op de vereiste criteria heeft (prijs
       en kwaliteit). Dit komt o.a. omdat zij met de veruit hoogste prijs
       indiende.
     ▹ Het besluit over uitnodiging voor de offertefase wordt op 30 juni
       2016 genomen.




61          Klik hier om terug te gaan naar de tijdlijn.
</pre>

====================================================================== Einde pagina 61 =================================================================

<br><br>====================================================================== Pagina 62 ======================================================================

<pre>     Verdieping A | tijdlijn, mijlpalen & beslismomenten (H3)


     2. Marktoriëntatie & aanbesteding | e. Afgewezen
     bezwaar
     ▹ Eén partij was op basis van haar definitieve conceptoplossing niet                onduidelijke en onbepaalbare specificaties van de opdracht, zich geen
       uitgenodigd om een offerte te schrijven. Deze partij heeft een kort               goed beeld vormen van de opdracht. Dit blijkt uit de lage prijzen
       geding aanhangig gemaakt. Dit diende op 30 augustus 2017 in de                    waarmee zij hebben ingeschreven.”
       rechtbank.                                                                      ▹ “Hierdoor is van een eerlijke mededinging geen sprake en is bij
     ▹ Deze partij eiste daarbij dat de GGD’en de aanbesteding in te                     voorbaat te verwachten dat de opdracht na gunning wezenlijk
       trekken en opnieuw aan te besteden, of de betreffende partij alsnog               gewijzigd zal moeten worden om alle onduidelijke en onbepaalde
       uit te nodigen om een offerte te schrijven*.                                      onderdelen gerealiseerd te krijgen.”
     ▹ De argumentatie die zij hiervoor aandraagt is o.a.* dat                         ▹ “[…] heeft de GGD niet gecontroleerd of de aangeboden prijzen
       ▹ “de opdracht onvoldoende eenduidig en bepaalbaar is, omdat met                  realistisch en niet abnormaal laag, strategisch of manipulatief zijn en
          name de uitgevraagde koppelvlakken onvoldoende zijn gespecificeerd.            is de GGD hiertoe ook niet in staat omdat de opdracht onvoldoende
          Zij stelt dat zijzelf als marktleider en gelet op haar ervaring met een        bepaalbaar is.”
          reeds eerder door haar ontwikkeld DD JGZ-systeem desondanks in             ▹ Op 13 september is het vonnis uitgesproken. De rechter heeft de
          staat is een aanbieding te doen, maar dat zij gezien de ontbrekende          GGD’en daarin gelijk gegeven, zij zag “onvoldoende
          specificaties van een aantal koppelvlakken in de aangeboden prijs een        aanknopingspunten […] om aan te nemen dat de andere deelnemers
          risico-opslag heeft moeten opnemen.”                                         hebben ingeschreven met prijzen die niet realistisch zijn en dat zij niet
       ▹ “omdat deze termijn [2 april 2018] hiervoor te kort is en als                 aan de uitvoeringseisen zullen kunnen voldoen”.
          onevenredig moet worden aangemerkt” […] “kunnen de [andere
          partijen], omdat zij nog geen ervaring hebben met het ontwikkelen en
          implementeren van een DD JGZ-systeem in combinatie met de

                                                                   *Daarnaast waren er nog andere vorderingen, resp. argumenten.
62          Klik hier om terug te gaan naar de tijdlijn.           We hebben ons hier beperkt tot de belangrijkste.
</pre>

====================================================================== Einde pagina 62 =================================================================

<br><br>====================================================================== Pagina 63 ======================================================================

<pre>     Verdieping A | tijdlijn, mijlpalen & beslismomenten (H3)

     2. Marktoriëntatie & aanbesteding | h. (Voorlopige) gunning

     ▹ Alle drie de offertes werden door een commissie beoordeeld.
       Daarvoor werden de volgende criteria gehanteerd:
     ▹ De leverancier waar de opdracht uiteindelijk aan gegund is, had de
       hoogste score op deze beoordeling.

     Prijs         Aanneemsom ontwikkeling en implementatie 3
                   GGD’en
                   Uurtarieven functionarissen voor doorontwikkeling en
                   extra werkzaamheden
                   Prijs-staffel voor het eventueel aansluiten andere
                   GGD’en
     Kwaliteit     Ontwikkel- en implementatieplan
                   Kansen- en risicodossier
                   Visie op de door Aanbestedende Dienst gewenste
                   invloed op doorontwikkeling
                   Visie op voorkomen van budgetoverschrijding


63           Klik hier om terug te gaan naar de tijdlijn.
</pre>

====================================================================== Einde pagina 63 =================================================================

<br><br>====================================================================== Pagina 64 ======================================================================

<pre>     Verdieping A | tijdlijn, mijlpalen & beslismomenten (H3)


     3a. Ontwikkeling (beginfase)| a. Ontwikkelovereenkomst

     ▹ Op 18 januari 2018 sluiten de leverancier en GGDrU (namens de
       drie GGD’en) een ontwikkelovereenkomst. Dit is de primaire basis
       voor wat van beide partijen verwacht wordt.
     ▹ Hierin wordt een groot aantal aspecten vastgelegd, zoals:
       ▹ functionele eisen en specificaties aan het eindproduct
       ▹ de projectplanning voor de totstandkoming ervan
       ▹ plaatsvinden van functionele testen vanuit de GGD op releases,
          en uitvoeren van onafhankelijke audits
       ▹ afspraken over meer- en minderwerk
       ▹ de projectorganisatie.
     ▹ Deze afspraken fungeerden als de onderlinge basis voor de
       ontwikkeling van het GGiD.




64          Klik hier om terug te gaan naar de tijdlijn.
</pre>

====================================================================== Einde pagina 64 =================================================================

<br><br>====================================================================== Pagina 65 ======================================================================

<pre>     Verdieping A | tijdlijn, mijlpalen & beslismomenten (H3)


     3a. Ontwikkeling (beginfase)| c. Eerste release niet
     door acceptatietest
     ▹ Bij de gebruikersacceptatietest (GAT) testen de medewerkers van de
       het GGD’en die in het Kernteam Bouw (KTB, onderdeel van de
       programmastructuur) zitten, wat op dat moment opgeleverd is.
     ▹ Zij voeren daarbij zoveel als mogelijk hun werk uit zoals zij normaal
       zouden doen (op basis van fictieve cliënten – ouders en kind(eren))
       en registreren wat zij daarbij tegenkomen (‘issues’).
     ▹ Deze issues worden ingedeeld in verschillende categorieën, al naar
       gelang de ernst ervan (blokkerend, hoogste, hoog, medium, laag).
       De issues worden gemeld bij de leverancier, die er vervolgens mee
       aan de slag gaat.
     ▹ Al vanaf 15 juli 2018 (en mogelijk eerder) vinden er zulke GAT’s
       plaats, op tussenproducten (‘sprints’).
     ▹ Op 1 oktober 2018 zou release 1.0.0 gepubliceerd moeten worden,
       dit wordt later (10 december 2018), maar ook dan blijkt het dossier
       nog niet gereed voor implementatie.




65          Klik hier om terug te gaan naar de tijdlijn.
</pre>

====================================================================== Einde pagina 65 =================================================================

<br><br>====================================================================== Pagina 66 ======================================================================

<pre>     Verdieping A | tijdlijn, mijlpalen & beslismomenten (H3)


     3a. Ontwikkeling (beginfase)| d. Scenario’s vervolg

     ▹ Op 21 januari 2019 bespreekt de stuurgroep een memo met daarin         ▹ Voor deze scenario’s is de bestuurlijke, financiële en juridische
       een aantal scenario’s voor het vervolg. Dit memo was ingegeven           impact in beeld gebracht, maar ook de gevolgen meer algemeen,
       door het ‘niet kunnen afronden van de acceptatie’.                       bijvoorbeeld richting medewerkers.
     ▹ De scenario’s waren:                                                   ▹ Op basis van deze analyse werd scenario 2.b. geadviseerd aan de
       1. Samenwerking met de leverancier stoppen                               DPG’en.
            a.   samenwerking met leverancier stoppen op basis van een        ▹ In een iets latere fase zijn ook in bestuurlijke context scenario’s
                 juridisch traject;                                             besproken. In hoeverre die samenhangen met deze scenario’s,
            b.   Samenwerking met leverancier stoppen in onderling              kunnen wij niet gaan.
                 overleg;
       2. Doorgaan met de samenwerking
            a.   Doorgaan op basis van de huidige aanpak inclusief inhoud
                 en planning;
            b.   Doorgaan op basis van een gewijzigde aanpak;
            c.   Optioneel: inzetten van juridisch instrument bij opties 2a
                 en 2b.




66          Klik hier om terug te gaan naar de tijdlijn.
</pre>

====================================================================== Einde pagina 66 =================================================================

<br><br>====================================================================== Pagina 67 ======================================================================

<pre>     Verdieping A | tijdlijn, mijlpalen & beslismomenten (H3)


     3a. Ontwikkeling (beginfase)| e. Functionele acceptatie

     ▹ Een versie van het GGiD die op 23 januari 2019 in gebruik zou          N.B. De eerste volledige release zou initieel getest worden bij de GGD
       worden genomen bij Hollands Noorden werd functioneel                   Hollands Noorden. Nadat de implementatie twee keer op het laatste
       geaccepteerd.                                                          moment geannuleerd moest worden, heeft GGD Hollands Noorden
     ▹ De eerder opgeleverde versie leidde tot een non-acceptatie. Daarop     aangegeven niet meer als eerste te willen implementeren. GGD regio
       volgt contractueel een hertest. Echter, ook deze versie was nog niet   Utrecht (team IJsselstein) nam deze rol over voor de volgende release.
       functioneel.
     ▹ De GGD’en hebben ervoor gekozen niet wederom een non-
       acceptatie af te geven, vanuit de overweging dat bij een tweede
       non-acceptatie tot ontbinding kon worden overgegaan
       (overeenkomstig de implementatieovereenkomst, artikel 11.10).
       Hiertoe is niet besloten in lijn met het gekozen scenario ‘doorgaan
       met de samenwerking’ (zie vorige pagina).
     ▹ De GGD’en hebben daarom een functionele acceptatie onder
       voorwaarden afgegeven, om zo het ‘stop-scenario’ te voorkomen.




67          Klik hier om terug te gaan naar de tijdlijn.
</pre>

====================================================================== Einde pagina 67 =================================================================

<br><br>====================================================================== Pagina 68 ======================================================================

<pre>     Verdieping A | tijdlijn, mijlpalen & beslismomenten (H3)


     3b. Ontwikkeling (vervolgfase) | a. Voorlopige
     ingebrekestelling
     ▹ Op 2 oktober 2019 versturen de GGD’en een voorlopige                        ▹ Zij vervolgen: “Indien […] niet alsnog binnen die termijn als vermeld in
       ingebrekestelling / aanmaning in de vorm van een aangetekende                 bijlage 2 mocht zijn nagekomen, achten wij ons volledig vrij om de
       brief. Eerder (begin 2018) hebben de GGD’en al mogelijke stappen              maatregelen te treffen die ons noodzakelijk voorkomen, en behouden wij
       voor een ingebrekestelling bij de leverancier aangekondigd.                   ons onder meer het recht voor om tot ontbinding van de overeenkomst
     ▹ Een ingebrekestelling is een mededeling aan een partij waarmee en             over te gaan en schadevergoeding te verlangen.”
       overeenkomst is, in het geval dat deze partij de overeenkomst niet
       (voldoende) naleeft.
     ▹ De GGD’en uiten in de voorlopige ingebrekestelling hun zorgen op
       het uitblijven van actie aan de kant van de leverancier. Dit o.a. op
       het gebied van tijd, scope, geld, kwaliteit, voortgang en
       projectbeheersing.
     ▹ Zij stellen: “[…] voorlopig in gebreke ten aanzien van […] verplichtingen
       en geven […] de termijn […] om de […] verplichtingen alsnog na te
       komen, waaronder in het bijzonder (maar niet beperkt tot) het
       aanleveren van een volledig plan van aanpak en het verstrekken van de
       toegezegde onderbouwingen.”. Hiervoor zou op 8 oktober een
       conceptversie van dit plan van aanpak moeten liggen, waarover op
       22 oktober besluitvorming plaats moest vinden.



68          Klik hier om terug te gaan naar de tijdlijn.
</pre>

====================================================================== Einde pagina 68 =================================================================

<br><br>====================================================================== Pagina 69 ======================================================================

<pre>     Verdieping A | tijdlijn, mijlpalen & beslismomenten (H3)


     3b. Ontwikkeling (vervolgfase) | b. Addendum

     ▹ Op 31 januari 2020 ondertekenen beide partijen een addendum.
       Dit is een aanvulling op de eerste vastgestelde
       ontwikkelovereenkomst.
     ▹ Onderdeel van het addendum is een projectplan van de leverancier.
       Dit beschrijft hoe de leverancier voor het einde van het jaar een
       functioneel GGiD oplevert.
     ▹ Daarnaast maken de partijen een aantal nadere afspraken met
       elkaar, bijvoorbeeld over dat de reikwijdte (‘scope’) van het dossier
       niet uitgebreid zal worden gedurende de looptijd en over uitloop en
       meerwerk.
     ▹ Dit vroeg van zowel GGD’en (zie Verklaring A.4.a) als leverancier een
       aanvullende investering.




69          Klik hier om terug te gaan naar de tijdlijn.
</pre>

====================================================================== Einde pagina 69 =================================================================

<br><br>====================================================================== Pagina 70 ======================================================================

<pre>     Verdieping A | tijdlijn, mijlpalen & beslismomenten (H3)


     3b. Ontwikkeling (vervolgfase) | e. Uitkomst bindende
     adviesprocedure
     ▹ Op basis van de release van 28 februari 2021 bestond onenigheid            functionaliteit
       tussen beide partijen.                                                ▹ Van deze 30 punten werden er 7 als ‘blokkerend’ aangemerkt en 3
     ▹ Twee onafhankelijk adviseurs is de gevraagd om een oordeel te           als ‘’niet blokkerend’. Daarnaast deden de adviseurs uitspraak over
       geven over 1) 30 scope-items binnen het werkpakket van de release       de verschillende interpretaties door partijen over uitspraken van de
       van 28-2-2021, welke bedoeld is voor livegang en 2) over de 'scope-     stuurgroep. De adviseurs gaven daarnaast mee dat het “duidelijk [is]
       delta' om een einde te maken aan hun verschil van inzicht over          dat Partijen nog altijd streven naar ingebruikname van GGiD.
       hetgeen al dan niet nog moet worden (na)geleverd door de                Hiertoe hebben partijen op meerdere momenten constructief aan
       leverancier om te voldoen aan de tussen partijen geldende               oplossingen gewerkt, zoals bijvoorbeeld de uitruil en de
       (contract)afspraken.                                                    taakstellende bezuiniging.”
     ▹ De bevindingen werden opgedeeld in 5 categorieën:                     ▹ Begin november werd de conceptuitkomst van de procedure
       ▹ Opgelost: Punt is opgelost                                            opgeleverd, de GGD’en en de leverancier hebben hierop
       ▹ Blokkerend: onderdeel van de resultaatsverplichting, essentieel       gereageerd, waarna op 23 november het definitieve rapport is
          voor ingebruikname                                                   opgeleverd.
       ▹ Niet blokkerend: onderdeel van de resultaatsverplichting, niet      ▹ Tussen de GGD’en en de leverancier bestonden
          essentieel voor ingebruikname, moet met prioriteit gerealiseerd      interpretatieverschillen op een paar punten. De GGD’en hebben de
          worden na ingebruikname                                              leverancier uitgenodigd hierover in gesprek te treden. De
                                                                               leverancier heeft dit aanbod afgewezen.
       ▹ Onderhoud: klein probleem, in normale onderhoudscyclus
          verhelpen
       ▹ Wens: niet afgesproken, wel handig of noodzakelijk, aanvullende

70          Klik hier om terug te gaan naar de tijdlijn.
</pre>

====================================================================== Einde pagina 70 =================================================================

<br><br>====================================================================== Pagina 71 ======================================================================

<pre>     Verdieping A | tijdlijn, mijlpalen & beslismomenten (H3)


     3b. Ontwikkeling (vervolgfase) | j. Verzoek afgewezen

     ▹ De GGD’en dienen in maart ‘22 een verzoek bij de rechtbank             ▹ De rechter gaat hier echter niet in mee; de leverancier had
       Midden-Nederland in voor een voorlopig deskundigenbericht (artikel       bijvoorbeeld niet redelijkerwijs kunnen afleiden dat de GGD’en deze
       202 e.v. Wetboek van Burgerlijke Rechtsvordering).                       interpretatie hanteerden.
     ▹ Dit is een instrument waarin een deskundige een uitlating kan doen
       over een situatie, dit om inzicht te krijgen in de kansen en
       meerwaarde van een procedure.
     ▹ Om een voorlopige deskundigenbericht te kunnen toewijzen, moet
       aan drie eisen voldaan zijn: (1) het is ter zake dienend, (2) het is
       voldoende concreet, en (3) het betreft feiten die met een
       deskundigenonderzoek bewezen kunnen worden.
     ▹ De rechter draagt als reactie op het verzoek aan dat de partijen
       gebruik gemaakt hebben van een bindende adviesprocedure en
       daarmee afgezien hebben van de mogelijkheid tot een gerechtelijke
       procedure.
     ▹ De GGD’en dragen als verweer aan dat de bindende
       adviesprocedure slechts betrekking had op een deel van het
       programma van eisen en het afzien wat hen betreft daarom niet
       voor het hele programma van eisen geldt.



71          Klik hier om terug te gaan naar de tijdlijn.
</pre>

====================================================================== Einde pagina 71 =================================================================

<br><br>====================================================================== Pagina 72 ======================================================================

<pre>     Inhoudsopgave


     1.   Samenvatting

     2.   Introductie: aanleiding, opdracht en methode

     3.   Reconstrueren: tijdlijn, mijlpalen & beslismomenten

     4.   Begrijpen: bevorderende en belemmerende factoren in proces

     5.   Leren & borgen: lessen en aanbevelingen voor de toekomst

     6.   Verdieping B | bevorderende en belemmerende factoren (H4)

     7.   Bijlagen


72
</pre>

====================================================================== Einde pagina 72 =================================================================

<br><br>====================================================================== Pagina 73 ======================================================================

<pre>     Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


     Bevorderende factoren | visueel overzicht
                                                                                                                          Klik op een verklaring
     We hebben vijf bevorderende factoren geïdentificeerd. Deze zijn in                                                  voor nadere uitwerking
     het schema hiernaast weergegeven, zie de leeswijzer voor                                                                    daarvan
     toelichting op het schema. Klikken op een bevorderende factor leidt                      1. Gedeelde visie tussen
     je meteen naar de betreffende uitwerking.                                                       GGD’en


                                                                                                 2. Professionele
                                                                                              programma-organisatie


                                                                                                3. Goede onderlinge
                                                                      Bevorderende factoren   samenwerking tussen de      Geloof in bijdrage
                                                                                                      GGD’en                 product aan
                                                                                                                         maatschappelijke taak
                                                                                              4. Gedreven bemensing,           GGD’en
                                                                                               die er alles aan gedaan
                                                                                                       hebben
                                                                                                                          B.2.a. Hoge drempel
                                                                                                                           voor falend project
                                                                                              5. Verschillende vormen
                                                                                                 van risicomitigatie




73
</pre>

====================================================================== Einde pagina 73 =================================================================

<br><br>====================================================================== Pagina 74 ======================================================================

<pre>     Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


     Bevorderende factor 1: gedeelde visie

     Verklaring                                                                ▹ Vanuit een groot aantal gesprekken zijn ons geen signalen ter ore
     Het spreekt voor zich dat drie samenwerkende GGD’en die                     gekomen dat er gedurende het ontwikkelproces onderlinge
     onderling eensgezind zijn over wat het resultaat van deze                   onenigheid was over de richting waarop het GGiD heen moest.
     samenwerking moet zijn, doelgerichter werken dan wanneer dit niet
     het geval is.
                                                                               Deelverklaringen
                                                                               Geen
     Ondersteunende bevindingen
     Waaruit blijkt dat er een gedeelde visie was?
     ▹ Al in de eerste fase is er een gezamenlijke intentieverklaring
       opgesteld met daarin op hoofdlijnen wat de GGD’en gezamenlijk
       beogen: een digitaal dossier waarmee o.a. “inwoners […] de eigen
       vrijgegeven gegevens uit het dossier kunnen inzien […] met een ander
       te delen, zelf afspraken te maken […], waarbij het dossier van de
       inwoner op iedere werkplek altijd beschikbaar is en gegevens eenmalig
       worden vastgelegd.”
     ▹ Deze intentieverklaring is vertaald naar een gezamenlijk
       beschrijvend document voor de aanbesteding.



          Terug naar de samenvatting
74
          Terug naar lessen bevorderende factoren
</pre>

====================================================================== Einde pagina 74 =================================================================

<br><br>====================================================================== Pagina 75 ======================================================================

<pre>     Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


     Bevorderende factor 2: professionele programma-
     organisatie (1/2)
     Verklaring                                                                 stuurgroep kwam met grote regelmaat bijeen en stuurde de
     Er was een eigenstandige programmaorganisatie ingericht om de              programmamanager aan. De programmamanager stuurde weer
     bouw, het testen en de implementatie van het GGiD te begeleiden            verschillende teams aan, samengesteld uit medewerkers van de
     en aansturing van en afstemming met de leverancier te verzorgen.           drie GGD’en, aangevuld met externen. Elk van de GGD’en had
     Deze organisatie was overkoepelend voor de drie GGD’en. Deze               verder een eigen implementatieteam, dat verantwoordelijk was
     organisatie vormde de schakel tussen GGD’en en leverancier. De             voor de implementatie van het product bij de GGD in kwestie,
     kwaliteit van het werk van deze organisatie is dus van groot belang in     rekening houdend met de eigen specifieke context. De
     de totstandkoming van het beoogde product.                                 programmamanager werd ondersteund door een
                                                                                programmabureau.
     Ondersteunende bevindingen
                                                                              ▹ Belangrijk voor de ontwikkeling was de product owner aan de kant
     Waaruit blijkt dat er sprake van een professionele programma-              van de GGD’en. Deze prioriteerde de eisen en wensen vanuit de
     organisatie was?                                                           organisatie en vormde de (technische) schakel tussen GGD’en en
     ▹ Alle essentiële niveaus binnen de GGD’en en functionarissen              de leverancier.
       binnen die niveaus hadden een plek in of verbinding met de             ▹ Het programmabureau deed de procescoördinatie en gaf
       programma-organisatie.                                                   statusupdates aan de stuurgroep. De stuurgroep legde op haar
     ▹ Het organogram hiervan is twee pagina’s verderop weergegeven.            beurt verantwoording af aan de drie DPG’en in het directieoverleg.
       Belangrijk onderdeel hiervan was een stuurgroep van directeuren        ▹ Op verschillende ‘niveau’s’ van dit organogram waren er
       / managers van de GGD’en, die onder de directie viel. Deze               afstemmingslijnen met de leverancier.



          Terug naar de samenvatting
75
          Terug naar lessen bevorderende factoren
</pre>

====================================================================== Einde pagina 75 =================================================================

<br><br>====================================================================== Pagina 76 ======================================================================

<pre>     Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


     Bevorderende factor 2: professionele programma-
     organisatie (2/2)
     Ondersteunende bevindingen (vervolg)                                    ▹ Ook de gehanteerde werkwijze (aansturing, onderlinge
     Waaruit blijkt dat er sprake van een professionele programma-             communicatie, uitgebreide en doorlopende risicoanalyses,
     organisatie was?                                                          informatievoorziening) én de archivering daarvan bevestigen een
     ▹ Veel van de benodigde expertise voor de bemensing van deze              professionele werkwijze.
       organisatie is niet van huis uit aanwezig bij de GGD’en. Waar nodig
       is daarom gebruik gemaakt van (goed gekwalificeerde) externe          N.B. Zoals in het organogram te zien is, is de complexiteit van haar
       inhuur. Dit betrof o.a.:                                              opdracht weerspiegeld in de complexiteit van de organisatie.
       ▹ juridische expertise (tijdens hele traject, voor toetsing op
          zorgvuldigheid en rechtmatigheid van te nemen stappen)             Deelverklaringen
       ▹ Inkoopexpertise (tijdens aanbesteding)                              Geen
       ▹ Uitvoering van audits door externen (tijdens hele traject, voor
          een toets op o.a. interne kwaliteit en de mogelijkheid tot
          verbetering daarvan)
     ▹ De kwaliteit van (het werk door) de organisatie is op basis van
       alleen een dergelijk organogram moeilijk te beoordelen.
       Verschillende gesprekspartners (van binnen en buiten de GGD’en)
       hebben echter de kwaliteit van de organisatie onderstreept.



         Terug naar de samenvatting
76
         Terug naar lessen bevorderende factoren
</pre>

====================================================================== Einde pagina 76 =================================================================

<br><br>====================================================================== Pagina 77 ======================================================================

<pre>     Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


     Organogram programma-organisatie in bredere
     context
     Governance GGD’en                  Programmastructuur GGiD*                                                               Leverancier                      Legenda


                                               Directieoverleg                      Stuurgroep                  ****                     Delegatie
          Gemeenteraden**
                                              GGD’en (DPG’en)                       programma                                           leverancier
                                                                                                                                                                               Aansturing /
                                                                                                                                                                               verantwoording

            Colleges B&W                                                           Programma-                                         Projectleider                             Afstemming
                                             Werkgroep NUT***
            gemeenten**                                                              manager                                           leverancier
                                                                                                                                                                                Geven van input


         Algemeen besturen                                                                                                           Ontwikkelteam
                                             Programmabureau                      Product owner
              GGD’en                                                                                                                  leverancier



          Dagelijks besturen                Implementatieteams                   Kernteam bouw /                       Diverse interdisciplinaire
               GGD’en                          (één per GGD)                    Praktijk ToetsTeam                          werkgroepen




     * Het organogram is gedurende de looptijd enigszins gewijzigd. Dit organogram is op basis van een recentere versie. De figuur is enigszins vereenvoudigd voor de leesbaarheid. Niet
     weergegeven is bijvoorbeeld het portefeuillehoudersoverleg tussen de drie GGD’en (vanaf 2e helft 2019) en de ambtelijke klankbordgroep in de regio Utrecht.
     ** De GGD is een collegeregeling, wat betekent dat het algemeen bestuur (AB) bestaat uit leden van de colleges van B&W van de aangesloten gemeenten. Het AB neemt besluiten, maar heeft
     een inlichtingen- en verantwoordingsplicht richting de betrokken colleges en raden.
77   *** Concerncontrollers van de drie GGD’en.
     **** De bijeenkomsten met de stuurgroep kenden veelal een deel inclusief de delegatie van de leverancier, en een deel exclusief.
</pre>

====================================================================== Einde pagina 77 =================================================================

<br><br>====================================================================== Pagina 78 ======================================================================

<pre>     Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


     Bevorderende factor 3: goede onderlinge
     samenwerking
     Verklaring                                                               werkprocessen en context (bijvoorbeeld andere gebruikte
     Om gezamenlijk resultaten te boeken is het bevorderlijk wanneer de       programmatuur) op sommige punten verschillend waren. Eén
     onderlinge samenwerking in de praktijk goed is. Dit maakt het            gesprekspartner gaf in het bijzonder aan dat medewerkers in
     mogelijk om samen cruciale keuzes te maken, en samen problemen           geval van afwezigheid van hun collega van een andere GGD goed
     op te lossen.                                                            het standpunt van hun afwezige collega verwoordden en zich
                                                                              diens belang eigen gemaakt heeft.

     Ondersteunende bevindingen
     Waaruit blijkt dat er een goede onderlinge samenwerking was?          Deelverklaringen
     ▹ Zoals in het organogram te zien is, werkten er in verschillende     Geen
       gremia in de programma-organisatie medewerkers van de drie
       GGD’en samen: in het directieoverleg, stuurgroep, werkgroep NUT
       (concerncontrollers) en kernteam bouw / praktijktoetsteam
       (professionals). Ook was er (in een latere periode) een overleg
       tussen de drie portefeuillehouders en DPG’en.
     ▹ Verschillende gesprekspartners hebben aangegeven dat er
       gedurende de samenwerking sprake was van grote
       eensgezindheid tussen de (medewerkers van de) GGD’en in hoe
       het eindproduct eruit moest komen te zien, ondanks dat hun


         Terug naar de samenvatting
78
         Terug naar lessen bevorderende factoren
</pre>

====================================================================== Einde pagina 78 =================================================================

<br><br>====================================================================== Pagina 79 ======================================================================

<pre>     Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


     Bevorderende factor 4: gedreven programma-
     organisatie die er alles aan gedaan heeft (1/2)
     Verklaring                                                            ▹ Het kernteam bouw heeft in de beginperiode (enkele malen)
     De kansen op een succesvol project worden groter wanneer alle           aangekaart dat hun werkdruk hoog was, ook de inzet van de
     mogelijkheden om aan belemmerende factoren tegemoet te komen,           product owner was in die periode groter dan geraamd. Hiervoor
     verkend en ingezet worden. Binnen de mogelijkheden die                  werden maatregelen getroffen.
     betrokkenen hadden, hebben we de indruk dat ze er alles aan           ▹ De mogelijkheid van meerwerk die aanbestedingstechnisch
     gedaan hebben om dit project tot een succesvol einde te brengen.        mogelijk was, is aangewend.
     Ondersteunende bevindingen                                            ▹ In de periode nadat een eerste functionele versie van het GGiD
                                                                             opgeleverd had moeten zijn, maar niet was, zijn verschillende
     Waaruit blijkt dat de (programma-)organisatie(s) er alles aan heeft
                                                                             (juridische) instrumenten ingezet om de leverancier tot beweging
     gedaan heeft/hebben om het te laten werken?
                                                                             te krijgen: een ingebrekestelling, formulering van een gezamenlijk
     ▹ Hiervoor is een groot aantal bevindingen aan te dragen, we            addendum (waar notabene een nachtelijke onderhandeling voor
       hebben niet de illusie compleet te zijn met onderstaande              plaatsvond), en een bindende adviesprocedure. Een verzoek voor
       opsomming.                                                            een deskundigenbericht (als opmaat naar een rechtszaak) werd
     ▹ Er zijn in de beginperiode verschillende ‘praktische’ oplossingen     door de rechter afgewezen.
       toegepast om aan behoefte van de leverancier tegemoet te
       komen, zoals vervanging van de toenmalige product owner.            Opsomming loopt door op de volgende pagina.




          Terug naar de samenvatting
79
          Terug naar lessen bevorderende factoren
</pre>

====================================================================== Einde pagina 79 =================================================================

<br><br>====================================================================== Pagina 80 ======================================================================

<pre>     Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


     Bevorderende factor 4: gedreven programma-
     organisatie die er alles aan gedaan heeft (2/2)
     Ondersteunende bevindingen (vervolg)                                    N.B. Deze bevorderende factor heeft op haar beurt ook bijgedragen
     ▹ Op het meer persoonlijke niveau hebben we in de gesprekken            aan de lange duur van het programma; alle (juridische)
       medewerkers gesproken die gemotiveerd en gedreven waren, er           mogelijkheden moesten simpelweg uitgeput worden om het
       oprecht allemaal een succes van wilden maken en het betreuren         ontwikkelproces uiteindelijk onderbouwd stop te kunnen zetten
       dat het –ondanks alle tijd die zij erin gestoken hebben– niet tot     (Verklaring B.2.f. verderop).
       een succesvol einde is gekomen.
     Deelverklaringen
     Wat heeft eraan bijgedragen dat de programma-organisatie er alles aan
     gedaan heeft om het project te laten slagen?
     ▹ Geloof bij betrokkenen in de noodzaak voor en de bijdrage van
       een dergelijke functionaliteit aan voor de maatschappelijke taak
       van de GGD en in algemene zin de stip op de horizon die de
       gezamenlijke visie (zoals verwoord in de intentieverklaring)
       schetste. Dit wordt door verschillende gesprekspartners
       aangedragen.




          Terug naar de samenvatting
80
          Terug naar lessen bevorderende factoren
</pre>

====================================================================== Einde pagina 80 =================================================================

<br><br>====================================================================== Pagina 81 ======================================================================

<pre>     Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


     Bevorderende factor 5: verschillende vormen van
     risicomitigatie (1/2)
     Verklaring                                                             ▹ Specifiek voor de aanbesteding werd een aantal waarborgen
     In een complexe opgave, waarbij veel verschillende (en soms              getroffen voor een zo goed mogelijke uitkomst:
     tegengestelde) belangen speelden, kon er ook veel gebeuren dat het       ▹ er werd een markconsultatie gevoerd om een beter beeld te
     verwezenlijken van de visie kon belemmeren. De                              krijgen van de haalbaarheid van de ambities
     programmaorganisatie en GGD’en hebben veel verschillende                 ▹ er werd juridisch advies ingewonnen, o.a. voor de wijze van
     instrumenten ingezet om risico’s inzichtelijk te maken en zoveel als        aanbesteden (dialooggerichte aanbesteding)
     mogelijk te voorkomen, of althans beheersbaar te houden.                 ▹ er werden selectiecriteria gehanteerd om alleen met voldoende
                                                                                 gekwalificeerde partijen de dialooggesprekken deel te nemen
     Ondersteunende bevindingen                                               ▹ er werd externe expertise ingehuurd om het inkoopproces te
     Waaruit blijkt dat de (programma-)organisatie(s) veel gedaan hebben         begeleiden
     om risico’s te mitigeren?                                                ▹ etc.
     We maken onderscheid naar drie verschillende type risico-mitigatie-    ▹ Gedurende het traject werd er op verschillende aspecten
     instrumenten:                                                            juridische toetsen op rechtmatigheid en zorgvuldigheid
     ▹ Vanaf de start van het traject werd er door de                         uitgevoerd, om zo min mogelijk juridische risico’s te lopen (o.a.
        programmaorganisatie continu een analyse gemaakt van de               richting aanbieder, maar ook rondom privacyvraagstukken).
        risico’s die zich in het programma konden voordoen (aard, kans
        en impact) en daarbij behorende beheersmaatregelen.                 Loopt door op volgende pagina



         Terug naar de samenvatting
81
         Terug naar lessen bevorderende factoren
</pre>

====================================================================== Einde pagina 81 =================================================================

<br><br>====================================================================== Pagina 82 ======================================================================

<pre>     Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


     Bevorderende factor 5: verschillende vormen van
     risicomitigatie (2/2)
     Ondersteunende bevindingen (vervolg)                                  Deelverklaringen
     ▹ Gedurende het ontwikkeltraject zijn verschillende audits            Geen
       uitgevoerd / externe adviezen ingewonnen. Deze gingen o.a. over:
       ▹ Ontwikkelproces & scopemanagement (mrt 2018)
       ▹ Onderhoudbaarheid van de softwarecode (aug 2018, sep 2019)
       ▹ Informatieveiligheid (nov 2018)
       ▹ Privacy-impact (dec 2018, jan 2019)
       ▹ Beveiliging (apr 2019)
       ▹ Voortgang en scenario’s voor afronding (jun 2019, okt 2019)
       ▹ Besturing programma door leverancier (apr 2020)
       ▹ Beheer door de leverancier (nov 2020)
       ▹ Toegankelijkheid (mrt 2021)
       ▹ Werkbaarheid GGiD (apr 2021)




         Terug naar de samenvatting
82
         Terug naar lessen bevorderende factoren
</pre>

====================================================================== Einde pagina 82 =================================================================

<br><br>====================================================================== Pagina 83 ======================================================================

<pre>      Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


      Belemmerende factoren voor niet opleveren van
      beoogde product | visueel overzicht
                                                                                                a. Hoge ambities
      We hebben een aantal deelverklaringen
      geïdentificeerd voor hoofdverklaring A. In                                               b. Onbehulpzame
      Verdieping C staan nog enkele verklaringen kort            1. Nieuw bouwen
                                                                                                marktcondities
      beschreven die genoemd zijn door betrokkenen,
      maar waarvoor uiteindelijk te weinig                                                  c. GGD’en gingen uit van     I. Onervarenheid van de
                                                                                                 haalbaarheid                    GGD’en
      ondersteunende bevindingen waren.
                                                              2. Kaders met elkaar op
                                                                  gespannen voet

                                                                                          a. Geraamde budget uitgeput
                                                                                          zonder dat product klaar was
                                                               3. Voorstel niet in de
                                                             praktijk kunnen brengen
                                                                                              b. Geen ervaring op
                                A. Niet geleid tot door
                                                                                               soortgelijk dossier        Klik op een verklaring
                              GGD’en benodigde product
                                                                                                                         voor nadere uitwerking
                                                                 4. Afspraken niet         a. Ontwikkelbudget was op             daarvan
                                                                    nagekomen                 enig moment uitgeput

     Niet geslaagd
                                                                                            b. Personele wisselingen
                                                             5. De PO-rol kon niet goed
                                                                  ingevuld worden

                               B. Grote mate van uitloop
83
                                                               6. Mogelijk te weinig
                                                                 financiële prikkel
</pre>

====================================================================== Einde pagina 83 =================================================================

<br><br>====================================================================== Pagina 84 ======================================================================

<pre>     Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


     Hoofdverklaring A: het proces heeft niet geleid tot het
     door de GGD’en benodigde product (1/2)
     Verklaring                                                                 kunnen zijn.
     Ook na lange tijd was er geen werkend product, dat volgens de GGD-       ▹ Er is gedurende het ontwikkeltraject geen versie van het product
     en aan de vereisten voldeed. Hier was de hele aanbesteding om te           geweest dat volgens het KTB geen serieuze gebreken vertoonde.
     doen.                                                                      Geen enkele van onze gesprekspartners heeft hier andere beelden
                                                                                bij. Nog in februari 2022 is er door gebruikers een groot aantal
                                                                                filmpjes gemaakt om te illustreren welke omissies het product nog
     Ondersteunende bevindingen
                                                                                kende.
     Waaruit blijkt dát er geen werkend product opgeleverd was?
                                                                              ▹ Wat de status van de omissies was, was ook inzet van het
     ▹ Elk tussenproduct (‘sprint’) van de programmatuur werd getest door       onderlinge gesprek (en juridische stappen daarin) op het eind van
       het kernteam bouw (KTB) van de GGD’en*. Zij identificeerden daarbij      het traject.
       nog mogelijke hiaten en fouten. Hun uitkomsten werden voorgelegd
                                                                              ▹ Daarbij merken we ook op dat er geen eenduidigheid van
       aan de stuurgroep, met het advies om de sprint ‘vrij te geven’.* Na
                                                                                gesprekspartners was over hoe ver men nu bij stopzetting werkelijk
       een serie van sprints zou een werkbaar product vrijgegeven worden
                                                                                gevorderd was. Enkele gesprekspartners geven aan dat de haven in
       (‘release’).
                                                                                zicht was, anderen waren juist van mening dat men nog ver
     ▹ Enkele gesprekspartners onderstrepen het belang van een                  verwijderd was van een werkend product en het erg de vraag was of
       voldoende goed werkend product om de implementatie in gang te            dit überhaupt nog binnen bereik lag.
       kunnen zetten. Het betrof immers het primaire proces van
       medewerkers. Een niet-werkend product zou daarvoor funest



                                                                    *Later hernoemd naar ‘praktijktoetsteam’ (ptt) .
         Terug naar de samenvatting
84                                                                  **Dit betekende ook dat de leverancier gefinancierd
         Terug naar lessen hoofdverklaring A                        werd voor haar inspanningen voor de betreffende
                                                                    sprint.
</pre>

====================================================================== Einde pagina 84 =================================================================

<br><br>====================================================================== Pagina 85 ======================================================================

<pre>     Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


     Hoofdverklaring A: het proces heeft niet geleid tot het
     door de GGD’en benodigde product (2/2)
     Deelverklaringen
     Waarom is het niet gelukt om een werkend product opgeleverd te krijgen?
     ▹ De uitkomst van de aanbesteding was dat er een nieuw product
       ontwikkeld ging worden. Dat bracht een hoge mate van complexiteit
       met zich mee (verklaring A.1).
     ▹ De kaders voor de ontwikkeling van het product stonden deels met
       elkaar op gespannen voet (verklaring A.2).
     ▹ De leverancier heeft haar voorstel om dat product te ontwikkelen
       niet in de praktijk kunnen brengen (verklaring A.3).
     ▹ De leverancier zou afspraken meermaals niet nagekomen zijn
       (verklaring A.4).
     ▹ De rol van translator kon niet goed ingevuld worden (verklaring A.5).
     ▹ Mogelijk: te weinig financiële prikkel voor de leverancier (verklaring
       A.6)




          Terug naar de samenvatting                  *Dit betekende ook dat de leverancier gefinancierd werd
85
                                                      voor haar inspanningen voor de betreffende sprint.
          Terug naar lessen hoofdverklaring A
</pre>

====================================================================== Einde pagina 85 =================================================================

<br><br>====================================================================== Pagina 86 ======================================================================

<pre>     Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


     Verklaring A.1: nieuw te ontwikkelen product

     Verklaring                                                                  om het product gebruiksklaar en goed gekoppeld aan andere
     Er waren vooraf verschillende mogelijkheden voor hoe er tot een             systemen te krijgen
     nieuw digitaal dossier gekomen kon worden. Uitkomst van de                Deelverklaringen
     aanbesteding was dat er een nieuw product ontworpen ging worden.
                                                                               Waarom werd er een nieuw product gemaakt?
     Hierbij is de kans op succes kleiner dan bij aankoop van een bestaand
     product.                                                                  ▹ Er werd in de aanbesteding niet ondubbelzinnig gekozen voor het
                                                                                 ontwikkelen van een geheel nieuw product, maar aan het
     Ondersteunende bevindingen                                                  ambitieniveau van de gezamenlijke GGD’en, wat zich vertaalde in
     Waarom is de kans op slagen lager bij een nieuw te ontwikkelen product?     een ambitieus Programma van Eisen, maakte de kans dat er een
     ▹ Een bestaand product is ontwikkeld voor een grotere doelgroep.            nieuw product ontworpen moest worden erg groot (verklaring
       Dat betekent dat het al op schaal is getest en wordt gebruikt. Bij        A.1.a).
       een nieuw te ontwikkelen product is de faalkans hoger, omdat vele       ▹ De markt voor dit domein was en is klein, met toentertijd vier
       regels code nieuw geschreven moeten worden en zeker bij                   leveranciers die een off the shelf-product aanboden (Gino, Topicus,
       koppelingen de kans op problemen met code vergroot wordt.                 Centric en Allegro Sultum). Deze aanbieders hebben niet gewonnen
     ▹ Omdat er van tevoren ruimte kan ontstaan tussen de                        (verklaring A.1.b).
       verwachtingen van de koper en de leverancier, omdat het fysieke         ▹ De GGD’en zijn, o.a. op basis van ingehuurde expertise, uitgegaan
       product immers nog niet bestaat.                                          van de haalbaarheid van het ontwikkelen van een nieuwe product,
     ▹ Het lastig is om van tevoren precies in te schatten wat er nodig is       in al zijn complexiteit (verklaring A.1.c).



          Terug naar de samenvatting
86
          Terug naar lessen hoofdverklaring A
</pre>

====================================================================== Einde pagina 86 =================================================================

<br><br>====================================================================== Pagina 87 ======================================================================

<pre>     Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


     Verklaring A.1.a: Hoog ambitieniveau droeg bij aan het
     nieuw bouwen van een product
     Verklaring                                                                  ▹ De ambitie is verder om het burgerdossier voor zoveel mogelijk
     Het ambitieniveau was hoog ten opzichte van de uitgangssituatie. Dit           inwoners van Nederland gelijk te willen maken. Dit betekende
     verkleinde de kans dat de ambitie te verwezenlijken was op basis van           concreet dat andere GGD’en de mogelijkheid moesten hebben om
     bestaande softwarepakketten.                                                   in tweede instantie aan te sluiten bij het GGiD.
                                                                                 Het was dus niet alleen DD JGZ, maar een eerste stap in iets veel
                                                                                 groters en breders: een volledig burgerdossier, voor alle GGD’en te
     Ondersteunende bevindingen                                                  gebruiken. Iets dat echt nog niet bestond. In de praktijk betekende dit
     Wat betekende het dat het ambitieniveau hoog was?                           dat er bijvoorbeeld een koppeling tussen het GGiD gemaakt moest
     De ambitie van de GGD’en die ten grondslag lag aan de aanbesteding          kunnen worden met de bestaande software voor planning en
     wordt het best verwoord in hun gezamenlijke intentieverklaring:             roostering (ORTEC**) en voor bedrijfsvoering zoals HRM-gegevens
     ▹ het applicatielandschap voor GGD’en te verbeteren, versimpelen en         (AFAS, Raet Beaufort). Ook moest er koppeling zijn met verschillende
       harmoniseren. Dit betreft in het bijzonder de applicaties voor            andere gegevensbronnen buiten de GGD’en (de BRP, het RIVM,
       bedrijfsvoering, planning en roostering en het cliëntdossier.             berichtenverkeer in de zorg, etc.)*. Elke verbinding met andere
                                                                                 softwareproducten vormt een uitdaging op zich en het aantal van dit
     ▹ Als eerste stap richting de verwezenlijking van deze ambitie willen zij
                                                                                 soort verbindingen (‘koppelvlakken’) was aanzienlijk. Tijdens de
       tot één GGD-burgerdossier komen, waarin “inwoners […] de eigen
                                                                                 aanbesteding is veel tijd gestoken in het expliciet beschrijven van de
       vrijgegeven gegevens uit het dossier kunnen inzien […] met een ander te
                                                                                 benodigde koppelingen. Daarnaast waren er verschillende (tussentijds
       delen, zelf afspraken te maken […], waarbij het dossier van de inwoner
                                                                                 veranderde) wettelijke kaders waarmee het product compatibel moest
       op iedere werkplek altijd beschikbaar is en gegevens eenmalig worden
                                                                                 zijn, zoals de AVG.
       vastgelegd.”
                                                                                 Deelverklaringen
          Terug naar de samenvatting                                             Geen.
87
          Terug naar lessen hoofdverklaring A
                                                                                                     *Bron: Programma van Eisen GGiD.   **Niet voor alle GGD’en.
</pre>

====================================================================== Einde pagina 87 =================================================================

<br><br>====================================================================== Pagina 88 ======================================================================

<pre>     Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


     Verklaring A.1.b: onbehulpzame marktcondities
     vergrootten de kans op het maken van een nieuw product
     Verklaring                                                                 Deelverklaringen
     Er was op het moment van de ambitie geen pakket in de markt dat            Wat veroorzaakte dat de markt niet meewerkte?
     aan de eisen voldeed. Het alternatief is dan om zelf iets te               ▹ Het betreft een kleine markt van 37 JGZ-organisaties, die elk binnen
     ontwikkelen, of om een bestaand pakket aan te (laten) passen.                krappe financiële kaders moet opereren, omdat zij van hun
                                                                                  middelen afhankelijk zijn van gemeenten.
     Ondersteunende bevindingen                                                 ▹ Dit zorgt ervoor dat JGZ software een niche markt is met vier
     Hoe hielp de markt precies niet mee?                                         partijen (Gino, Topicus, Allegro Sultum en (toen Centric, nu) Eljakim)
     ▹ Er waren (en zijn) verschillende partijen die een digitaal dossier JGZ     en de Return-on-Investment (ROI) gering is.
       bieden. Alle betrokken GGD’en maken gebruik van MLCas.                   ▹ Dit maakt dat aanbieders geen prikkel hebben om te innoveren
       Daarnaast waren Kidos van Gino en KD+ van Topicus bestaande                richting een product dat aan de hoge ambities van de GGD’en
       pakketten.                                                                 voldoet. Het aanbesteden van een nieuw product op grotere schaal
     ▹ Geen enkele van deze producten kwam tegemoet aan de ambities               zou dit moeten doorbreken, zo was de gedachte.
       van de betreffende GGD’en (zie verklaring A.1.a).
     ▹ Los van of deze partijen deelgenomen hebben aan de
       aanbesteding, als zij dat gedaan zouden hebben, zou dat betekend
       hebben dat zij tenminste hun al bestaande product aanzienlijk aan
       hadden moeten passen om aan de ambities / het programma van
       eisen tegemoet te komen.


          Terug naar de samenvatting
88
          Terug naar lessen hoofdverklaring A
</pre>

====================================================================== Einde pagina 88 =================================================================

<br><br>====================================================================== Pagina 89 ======================================================================

<pre>     Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


     Verklaring A.1.c: de GGD’en hebben haalbaarheid van
     dit project verondersteld
     Verklaring                                                                      ▹ Een disproportionele termijn voor oplevering en acceptatie, waarvan
     De GGD’en hebben in de aanbesteding verondersteld dat het                          het niet realistisch is dat partijen zoals […], die nog niet beschikt over
     überhaupt mogelijk was om een nieuw product met veel features en                   een DD JGZ-systeem en relevante koppelingen, in staat zijn deze
     koppelvlakken met andere systemen succesvol te bouwen binnen de                    termijn te halen.”
     geldende randvoorwaarden. Ze hebben vertrouwd op het aanbod van                 ▹ De rechter gaf de GGD’en echter gelijk, waardoor er voor GGD’en
     een (nieuwe) leverancier en de ingebouwde checks & balances                        onvoldoende reden was om te twijfelen aan haalbaarheid
     (Bevorderende factor 5), waaronder de marktconsultatie en                     ▹ De GGD’en hebben een aanbieder (de betreffende leverancier)
     inschatting van ingehuurde experts. Echter, met de kennis van nu is de          geselecteerd, hoewel zij niet verplicht waren om een aanbieder te
     complexiteit om de eisen te vertalen naar een softwareproduct                   selecteren. Er waren dus op basis van de offerte van de leverancier
     mogelijk onderschat.                                                            niet voldoende gronden om aan de haalbaarheid te twijfelen. Ook
     Ondersteunende bevindingen                                                      ingehuurde experts gaven geen reden om daaraan te twijfelen. Dit
                                                                                     laatste is ook door gesprekpartners bevestigd.
     Waaruit blijkt dat de GGD’en uitgingen van de haalbaarheid?
                                                                                   ▹ Veel geïnterviewden gaven echter aan dat ze met de kennis van nu
     ▹ De belangrijkste aanwijzing is simpelweg dat ze de
                                                                                     geen nieuw product zouden laten bouwen, omdat het proces, meer
       aanbestedingsprocedure doorlopen hebben.
                                                                                     dan verwacht, erg bewerkelijk is gebleken.
     ▹ Een concurrent die in de aanbestedingsprocedure afviel en naar
       aanleiding daarvan een kort geding aanspande, gaf in 2017 aan dat:          Deelverklaringen
       ▹ “De opdracht onvoldoende bepaalbaar was, zeker voor partijen zoals        Hoe kan het dat de GGD’en uit zijn gegaan van de haalbaarheid?
         […], zijnde een generalist die nog geen ervaring had met de realisatie    ▹ Onervarenheid van de GGD’en (Verklaring A.1.c.I)
         van een DD JGZ-systeem en relevante koppelingen;

89
          Terug naar de samenvatting                       Terug naar lessen hoofdverklaring A
</pre>

====================================================================== Einde pagina 89 =================================================================

<br><br>====================================================================== Pagina 90 ======================================================================

<pre>     Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


     Verklaring A.1.c.I: onervarenheid van de GGD’en

     Verklaring                                                                   voor de GGD’en, waardoor het een deel van de mensen aangaf
     Doordat GGD’en weinig tot geen ervaring hadden met ICT-projecten             geen beeld te hebben waar ze ja tegen zeiden. Dit hangt ook
     van deze omvang, zowel op het niveau van bestuur als uitvoering,             samen met dat managers en bestuurders zonder ICT-
     waren ze niet in staat om de complexiteit goed in te schatten. Ze            achtergrond besluiten moesten nemen over een complex ICT-
     hebben daarom moeten vertrouwen op externe expertise (o.a. een               project.
     marktconsultatie) bij de beoordeling of dit project haalbaar is.           ▹ Om dit te ondervangen werd periodiek extra externe expertise
                                                                                  ingehuurd worden om de stand op te maken (‘audit’). Deze gaven
                                                                                  een beeld op hoofdlijnen zonder langer betrokken te zijn bij het
     Ondersteunende bevindingen                                                   traject. Enkele geïnterviewden gaven aan dat dit niet altijd genoeg
     Waaruit bleek dat GGD’en onervaren waren?                                    inzichten en handvatten bood om verder gaan.
     ▹ Twee van de drie GGD’en hadden niet eerder een ICT-project van
                                                                              Deelverklaringen
       deze omvang uitgevoerd, dat zoveel componenten en koppelingen
       met externe bronnen kende;                                             Geen.
     ▹ Er was beperkte ICT-capaciteit aanwezig. De expertise die wel
       aanwezig is, is voornamelijk gericht op beheer.
     ▹ Er is daarom expertise extern aangetrokken om hieraan tegemoet
       te komen. Toch bleek dit geen afdoende oplossing.
       Gesprekspartners geven o.a. aan dat:
       ▹ De informatie (‘jargon’) vanuit externen lastig bleek om te duiden

         Terug naar de samenvatting
90
         Terug naar lessen hoofdverklaring A
</pre>

====================================================================== Einde pagina 90 =================================================================

<br><br>====================================================================== Pagina 91 ======================================================================

<pre>     Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


     Verklaring A.2: kaders stonden met elkaar op
     gespannen voet (1/2)
     Verklaring                                                                   wanneer de vorige afgerond is. Agile is een werkwijze waarin er in
     De kaders die de programmaorganisatie en leverancier hebben                  meer nauwe samenwerking en interactie met de klant, in korte
     gehanteerd voor de ontwikkeling van het GGiD, stonden met elkaar op          sprints tussenproducten opgeleverd worden. Dit is een meer
     gespannen voet. Aan de ene kant werd gekozen voor een relatief               organische werkwijze om tot het eindresultaat te komen.
     ‘open’ programma van eisen en werkmethodiek gekozen.                       ▹ Agile is daarmee ook geschikter voor een context waarin eisen en
     Daartegenover stonden een strakke planning en budget. Dit zorgde             behoeften vanuit de klant nog niet volledig uitgekristalliseerd zijn
     voor het tussentijds uitwerken en verfijnen van de behoeften, terwijl        en/of waar ICT projecten complex zijn. Veel geïnterviewden geven
     geld en tijd eindig waren en snel opraakten. Hierdoor werd het project       aan dat de agile werkwijze was te prefereren voor een dergelijk
     steeds moeilijker beheersbaar.                                               complex project als deze.
     Ondersteunende bevindingen                                                 ▹ De gewenste agile werkwijze stond echter op spanning met de
                                                                                  vereisten en randvoorwaarden:
     Wat betekende het dat de kaders met elkaar op gespannen voet stonden?
                                                                                  ▹ Er was sprake van een aanbesteding waarbij het eindproduct
     ▹ Er waren verschillende van dergelijke kaders: de inhoudelijke
                                                                                    vooraf voldoende beschreven moet zijn (in lijn met de wettelijke
       vereisten (zoals geformuleerd in het Programma van Eisen (PvE)), de
                                                                                    eisen rondom aanbestedingen). Er werd echter wel agile gewerkt;
       randvoorwaarden (budget en tijd beschikbaar voor het
                                                                                    een werkwijze die uitgaat van een opener programma van eisen,
       implementatietraject) en de werkwijze voor ontwikkeling.
                                                                                    waar waarbij opdrachtgever en opdrachtnemer samen al
     ▹ Voor deze laatste zijn twee type werkwijzen: de ‘Waterfall’ en ‘Agile’       werkende weg tot een concreet product komen.
       methoden. Deze eerste is werkwijze waarin de ontwikkeling stap
       voor stap verloopt en een volgende stap pas begonnen wordt,


          Terug naar de samenvatting                                             *Dit vormde later in het traject ook bron van onenigheid tussen beide partijen, omdat de
91                                                                               eisen nog zo weinig specifiek zijn, dat ze voor tweeërlei uitleg vatbaar zijn.
          Terug naar lessen hoofdverklaring A
</pre>

====================================================================== Einde pagina 91 =================================================================

<br><br>====================================================================== Pagina 92 ======================================================================

<pre>     Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


     Verklaring A.2: kaders stonden met elkaar op
     gespannen voet (2/2)
     Ondersteunende bevindingen (vervolg)                                        Deelverklaringen
       ▹ In lijn met de agile werkwijze was het beeld van het beoogde            Waarom stonden de kaders met elkaar op gespannen voet?
           eindproduct aan het begin nog niet volledig uitgekristalliseerd; er   ▹ Onervarenheid van de GGD’en (Verklaring A.1.c.I).
           was sprake van een vrij open PvE*. Dat werd nader                     ▹ De wettelijke kaders rondom aanbesteding eisen dat het budget
           geconcretiseerd via het formuleren van gebruikersbehoeften              vast ligt: voor een (Europese) aanbesteding geldt dat een te grote
           vanuit het kernteam bouw (user stories). Echter stonden het             toename van het benodigde bedrag als een ‘wezenlijke wijziging’
           budget (aanbestedingstechnisch) en de deadline wél vast.                gezien wordt, die opnieuw aanbesteden noodzakelijk maakt.
       ▹ Doordat middelen en planning vastlagen, ontstond er gaandeweg
           een spanningsveld tussen wat er opgeleverd moest worden en
           de tijd en middelen die daarvoor beschikbaar waren.
     ▹ Er is (in een vrij vergevorderd stadium) overigens tussentijds nog
       gewijzigd in een werkwijze die meer ‘waterfall’ was, maar tegen die
       tijd was het product al verder uitgekristalliseerd.




          Terug naar de samenvatting                                         *Dit maakt ook dat de precieze eisen vanuit het PvE daarmee voor interpretatie vatbaar waren.
92
                                                                             Dit vormde later in het traject ook bron van onenigheid tussen beide partijen.
          Terug naar lessen hoofdverklaring A
</pre>

====================================================================== Einde pagina 92 =================================================================

<br><br>====================================================================== Pagina 93 ======================================================================

<pre>     Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


     Verklaring A.3: leverancier heeft haar voorstel niet in
     de praktijk kunnen brengen*
     Verklaring                                                                     ▹ Veel geïnterviewden geven aan dat de sprintdoelen, die met de
     Deelproducten van de leverancier voldeden gedurende de                           leverancier samen werden gesteld, geregeld niet werden gehaald. In
     ontwikkeling herhaaldelijk niet aan de gestelde eisen en konden door             plaats van onderhanden werk af te maken, ging de focus van de
     het ontbreken of niet werken van vitale functionaliteiten niet                   leverancier vervolgens uit naar nieuw te ontwikkelen onderdelen.
     geïmplementeerd worden. De leverancier heeft daarmee haar                      ▹ In interviews komt naar voren dat bij het testen van het dossier
     voorstel niet in de praktijk gebracht. Het vertrouwen in de oplevering           herhaaldelijk bleek dat er geen goede aansluiting was op
     van een werkend eindproduct bij de GGD’en nam af.                                zorginhoudelijke processen en essentiële onderdelen simpelweg
                                                                                      niet werkten.
     Ondersteunende bevindingen
     Waaruit blijkt dit volgens betrokkenen?                                        Deelverklaringen
     ▹ Herhaaldelijk kwam in de ontwikkelfase aan de orde dat                       Waarom heeft de leverancier haar voorstel mogelijk niet in de praktijk
       opgeleverde tussenproducten niet voldeden. Eind 2018 kwam de                 kunnen brengen?
       eerste release niet door de acceptatietest. Later in 2019 oordeelde          ▹ Het betrof een geheel nieuw product, dat nog niet op de markt was
       de koplopersgroep dat dat het opgeleverde product niet                         en complex was om te ontwikkelen (Verklaring A.1.a).
       verantwoord geïmplementeerd kan worden. Ook de deelproducten
                                                                                    ▹ Het door de leverancier geraamde budget was uitgeput zonder dat
       die na het addendum gebouwd zijn, voldeden volgens de GGD’en
                                                                                      het product klaar was (Verklaring A.3.a)
       niet aan de gestelde eisen.
                                                                                    ▹ De leverancier had geen eerdere ervaring met het opleveren van
                                                                                      een werkend GGiD (Verklaring A.3.b).

          Terug naar de samenvatting
93
          Terug naar lessen hoofdverklaring A      *Merk op dat de leverancier geen onderwerp of betrokkene van de evaluatie was.
                                                   Er heeft dus ook geen wederhoor plaats kunnen vinden.
</pre>

====================================================================== Einde pagina 93 =================================================================

<br><br>====================================================================== Pagina 94 ======================================================================

<pre>     Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


     Verklaring A.3.a: het door de leverancier geraamde
     budget was uitgeput zonder dat het product klaar was
     Verklaring                                                                   ▹ Bij het addendum in januari 2020 is er onder strikte
     De leverancier heeft haar voorstel niet in de praktijk kunnen brengen,         randvoorwaarden en tegenover een (aanvullende) investering
     omdat het budget waarvoor zij voorgesteld had het GGiD te leveren,             vanuit de leverancier een (vertragings-)schadevergoeding vanuit de
     op enig moment uitgeput was, zonder dat het product klaar was. De              GGD’en verstrekt.
     mogelijkheden voor budgetuitbreiding waren erg beperkt.                      ▹ In gesprekken wordt duidelijk dat bij deze tweede budgetverhoging
                                                                                    er ook nog (lang) geen sprake was van een werkbaar product dat in
                                                                                    een testfase gebracht kon worden. Zo bleken meerdere vitale
     Ondersteunende bevindingen
                                                                                    koppelingen en functionaliteiten van het digitale dossier nog niet af.
     Waaruit blijkt dat het budget uitgeput was zonder dat het product klaar        De afspraken van het addendum en financiële kaders waren echter
     was?                                                                           zodanig dat de verwachting van veel betrokkenen bij de GGD’en was
     ▹ De ontwikkeling van het resterende budget tijdens de eerste 16               dat het hiermee tot een werkend product ging leiden.
       maanden van het ontwikkeltraject is weergegeven in deze grafiek.
                                                                                  Deelverklaringen
     ▹ Er was sprake van een fixed budget voor de ontwikkeling van het
       GGiD* met beperkte ruimte voor het financieren van meerwerk                Welke mogelijke verklaringen zijn er voor de te lage inschatting?
       (maximaal 10% volgens de aanbestedingswet). In december 2018 is            ▹ Onervarenheid van de leverancier (Verklaring A.3.b)
       een aanvullende betaling voor meerwerk afgesproken. Op dit punt            ▹ Onervarenheid van de GGD’en (Verklaring A.1.c.I)
       in de tijd was er geen sprake van een werkend product en werd de
       beoogde oplevering verschoven naar januari 2019.



          Terug naar de samenvatting                                           *Dit wordt bepaald door de aanbestedingswet.
94
          Terug naar lessen hoofdverklaring A
</pre>

====================================================================== Einde pagina 94 =================================================================

<br><br>====================================================================== Pagina 95 ======================================================================

<pre>     Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


     Verklaring A.3.b: leverancier beschikte niet over de
     ervaring op een soortgelijk dossier (1/2)
     Verklaring                                                               ▹ Terugkijkend geeft een groot deel van de gesprekspartners aan dat
     De leverancier heeft het beoogde voorstel mogelijk niet in de praktijk     de leverancier niet de benodigde ervaring en expertise leek te
     kunnen brengen, omdat zij nog niet eerder een soortgelijke opdracht        beschikken om het gevraagde product te ontwikkelen. Het
     had uitgevoerd en daardoor niet over specifieke ervaring beschikte die     ontwikkelen van het gevraagde digitale dossier is een complexe
     hier wel voor nodig was.                                                   aangelegenheid. De leverancier leek in het bijzonder niet
                                                                                geëquipeerd op het gebied van de vele koppelvlakken.
                                                                              ▹ De ervaringseisen in de aanbestedingsprocedure waren vrij
     Ondersteunende bevindingen
                                                                                algemeen geformuleerd. Alleen potentiële deelnemers die over
     Waaruit blijkt dat de ervaring van de leverancier beperkt was?             voldoende ervaring beschikten, werden uitgenodigd voor de
     ▹ Deze verklaring is gedurende onze opdracht niet met zekerheid vast       dialoogfase van de aanbestedingsprocedure. Zij kregen punten
       te stellen, omdat de leverancier in kwestie niet gesproken kon           toegekend op basis van 10 selectiecriteria. Van de vrij algemeen
       worden en wij niet in staat zijn om de expertise van de leverancier      geformuleerde criteria luidde het meest zwaarwegende
       te beoordelen. We baseren ons daarom alleen op de bevindingen            bijvoorbeeld “ervaring met ontwikkelen cliëntportaal voor de
       vanuit interviews met de GGD’en en programma-organisatie.                gezondheidszorg”. De gedachte achter het niet opnemen van een
     ▹ De leverancier wordt door gesprekspartners getypeerd als een             criterium rondom een meer vergelijkbaar product was dat de
       generalist. Deze had bij aanvang van het traject geen eerdere            GGD’en een ambitieus nieuw digitaal dossier wilden ontwikkelen en
       ervaring in het ontwikkelen van vergelijkbare systemen. Het              dat focus op vergelijkbare projecten af zou doen aan die ambitie.
       overzicht van eerdere projecten op hun website ondersteunt deze
       bevinding.                                                             Bevindingen lopen door op de volgende pagina.


         Terug naar de samenvatting
95
         Terug naar lessen hoofdverklaring A
</pre>

====================================================================== Einde pagina 95 =================================================================

<br><br>====================================================================== Pagina 96 ======================================================================

<pre>     Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


     Verklaring A.3.b: leverancier beschikte niet over de
     ervaring op een soortgelijk dossier (2/2)
     Ondersteunende bevindingen (vervolg)                                       ▹ Ter nuancering hiervan moeten we aantekenen dat het ook in het
     ▹ Ook al tijdens de aanbesteding waren er signalen over de                   belang van de betreffende aanbieder was, om dit te stellen. Dit
       onervarenheid van de leverancier met betrekking tot een dergelijk          gegeven heeft ook een grote rol gespeeld in de beoordeling van het
       product. Een gegadigde in de aanbesteding, die na de voorronde             signaal door de GGD’en, zo wordt aangegeven. De rechter heeft
       van de aanbesteding werd uitgesloten voor de offertefase, maakte           deze aanbieder overigens ongelijk gegeven. GGD’en vertrouwden
       hiertegen bezwaar. In het bezwaar geeft de gegadigde aan dat de            op het oordeel van de rechter, naast de toen ingehuurde
       geselecteerde leveranciers niet de benodigde ervaring hebben voor          onafhankelijke expertise, dat de leverancier niet te onervaren was.
       het ontwikkelen van het digitale dossier*. Door dezelfde concurrent      Deelverklaringen
       die bezwaar aantekende in het aanbestedingsproces, wordt in een
                                                                                Geen.
       latere briefwisseling met de GGD’en gesteld dat het voor de
       gekozen leverancier vrijwel onmogelijk is om ‘from scratch’, binnen
       de gestelde kaders, een digitaal dossier te ontwikkelen.




                                                                 *”Volgens [eiseres in de hoofdzaak/verweerster in het incident tot tussenkomst en subsidiair tot voeging] kunnen de
         Terug naar de samenvatting                              generieke ontwikkelaars, omdat zij nog geen ervaring hebben met het ontwikkelen en implementeren van een DD JGZ-
96
                                                                 systeem […] zich geen goed beeld vormen van de opdracht.” (Bron: Uitspraak ECLI:NL:RBMNE:2017:4660)
         Terug naar lessen hoofdverklaring A
</pre>

====================================================================== Einde pagina 96 =================================================================

<br><br>====================================================================== Pagina 97 ======================================================================

<pre>     Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


     Verklaring A.4: leverancier is haar afspraken
     meermaals niet nagekomen*
     Verklaring                                                                      ▹ De deadlines voor de livegang werden herhaaldelijk niet gehaald
     Gedurende de ontwikkeling van het digitale dossier is de leverancier              doordat het product niet door de acceptatietesten van de
     afspraken over oplevertermijnen en technische specificaties                       opdrachtgever kwam.
     herhaaldelijk niet nagekomen. Dit belemmerde de totstandkoming van              ▹ Ook na het addendum werden de bijgestelde afspraken volgens
     het boogde product.                                                               betrokkenen onvoldoende nagekomen en was er veel onenigheid
                                                                                       tussen de leverancier en de GGD’en over de mate waarin
                                                                                       tussenproducten voldeden aan de gestelde eisen.
     Ondersteunende bevindingen
     Hoe weten we dat de leverancier afspraken niet is nagekomen?**
     ▹ Gesprekspartners vanuit de GGD’en geven aan dat na de eerste                  Deelverklaringen
       maanden van de ontwikkeling hen al snel duidelijk werd dat                    ▹ Het beschikbare ontwikkelbudget was op enig moment uitgeput
       Sprintdoelen niet gehaald werden door de leverancier. De output                 (Verklaring A.4.a)
       die werd opgeleverd, liep steeds achter op schema, terwijl de                 ▹ Personele wisselingen (Verklaring A.4.b)
       leverancier wel de geraamde uren stak in de ontwikkeling (blijkens
       de facturen). Uiteindelijk leidden deze signalen tot de (voorlopige)
       ingebrekestelling.




                                                    *Merk op dat de leverancier geen onderwerp of betrokkene van de evaluatie was.
          Terug naar de samenvatting                 Er heeft dus ook geen wederhoor plaats kunnen vinden.
97
          Terug naar lessen hoofdverklaring A       **We merken op dat we geen uitgebreide beoordeling van alle onderlinge
                                                    afspraken gemaakt hebben om te taxeren in hoeverre deze daadwerkelijk niet nagekomen zijn.
</pre>

====================================================================== Einde pagina 97 =================================================================

<br><br>====================================================================== Pagina 98 ======================================================================

<pre>     Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


     Verklaring A.4.a: het beschikbare ontwikkelbudget was
     op enig moment uitgeput (1/2)
     Verklaring
     Begin 2019 was het initiële ontwikkelbudget uitgeput. Twee keer is
     aanvullend budget vrijgemaakt voor de leverancier. Hier bovenop                                                                     Verbruikt budget t.b.v. ontwikkeling
     heeft de leverancier voor eigen rekening geïnvesteerd om de                                                               160%
     meerkosten van de ontwikkeling te dekken. Aanvullende inzet was in




                                                                                    Verbruikt budget (% van ontwikkelbudget)
                                                                                                                               140%
     elk geval niet meer in haar financiële belang.
                                                                                                                               120%

                                                                                                                               100%
     Ondersteunende bevindingen
                                                                                                                               80%
     Wat wijst erop dat het ontwikkelbudget voor de opdracht uitgeput was?
                                                                                                                               60%
     ▹ In de grafiek op de volgende pagina is weergegeven hoe het verloop
       van het verbruikte budget voor ontwikkeling van het product eruit                                                       40%

       zag. Op de horizontale as is de tijd weergegeven, op de verticale as                                                    20%
       het aandeel van het ontwikkelbudget. Deze gegevens zijn gebaseerd                                                        0%
       op de facturen die onderdeel waren van de vrijgave-adviezen van
       sprints.* Via de gekleurde vlakken is de omvang van de verschillende
       budgetten aangegeven**.
                                                                                                                                      Ontwikkelbudget          Meerwerk (max)

                                                                                                                                      Investering aanbieder    Verbruikt - cumulatief (%)



                                                                    *Geen onderdeel hiervan zijn kleine correcties van orde 1.000 euro die tussentijds op de facturen
         Terug naar de samenvatting                                 plaatsgevonden hebben.
98
                                                                    **Dit geeft slechts de omvang van budgetten weer, in de praktijk zijn er al kosten ten laste van meerwerk
         Terug naar lessen hoofdverklaring A
                                                                    gegaan, toen het ontwikkelbudget nog niet uitgeput was. Dit vanwege de inhoudelijke status van het werk.
</pre>

====================================================================== Einde pagina 98 =================================================================

<br><br>====================================================================== Pagina 99 ======================================================================

<pre>     Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


     Verklaring A.4.a: het beschikbare ontwikkelbudget was
     op enig moment uitgeput (2/2)
     Ondersteunende bevindingen (vervolg)                                         zekerheid vast te stellen. Wél kan gesteld worden dat het financieel
                                                                                  gezien vanaf een bepaald moment niet aantrekkelijk meer was
     ▹ Uit de figuur op de vorige pagina is af te lezen hoe het budget na
                                                                                  nadere inzet te plegen.
       ca. 12 maanden volledig was verbruikt. Een maand later (februari
       2019) was ook de maximale ruimte voor meerwerk (10%) benut*.
     ▹ Het budget dat na dit punt is verbruikt, kwam voor eigen rekening       Deelverklaringen
       van de leverancier. Deze kosten bouwden verder dan is af te lezen,      ▹ Te lage inschatting benodigd budget (Verklaring A.3.a.)
       omdat de ontwikkeling nog meer dan twee jaar doorliep.                  ▹ Mogelijk te weinig financiële prikkel voor de leverancier (Verklaring
                                                                                 A.6)
     ▹ Bij het addendum zijn nieuwe afspraken gemaakt over de verdeling
       van de resterende kosten. Dit vroeg van de zijde van de leverancier
       een invetsering en van de GGD’en een (vertragings-
       )schadevergoeding (zie Hoofdverklaring B).
     ▹ De leverancier zou zelf €1,2 miljoen geïnvesteerd hebben in het
       ontwikkelen van het GGiD (Bron: leverancier).
     ▹ De leverancier is in deze evaluatie niet gesproken. In welke mate
       budgettaire overwegingen rondom eigen investeringen een rol
       hebben gespeeld in wat zij deed en waarom, zijn daarmee niet met




          Terug naar de samenvatting                                         *In de praktijk was er overigens zowel sprake van meer- en minderwerk, zie ook Hoofdverklaring B.
99
          Terug naar lessen hoofdverklaring A
</pre>

====================================================================== Einde pagina 99 =================================================================

<br><br>====================================================================== Pagina 100 ======================================================================

<pre>      Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


      Verklaring A.4.b: personele wisselingen

      Verklaring                                                                 ▹ In gesprekken noemen betrokkenen dat personele wisselingen in
      Het naleven van de gemaakte afspraken over de ontwikkeling van het           sleutelposities aan de kant van de leverancier een belemmerende
      GGiD werd bemoeilijkt door vele personele wisselingen aan de kant            factor vormden. De programma-organisatie had hierdoor te maken
      van de leverancier.                                                          met steeds andere samenwerkingspartners. De kwaliteit van deze
                                                                                   partners werd door onze gesprekspartners als wisselend ervaren.
                                                                                   Dit maakte het lastig om grip te houden op het proces en de
      Ondersteunende bevindingen                                                   continuïteit van de ontwikkeling te waarborgen.
      Hoe hebben de personele wisselingen invloed gehad op de aansturing?
      ▹ Uit documenten blijkt dat tussen 2018 en 2022 er vijf verschillende      Deelverklaringen
        programmamanagers van de leverancier op verschillende                    ▹ De veel grotere duur van het traject heeft ook een rol gespeeld in
        (opeenvolgende) momenten bij de ontwikkeling betrokken waren.              het aantal wisselingen.
      ▹ Er vonden ook verschillende directiewissels plaats bij de leverancier,
        waardoor gedurende het ontwikkeltraject vier verschillende
        directeuren vanuit de leverancier betrokken waren.
      ▹ Ook de Product Owner is (op voorspraak van de leverancier)
        gedurende het ontwikkelproces gewisseld.




           Terug naar de samenvatting
100
           Terug naar lessen hoofdverklaring A
</pre>

====================================================================== Einde pagina 100 =================================================================

<br><br>====================================================================== Pagina 101 ======================================================================

<pre>      Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


      Verklaring A.5 de PO-rol kon niet goed ingevuld worden

      Verklaring                                                                 mate zicht op knelpunten in het ontwikkelproces.
      De product owner (PO) is de functie die in staat is om de vertaling te   ▹ Verder komt naar voren dat in overleggen met de leverancier, er
      maken tussen de eisen uit de praktijk en de technische mogelijkheden       veel discussie ontstond over sturing (prioritering in het bouwproces)
      (translator). De PO moet prioriteiten stellen in het bouwproces en         vanuit de PO. De leverancier bleek volgens gesprekspartners in
      daarvoor de benodigde kennis bezitten en voldoende in positie zijn         deze overleggen niet ontvankelijk voor de werkwijze en wilde zelf de
      gebracht. In het bouwproces bleek dat de invulling van deze rol werd       PO-regie in handen hebben.
      bemoeilijkt doordat de PO niet in positie werd gesteld om het proces     ▹ Na een half jaar van ontwikkelen is een nieuwe PO aangesteld,
      te sturen.                                                                 voorgedragen door de leverancier. Meerdere gesprekspartners
                                                                                 geven aan dat de nieuwe PO weinig evidente verbetering bracht.
      Ondersteunende bevindingen
      Waaruit blijkt dat de PO geen regie kon voeren op het proces?            Deelverklaringen
      ▹ Uit gesprekken blijkt dat de PO (aangesteld door de GGD’en) in de      ▹ Onervarenheid op ICT-gebied (zie ook Verklaring A.2.a)
        eerste maanden van de ontwikkeling op afstand werd gehouden
        door de leverancier. Waar deze rol idealiter wordt ingevuld door
        iemand die dagelijks dicht op de ontwikkelaars zit, stond de
        leverancier slechts toe dat de PO 1 à 2 keer per week een gesprek
        had met de ontwikkelaars. Hierdoor was voor de PO in beperkte



          Terug naar de samenvatting
101
          Terug naar lessen hoofdverklaring A
</pre>

====================================================================== Einde pagina 101 =================================================================

<br><br>====================================================================== Pagina 102 ======================================================================

<pre>      Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


      Verklaring A.6: mogelijk een te kleine financiële prikkel
      voor de leverancier
      Verklaring                                                                   Ondersteunende bevindingen
      Mogelijk is een verklaring voor het feit dat het uiteindelijke product       Waaruit bestond deze prikkel?
      niet (naar behoren) werd geleverd, dat de financiële prikkel voor de         ▹ De leverancier zou aanvankelijk niets extra’s gaan verdienen bij
      leverancier onvoldoende groot was. De prikkel was tweeledig:                   gebruik van het GGiD door andere GGD’en dan de aanvankelijke
      enerzijds lag deze in het bouwen van het product zelf, in opdracht van         drie (afgezien van eventuele winst als gevolg van ‘going concern’-
      de GGD’en. Anderzijds zat deze in de mogelijk verdiensten als het              kosten en ‘eventuele extra veranderingen in de software’).*
      product verkocht zou worden aan andere GGD’en.                               ▹ In tweede instantie, na aanzienlijke investeringen van de kant van
      Het budget voor het bouwen van het product bleek ontoereikend (zie             de leverancier, is onderling overeengekomen dat de leverancier
      verklaringen A.3.a te lage inschatting van benodigd budget en A.4.a            voor nieuw toetredende GGD’en €2,10 per actief dossier kan
      uitputting budget). De ambitie van de drie GGD’en was echter om de             vragen. Aangezien de leverancier in dit geval actief zou verdienen
      functionaliteiten voor alle Nederlanders beschikbaar te maken, dus             wanneer nieuwe GGD’en zouden aansluiten, was de
      dat het product na afronding ook door andere GGD’en aangewend                  veronderstelling dat de prikkel groot was om snel iets, zo
      zou kunnen worden. De gedachte was dat een financieel voordeel                 kostenefficiënt mogelijk, op de markt te brengen**.
      voor de leverancier bij latere opschaling een voldoende prikkel zou          ▹ Deze afspraak zou met het addendum aangepast worden. Er moest
      zijn om tijdens ontwikkeling een (forse) eigen investering te doen.            een nieuwe afspraak gemaakt worden die in de plaats hiervan
      Enkele gesprekspartners hebben zich ook afgevraagd waarom de                   kwam. Afspraak was dat de leverancier met een business case
      leverancier niet in lijn met die prikkel handelde. We weten niet wat de        hiervoor zou komen***. De nieuwe afspraken werden uiteindelijk
      leverancier gedreven heeft, maar het lijkt er niet op dat de leverancier       niet gemaakt, o.a. door de bindend adviesprocedure.
      een dergelijke prikkel heeft ervaren.

                                                                    *Bron: Ontwikkelovereenkomst, Bijlage 8 (29 jan. 2018)
           Terug naar de samenvatting                               **Bron: Memo toetredingsbijdrage (30 nov. 2020)
102
           Terug naar lessen hoofdverklaring A                      ***Bron: Memo business case GGiD (7 jul. 2021)
</pre>

====================================================================== Einde pagina 102 =================================================================

<br><br>====================================================================== Pagina 103 ======================================================================

<pre>      Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


      Belemmerende factoren voor de grote mate van
      uitloop | samenvattende beschrijving
      We hebben een aantal deelverklaringen
      geïdentificeerd voor hoofdverklaring B. In
                                                                                                       1. Uitloop in de          Onbepaalbaarheid van
      Verdieping C staan nog enkele verklaringen                                                        aanbesteding            opdracht: hogere kosten
      kort beschreven die genoemd zijn door
      betrokkenen, maar waarvoor uiteindelijk te                                                                                a. Beperkte kenbaarheid
      weinig ondersteunende bevindingen waren.                                                                                   van status en potentie

                                                                                                                              b. te weinig sturing richting
                                                           A. Niet gelukt om beoogde                                          leverancier op contractuele
                                                              product op te leveren                                                    afspraken

                                                                                                                                    c. Verschillende
                                                                                                                              uitgangsposities drie GGD’en
                                                                                                  2. AB’en pa na lange tijd
                                   Niet geslaagd           B. Grote mate van uitloop
                                                                                                    besloten te stoppen
                                                                                                                              d. Hoge drempel voor falen


                                                                              Klik op een verklaring                             e. Juridische stappen
                                                                             voor nadere uitwerking                             moesten gezet worden
                                                                                     daarvan
                                                                                                                                  f. Coronapandemie




103
</pre>

====================================================================== Einde pagina 103 =================================================================

<br><br>====================================================================== Pagina 104 ======================================================================

<pre>      Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


      Hoofdverklaring B: er was een grote mate van uitloop
      (dit bracht extra kosten met zich mee) (1/2)
      Verklaring                                                                 sprake van meer- als van minderwerk.
      Het is niet alleen het feit dat het traject geen werkend eindresultaat   ▹ De (vertragings-)schadevergoeding als gevolg van het addendum
      opgeleverd heeft waarom het niet is geslaagd, maar ook dat het traject     (d.d. 31-1-20).
      lang geduurd heeft. Deze duur is gepaard gegaan met aanvullende          ▹ Hogere kosten voor het programmabureau.
      kosten voor de GGD’en.                                                   ▹ Langer gebruik van bestaande DD JGZ (MLCas, licentie- en
                                                                                 ondersteuningskosten). Hier staan echter ook wegvallende
      Ondersteunende bevindingen                                                 licentiekosten voor het GGiD tegenover.
      Hoe groot was de uitloop en daarmee gepaarde kosten?                     Nemen we de licentiekosten niet mee, dan komen we op 5,44 mio aan
      Van de start van aanbesteding (feb 2017) tot het uiteindelijke           hogere kosten dan vooraf gerekend*. Zie de volgende pagina voor de
      stopzetten (nov 2022) zit 5 jaar en 9 maanden. Voor de ontwikkelfase     achterliggende berekening.
      gold een periode van 4 jaar en 10 maanden (jan ‘18 – nov ‘22). Ter       Deelverklaringen
      vergelijk: de laatste versie van het Programma van Eisen in het          Waarom heeft het traject zo lang geduurd als het geduurd heeft?
      aanbestedingsproces beschreef een doorlooptijd van 15 maanden.
                                                                               ▹ De aanbesteding heeft te maken gehad met enige uitloop, als
      Hoewel de aanneemsom voor de leverancier vast lag, heeft het wel tot       gevolg van het bezwaar van een afgewezen kandidaat (verklaring
      verschillende aanvullende kosten geleid voor GGD’en:                       B.1). Dit maakt echter maar een kleine fractie van de vertraging uit.
      ▹ Uitgaven voor meerwerk. Deze waren in principe onderdeel van de        ▹ Er is pas na lange tijd door de AB’s besloten om het traject stop te
         initiële overeenkomst. Er was in de werkelijkheid echter zowel          zetten (verklaring B.2).


          Terug naar de samenvatting
104
          Terug naar lessen hoofdverklaring B                              *Dit is dus inclusief het saldo voor meer- en minderwerk.
</pre>

====================================================================== Einde pagina 104 =================================================================

<br><br>====================================================================== Pagina 105 ======================================================================

<pre>      Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


      Hoofdverklaring B: er was een grote mate van uitloop
      (dit bracht extra kosten met zich mee) (2/2)
      In de tabel rechts zijn de extra uitgaven
      berekend ten opzichte van het
      aanvankelijke beeld. Bedragen zijn                       Categorie                                                   Totaal
      geverifieerd met de betrokken               A            Totaal aan leverancier betaalde bouwkosten per 31-12-2021            € 5.334.000
      concerncontrollers.
                                                  B            Originele aanneemsom                                                 € 4.347.000
                                                  C=A-B        Kosten GGD'en voor addendum + saldo meer- en minderwerk               € 987.000


                                                  D            Programmakosten per 2016 t/m 2021                                    € 4.053.000
                                                  E            Programmakosten 2022                                                 € 1.161.000
                                                  F=D+E        Totaal programmakosten (2016 t/m 2022)                               € 5.214.000
                                                  G            Verwachte programmakosten (2016 t/m 2018)                             € 760.392
                                                  H=F-G        Hogere programmakosten door uitloop                                  € 4.453.608


                                                  I=C+H        Hogere uitgaven (ontwikkelkosten + programmakosten)              €    5.440.608


           Terug naar de samenvatting
105
           Terug naar lessen hoofdverklaring B
</pre>

====================================================================== Einde pagina 105 =================================================================

<br><br>====================================================================== Pagina 106 ======================================================================

<pre>      Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


      Verklaring B.1: de aanbesteding liep uit als gevolg van
      een bezwaarprocedure
      Verklaring                                                                 maanden verklaard.
      Een deel van de lange duur van het hele traject komt voort uit uitloop   Deelverklaringen
      van de aanbestedingsperiode aan het begin ervan, als gevolg van het
                                                                               Waarom heeft de afgewezen kandidaat bezwaar aangetekend?
      bezwaar van een afgewezen kandidaat.
                                                                               ▹ Hoofdzakelijk omdat de opdracht onvoldoende ‘eenduidig en
                                                                                 bepaalbaar’ zou zijn, waardoor de kosten onmogelijk in te schatten
      Ondersteunende bevindingen                                                 zouden zijn. Ook de gevraagde oplevertermijn werd door de
      Wat betekende het dat de aanbesteding uitliep?                             kandidaat als onevenredig kort aangemerkt. Zie het betreffende
      ▹ De originele planning van de aanbesteding ging uit van een ingang        onderdeel in de tijdlijn.
        van de overeenkomst van 30 september 2017. De uiteindelijke            ▹ Door sommige gesprekspartners is aangegeven dat de GGD’en dit
        overeenkomst is getekend op 29 januari 2018. Dat is een uitloop          destijds vooral duidden als strategisch gedrag van een partij die op
        van zo’n 4 maanden.                                                      dat moment een groot deel van de markt in handen had. Of dit het
      ▹ Deze uitloop komt voort uit dat één van de kandidaten die niet           geval is, is door ons niet te verifiëren.
        uitgenodigd werd om een offerte te schrijven (dd. begin juli), hier
        bezwaar tegen aangetekend heeft. Dit heeft in de rechtbank
        gediend. In de tussentijd heeft de aanbesteding stilgelegen. Deze
        kon pas weer hervat worden na uitspraak door de rechter (d.d.
        medio september). Hiermee wordt een groot deel van deze vier



           Terug naar de samenvatting
106
           Terug naar lessen hoofdverklaring B
</pre>

====================================================================== Einde pagina 106 =================================================================

<br><br>====================================================================== Pagina 107 ======================================================================

<pre>      Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


      Verklaring B.2: er is pas na lange tijd door de algemeen
      besturen besloten om het traject stop te zetten
      Verklaring                                                                 Deelverklaringen
      De AB’en van de GGD’en hebben pas na lange tijd besloten om het            Waarom is er pas na lange tijd besloten om te stoppen?
      traject stop te zetten.                                                    ▹ Het was onbekend óf het project nog slagingskans had (Verklaring
                                                                                   B.2.a).
      Ondersteunende bevindingen                                                 ▹ De programma-organisatie stuurde te weinig op contractuele
      Waaruit blijkt dat het lang geduurd heeft om het traject stop te zetten?     afspraken richting de leverancier (Verklaring B.2.b)
      ▹ Zie ook de ondersteunende bevindingen van hoofdverklaring B: het         ▹ De drie GGD’en hadden een verschillende uitgangspositie
        verschil met de initieel geplande duur van het ontwikkeltraject (15        (Verklaring B.2.c).
        maanden) en het daadwerkelijke traject (4 jaar en 10 maanden). Dit       ▹ De drempel voor (nog) een falend project was hoog (Verklaring
        is 3 jaar en 7 maanden langer dan aanvankelijk beoogd.                     B.3.d)
      ▹ Het scenario van stoppen is al begin 2020 voor het eerst overwogen       ▹ Alle juridische stappen moesten in volgorde gezet worden
        (zie tijdlijn). Het zijn uiteindelijk de AB’en van de drie GGD’en die      (Verklaring B.2.e)
        gezamenlijk besloten hebben om het traject stop te zetten (besluit       ▹ De Coronapandemie heeft een vertragend effect gehad (Verklaring
        in november 2022). Verschillende gesprekspartners gaven aan dat            B.2.f).
        er in de eindfase geen vertrouwen meer was in een positieve
        uitkomst. De juridische middelen waren uitgeput. In de laatste
        periode was er sprake van veelvuldig overleg tussen bestuurlijke
        portefeuillehouders en directie.


           Terug naar de samenvatting
107
           Terug naar lessen hoofdverklaring B
</pre>

====================================================================== Einde pagina 107 =================================================================

<br><br>====================================================================== Pagina 108 ======================================================================

<pre>      Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


      Verklaring B.2.a: status en slagingskans van het project
      waren niet of beperkt kenbaar
      Verklaring                                                                 functionaliteit die in een eerdere versie werkte, dat later niet meer
      Bij de besluitvormingsmomenten was steeds onduidelijk hoe reëel het        deed.
      was dat er uiteindelijk een goed werkend GGiD zou kunnen komen.          ▹ Daarnaast heeft een groot deel van de discussie in de latere fase
      Daarmee ontbrak een belangrijk ijkpunt in de besluitvorming om door        tussen GGD’en en leverancier zich toegespitst op of bepaalde
      te gaan. Zo was er gedurende een groot deel van de looptijd sprake         functionaliteiten essentieel (een must have) waren of niet. De
      van een dilemma voor de GGD’en: trekken zij vroegtijdig de stekker uit     uitkomst van deze discussie was bepalend voor de status
      een traject dat potentieel nog succesvol was, of gaan zij door met een   ▹ Verschillende betrokkenen onderstrepen dit dilemma van de
      traject dat mogelijk niet succesvol zal blijken.                           beperkte kenbaarheid. Tot op de dag van vandaag is er onder
                                                                                 gesprekspartners geen consensus over de levensvatbaarheid: was
      Ondersteunende bevindingen                                                 de haven in zicht, of niet?
      Waaruit blijkt dat de slagingskans niet scherp in beeld was?
      ▹ Er werd een overzicht bijgehouden van hoeveel functionele              Deelverklaringen
        kenmerken (user stories) er in een periode (sprint) opgeleverd waren   Wat verklaart dat de status beperkt kenbaar was?
        en hoeveel er nog open stonden voor een minimaal werkbaar              ▹ Er zijn weliswaar externe audits uitgevoerd, naar tal van aspecten
        product. Ook werd er altijd de vraag ‘werkt het of werkt het niet’       (zie bevorderende factor 5), waaronder de status van de
        behandeld. Tegelijkertijd verschoof dit steeds, omdat er door testen     functionaliteit gebogen, maar zij kregen nooit expliciet de vraag hoe
        en gebruik nieuwe omissies / wensen aan het licht kwamen.                ver en hoe haalbaar het project was. De audits hebben dus hierin
        Gesprekspartners van het kernteam bouw geven aan dat                     ook geen duidelijk beeld gegeven (of kunnen geven).


          Terug naar de samenvatting
108
          Terug naar lessen hoofdverklaring B
</pre>

====================================================================== Einde pagina 108 =================================================================

<br><br>====================================================================== Pagina 109 ======================================================================

<pre>      Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


      Verklaring B.2.b: te weinig sturing richting leverancier
      op contractuele afspraken (1/2)
      Verklaring                                                                ▹ Enkele gesprekspartners geven aan dat de toenmalige product
      Een andere mogelijke verklaring voor de suboptimale aansturing was          owner in de startfase conflicten had met de leverancier over wat zij
      dat de GGD’en als opdrachtgever te weinig strak hebben gestuurd op          leverden, in het bijzonder was er sprake van een “verschil van inzicht
      de leverancier op het nakomen van contractuele afspraken in de              over de mate van detail waarin de scope gedetailleerd dient te worden”.
      uitvoering van de opdracht.                                                 Als gevolg daarvan is de product owner aan GGD zijde vervangen
                                                                                  door een nieuwe product owner, met een reeds bestaande relatie
                                                                                  met en aangedragen door de leverancier.
      Ondersteunende bevindingen                                                ▹ Omdat de leverancier voor tijdige oplevering ook afhankelijk is van
      Welke blijken van een weinig sturing op contractuele afspraken zijn er?     de PO, is de boeteclausule (de kosten voor rekening van de
      ▹ Aanvankelijk was het programma van eisen opzettelijk open                 leverancier wanneer deze niet op tijd de gevraagde producten op
        ingestoken, met een agile werkwijze, waarbij de leverancier in            zou leveren) aangepast in het voordeel van de leverancier: van
        partnerschap met de GGD’en het product zouden ontwikkelen.                1.000 euro per werkdag vertraging, naar 750 euro.
        Enkele betrokkenen gaven aan dat al bij de eerste sprints beoogde       ▹ Na vier keer vertraging werd pas overgegaan op de voorlopige
        tussenproducten niet werden opgeleverd. Initieel werden facturen          ingebrekestelling en een addendum.
        maandelijks gekeurd (komen de gedeclareerde uren overeen met
        opgeleverde tussenresultaten) voordat ze betaald werden, maar
        daar is na zes maanden mee gestopt.




           Terug naar de samenvatting
109
           Terug naar lessen hoofdverklaring B
</pre>

====================================================================== Einde pagina 109 =================================================================

<br><br>====================================================================== Pagina 110 ======================================================================

<pre>      Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


      Verklaring B.2.b: te weinig sturing richting leverancier
      op contractuele afspraken (2/2)
      Deelverklaringen
      Welke blijken van een weinig sturing op contractuele afspraken zijn er?
      ▹ Veel geïnterviewden noemden dat binnen de GGD’en mensen het
        gevoel hadden door te moeten met de leverancier en daardoor
        geen conflicten aan te kunnen gaan, zie ook Verklaring B.2.d. hoge
        drempel voor falen project.
      ▹ Een andere verklaring is dat juridische risicotaxaties ervoor zorgden
        dat niet elk punt op het spits werd gedreven, zie ook Verklaring
        B.2.e.




           Terug naar de samenvatting
110
           Terug naar lessen hoofdverklaring B
</pre>

====================================================================== Einde pagina 110 =================================================================

<br><br>====================================================================== Pagina 111 ======================================================================

<pre>      Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


      Verklaring B.2.c: Verschillende uitgangsposities drie
      GGD’en
      Verklaring                                                                     van de opdracht. Dit proces duurde lang, mede omdat het veel tijd
      Besluitvorming moest plaatsvinden binnen de drie betrokken GGD’en              kostte voor alle GGD’en en gemeenten om zich achter dit besluit te
      én binnen het samenwerkingsverband. De voorgeschiedenis en                     kunnen scharen.
      dynamiek in de drie regio’s verschilden, waardoor afwegingen in              ▹ Deze complexiteit werd versterkt omdat verschillende GGD’en (in
      iedere GGD iets anders werden gemaakt.                                         eerste instantie) op dezelfde momenten verschillende taxaties en
                                                                                     andere afwegingen maakten rondom het wel of niet stopzetten. Zie
                                                                                     daarvoor verklaring B.2.d.
      Ondersteunende bevindingen
      Waaruit blijkt dat de verschillende uitgangsposities van de GGD’en een rol
      speelden?                                                                    Deelverklaringen
      ▹ Dat de samenwerking met drie GGD’en een extra complexiteit                 ▹ Geen.
        bracht, in een van zichzelf al niet eenvoudige opgave, wordt in
        meerdere gesprekken met betrokkenen bevestigd. Hoewel op
        inhoud en op relatie de GGD’en elkaar goed konden vinden en
        betrokkenen spreken van een constructieve en soepele
        samenwerking, liep het proces vertraging op omdat het in de
        praktijk soms veel tijd kostte voor de drie GGD’en (en daarmee
        tientallen colleges) achter hetzelfde besluit te gaan staan.
      ▹ Dit werd evident in het besluitvormingsproces voor het stopzetten


           Terug naar de samenvatting
111
           Terug naar lessen hoofdverklaring B
</pre>

====================================================================== Einde pagina 111 =================================================================

<br><br>====================================================================== Pagina 112 ======================================================================

<pre>      Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


      Verklaring B.2.d: hoge drempel voor falend project

      Verklaring                                                                   kunnen opleveren al ingecalculeerd waren in de
      De al gedane investeringen in de ontwikkeling van het GGiD en de             meerjarenbegroting.
      verwachtingen die bij stakeholders waren gewekt over de                    ▹ Het scenario om te stoppen heeft vanaf 2019 op tafel gelegen. In
      mogelijkheden en voordelen van het GGiD, maakten dat de drempel              elk geval in de regio Utrecht is dit bestuurlijk besproken. Uit
      voor falen hoog was. Dit zorgde ervoor dat er lang werd ingezet op het       gesprekken wordt daarnaast duidelijk dat bij de GGD Twente de
      laten slagen van het project, ondanks signalen dat dit (mogelijk) niet       mogelijkheid om te stoppen al rondom het addendum (begin 2020)
      meer realistisch was. Mede hierdoor duurde het lang voordat de               serieus is overwogen. Ondanks de eerdere twijfels, ging Twente
      GGD’en inzetten op het stopzetten van het project.                           mee met de andere GGD’en*.
      Ondersteunende bevindingen                                                 ▹ In meerdere interviews wordt door gesprekspartners aangegeven
                                                                                   dat er lang (door de bestuurders) werd vastgehouden aan dat ‘de
      Waaruit blijkt dat de drempel hoog was om te stoppen met ontwikkeling?
                                                                                   volgende ronde’ wel succesvol zou kunnen zijn, nadat eerdere fasen
      ▹ De GGD Hollands Noorden bleef lang sturen op een goede afloop.             van de ontwikkeling onsuccesvol werden afgesloten.
        Bij de GGD Hollands Noorden speelde mogelijk de
        voorgeschiedenis in de overweging mee, waarmee deze GGD                  Deelverklaringen
        huiverig was voor het (weer) stoppen met de ontwikkeling van het         Wat verklaart de hoge drempel?
        GGiD. Deze context voerde de (politieke) druk op het laten slagen        ▹ Er is sprake van mogelijke (politieke) gevolgen voor bestuurders (van
        van het project op.                                                        GGD’en); zij kunnen afgerekend worden op het niet slagen van een
      ▹ Voor de GGD regio Utrecht werd de druk op het laten slagen van             project als dit, in het bijzonder in relatie tot de middelen die ermee
        het GGiD versterkt doordat besparingen die het nieuwe dossier zou          gepaard zijn gegaan.


          Terug naar de samenvatting                                *De onderlinge samenwerkingsovereenkomst bood een GGD weliswaar de mogelijkheid om
112
                                                                    uit te treden, maar deze moest onverminderd bijdragen aan de (aanvullende) kosten die de overige
          Terug naar lessen hoofdverklaring B                       GGD’en in dat geval zouden maken. Eenzijdige uitreding was in het geheel dus niet aantrekkelijk.
</pre>

====================================================================== Einde pagina 112 =================================================================

<br><br>====================================================================== Pagina 113 ======================================================================

<pre>      Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


      Verklaring B.2.e: juridische stappen moesten in
      volgorde gezet worden
      Verklaring                                                                      (kantelmoment 3b.d) en de uiteindelijke uitkomst ervan
      GGD’en konden niet zomaar eigenstandig stoppen met het                          (kantelmoment 3b.e) zat 9 maanden.
      ontwikkeltraject. Er was een risico op schadeclaims. Om dit risico zo        ▹ Tussen het verzoek voor een voorlopig deskundigenbericht door de
      klein mogelijk te maken, moesten verschillende juridische stappen in            GGD’en (3b.i) en de afwijzing van dat verzoek (3b.j) zat weer eens
      onderlinge volgorde doorlopen worden (‘escalatieladder’). Elk van die           vier maanden.
      stappen kende weer een eigen doorlooptijd. De optelsom van deze              Ook in zorgvuldige afstemming over wat de volgende te nemen stap
      afzonderlijke doorlooptijden heeft bijgedragen aan de uitloop van het        zou moeten zijn –dus in aanloop naar bovenstaande– is tijd gaan
      traject.                                                                     zitten.


      Ondersteunende bevindingen                                                   Deelverklaringen
      Waaruit blijkt dat het doorlopen van deze stappen tijd kostten?              Geen
      ▹ Bij (voorlopige) ingebrekestelling (kantelmomenten 3b.a, 3b.h in de
        tijdlijn) was − zoals gebruikelijk is− sprake van een hersteltermijn, de
        periode waarin de leverancier alsnog aan de aangegane
        verplichtingen moet voldoen.
      ▹ Tussen de gezamenlijke aanvraag van het bindend advies




           Terug naar de samenvatting
113
           Terug naar lessen hoofdverklaring B
</pre>

====================================================================== Einde pagina 113 =================================================================

<br><br>====================================================================== Pagina 114 ======================================================================

<pre>      Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)


      Verklaring B.2.f: de coronapandemie heeft de
      besluitvorming over het stoppen vertraagd
      Verklaring                                                                stuurgroeplid werd wat meer de GGD ingetrokken door Corona.
      Door de coronapandemie werden bestuurders geconfronteerd met            ▹ Voor de coronacrisis werd over het addendum in 2019 nog
      nieuwe, extra, prioriteiten. Hierdoor verminderde de aandacht voor de     unaniem besloten. Onrust over de kans van slagen begon al in
      ontwikkeling van het GGiD. Gezamenlijke live-besluitvorming was           coronatijd, maar leidde pas ná (het hoogtepunt van) de coronacrisis
      bovendien niet mogelijk en informatie-uitwisseling werd bemoeilijkt.      tot een serieus gesprek over stoppen.
      Aangezien het project als ‘kritiek’ was aangemerkt, konden
      medewerkers in de uitvoering wel gewoon doorwerken aan het
                                                                              Deelverklaringen
      project.
                                                                              Op welke manier was de coronapandemie van invloed op de
                                                                              besluitvorming?
      Ondersteunende bevindingen                                              ▹ Door de ongekende druk van de coronacrisis was er geen tijd en
      Waaruit blijkt dat de coronapandemie van invloed is geweest op de         ruimte om aandacht te besteden aan signalen over onrust in het
      besluitvorming?                                                           GGiD dossier.
      ▹ Betrokkenen geven aan dat focus en geld van de GGD’en                 ▹ Door bestuurlijke en personele wisselingen moesten bestuurders
        verschoven naar de aanpak van corona.                                   en medewerkers zich steeds opnieuw in het dossier verdiepen.
      ▹ Verschuiven van focus en geld gingen ook gepaard met bestuurlijke
        en personele wisselingen. Zo werd bijv. de kwartiermaker techniek
        de corona-organisatie ingetrokken en vervangen. Ook een



          Terug naar de samenvatting
114
          Terug naar lessen hoofdverklaring B
</pre>

====================================================================== Einde pagina 114 =================================================================

<br><br>====================================================================== Pagina 115 ======================================================================

<pre>      Inhoudsopgave


      1.   Samenvatting

      2.   Introductie: aanleiding, opdracht en methode

      3.   Reconstrueren: tijdlijn, mijlpalen & beslismomenten

      4.   Begrijpen: bevorderende en belemmerende factoren in proces

      5.   Leren & borgen: lessen en aanbevelingen voor de toekomst

      6.   Verdieping C | niet-opgenomen verklaringen (H4)

      7.   Bijlagen


115
</pre>

====================================================================== Einde pagina 115 =================================================================

<br><br>====================================================================== Pagina 116 ======================================================================

<pre>      Verdieping C | niet-opgenomen verklaringen


      Niet-voldoende te onderbouwen verklaringen

      Meerdere mogelijke verklaringen zijn         Om welke verklaringen gaat het?
      niet in deze rapportage terecht              Mogelijk strategisch gedrag leverancier: de leverancier zou mogelijk het benodigde budget bewust
      gekomen                                      te laag hebben ingeschat om daarmee een voordelige concurrentiepositie in de aanbesteding in
      ▹ In deze evaluatie zijn verklarende         te nemen, vooruitlopend op eventuele meerkosten die de GGD’en zouden vergoeden.
        factoren opgenomen die een wezenlijke      ▹ Geschrapt omdat? Geen duidelijke onderbouwing, de leverancier is immers niet gesproken. Het
        rol hebben gespeeld in de uiteindelijke       betreft vooral vermoedens van betrokkenen op basis van indirecte signalen.
        uitkomst (bevorderend of
        belemmerend).                              Bestuurders te weinig intensief betrokken: de algemeen besturen zijn zich pas in een vrij late fase
                                                   (vanaf ongeveer 2019) actief met het dossier gaan bemoeien. Was dit anders geweest, dan was het
      ▹ Daarbij moet het wel voldoende goed
                                                   programma mogelijk eerder stopgezet.
        te onderbouwen zijn wil een verklaring
        opgenomen worden. Omwille van het          ▹ Geschrapt omdat? AB’en zijn over de hele linie uitgebreid geïnformeerd. Hoe later, hoe
        gevoelige karakter van dit onderwerp,         uitgebreider. Daarmee valt moeilijk te onderbouwen dat juist in de fase waarin ze het meest
        ligt onze lat hiervoor hoog.                  intensief geïnformeerd zijn, de uitkomst anders was geweest als ze meer betrokken waren
                                                      geweest.
      ▹ In het kader van volledigheid en
        transparantie benoemen we hier de          Informatie kwam niet goed aan: sommige gesprekspartners hebben vragen opgeworpen over de
        mogelijke verklaringen die aangedragen     balans van de informatie. Andere informatie had mogelijk tot eerdere bestuurlijke betrokkenheid
        zijn, maar we onvoldoende konden           geleid.
        onderbouwen.                               ▹ Geschrapt omdat? Dit wordt door een groot aantal betrokkenen niet herkend. Er is in de hele
                                                      periode bovendien slechts één situatie bekend waar sprake is van niet-doorkomen van
                                                      informatie. Daarvoor waren bovendien op zichzelf begrijpelijke redenen.
116
</pre>

====================================================================== Einde pagina 116 =================================================================

<br><br>====================================================================== Pagina 117 ======================================================================

<pre>Inhoudsopgave


1.   Samenvatting

2.   Introductie: aanleiding, opdracht en methode

3.   Reconstrueren: tijdlijn, mijlpalen & beslismomenten

4.   Begrijpen: bevorderende en belemmerende factoren in proces

5.   Leren & borgen: lessen en aanbevelingen voor de toekomst

6.   Verdieping bij hoofdstukken 3 en 4

7.   Bijlagen:
     A.     Aanpak evaluatie
     B.     Verklarende woordenlijst
</pre>

====================================================================== Einde pagina 117 =================================================================

<br><br>====================================================================== Pagina 118 ======================================================================

<pre>Inhoudsopgave


1.   Samenvatting

2.   Introductie: aanleiding, opdracht en methode

3.   Reconstrueren: tijdlijn, mijlpalen & beslismomenten

4.   Begrijpen: bevorderende en belemmerende factoren in proces

5.   Leren & borgen: lessen en aanbevelingen voor de toekomst

6.   Verdieping bij hoofdstukken 3 en 4

7.   Bijlagen | A: aanpak evaluatie
</pre>

====================================================================== Einde pagina 118 =================================================================

<br><br>====================================================================== Pagina 119 ======================================================================

<pre>      Bijlage | A: aanpak evaluatie


      Aanpak en werkwijze | onderzoeksvragen (1/2)

      In de tabel hieronder en op de volgende pagina zijn de specifieke           stand gekomen. Enkele pagina’s verder bij Verantwoording komen er
      onderzoeksvragen opgenomen die als leidraad voor de evaluatie               hier nog kort op terug.
      gediend hebben. Deze zijn in samenspraak met de opdrachtgevers tot

      Nr.   Vraag                                                 Bovenregionaal                                Regionaal
      1.    Hoe is de huidige situatie ontstaan? (van a tot z begrijpen)
      a.    Hoe ziet de totale tijdslijn eruit (start-stopzetten) en welke fasen (bijv. voorbereiding, marktoriëntatie, aanbesteding, ontwikkeling,
            impasse, afwikkeling) en relevante mijlpalen en beslismomenten zijn hierbinnen te onderscheiden?
      b.    Voor elke fase het proces in kaart brengen:           Thema’s: planning, gezamenlijke               Thema’s: interne proces, rol- en
             Wat was het beoogde proces?                         governance, rolverdeling, capaciteit (tijd,   verantwoordelijkheidsverdeling,
             Hoe is het gelopen en waarom is het zo              expertise en middelen), samenwerking,         capaciteit (tijd, expertise en middelen),
                gelopen? Hoe kijken we hierop terug?              communicatie, besluitvorming, sturing, etc.   communicatie, interne aansturing, etc.
      c.    Voor elke mijlpaal en beslismoment de                    Hoe, in welk gremium en op basis van          Hoe, in welk gremium en op basis
            besluitvorming en inhoudelijke overwegingen in            welke overwegingen zijn in elke regio          van welke overwegingen zijn
            kaart brengen.                                            dezelfde besluiten genomen en                  regiospecifieke besluiten genomen
                                                                      waarom?                                        en waarom?
                                                                     Hoe kijken we nu naar de                      Hoe kijken we nu naar de
                                                                      besluitvorming en de basis waarop              besluitvorming en de basis waarop
                                                                      deze gestoeld was?                             deze gestoeld was?


119
</pre>

====================================================================== Einde pagina 119 =================================================================

<br><br>====================================================================== Pagina 120 ======================================================================

<pre>      Bijlage | A: aanpak evaluatie


      Aanpak en werkwijze | onderzoeksvragen (2/2)


      Nr.   Vraag                                              Bovenregionaal                                Regionaal
      2.    Welke lessen kunnen we hiervan leren voor de toekomst? (van z tot a lessen identificeren)
      a.    Wat waren de belangrijkste bevorderende en         Thema’s: planning, gezamenlijke               Thema’s: interne proces, rol- en
            belemmerende factoren (o.b.v. de reconstructie     governance, rolverdeling, capaciteit (tijd,   verantwoordelijkheidsverdeling,
            uit vraag 1)?                                      expertise en middelen), samenwerking,         capaciteit (tijd, expertise en middelen),
             In het proces voor elke fase                     communicatie, besluitvorming, sturing,        communicatie, interne aansturing, etc.
             In de besluitvorming bij elke mijlpaal           (financiële) risico’s en risicobeheersing,,
                                                               etc.
      b.    Voor elke belemmerende factor terugredeneren van ‘z tot a’:
             Wat waren alternatieve handelingsopties gegeven de situatie van dat moment?
            Welke bestaande bevorderende factoren hadden we hier in kunnen zetten?
      c.    Hoe kunnen de bevorderende factoren verder versterkt worden?
      d.    Hoe kan effectief aan de belemmerende factoren tegemoet gekomen worden? Wat is hiervoor nodig?
      e.    Wat vraagt het van de organisaties om de geleerde lessen en aanbevelingen te kunnen borgen?




120
</pre>

====================================================================== Einde pagina 120 =================================================================

<br><br>====================================================================== Pagina 121 ======================================================================

<pre>      Bijlage | A: aanpak evaluatie


      Aanpak en werkwijze | uitgangspunten van de aanpak
      (1/2)
      Bij het invulling geven van een aanpak om de onderzoeksvragen te           We hebben oog voor de verschillende perspectieven én de
      kunnen beantwoorden, hebben we de volgende uitgangspunten                  uitwisseling daartussen
      gehanteerd.                                                                Elk van de organisaties en elk van hun organisatieonderdelen en
                                                                                 werknemers heeft een eigen beeld van hoe het proces gelopen is en
      We kijken terug om te begrijpen en stellen ons oordeel uit                 wat daarin belangrijk was. In elk van die perspectieven zit een kern van
      Veel evaluaties kennen een specifieke aanleiding: iets is niet op de       waarheid. We kennen daar ook geen onderling gewicht aan toe. De
      manier verlopen, zoals vooraf bedoeld was. Het is misschien                waarde van de evaluatie is om elk van die perspectieven recht te doen
      aanlokkelijk om te willen oordelen over de situatie. In onze ervaring is   door onderliggende belangen, zorgen en behoeften te onderzoeken
      het bij organisaties die vooruit willen, vooral zinvol om de situatie te   en begrijpen en de perspectieven met elkaar te verbinden.
      begrijpen. Wat is er precies gebeurd, waarom is het op deze manier
      gebeurd, wat lag daaraan ten grondslag?                                    We zorgen voor eigenaarschap bij de betrokken organisaties
                                                                                 Wij als evaluerende partij zijn slechts passanten, de betrokken
      We hanteren een lerende aanpak: we kijken terug óm vooruit te              organisaties moeten door. De betreffende wethouders moeten
      kunnen kijken                                                              daarnaast het gesprek naar aanleiding van deze evaluatie aangaan in
      De GGD’en moeten in de toekomst nog steeds een nieuw kinddossier           hun colleges en raden. Hoewel de evaluatie objectief uitgevoerd moet
      inkopen of ontwikkelen en dat zo succesvol mogelijk doen. De waarde        worden om maximale waarde te hebben, moeten de uitkomsten
      van de evaluatie is dat lessen voor de toekomst geïdentificeerd en         ervan omarmd kunnen worden door de betreffende GGD’en.
      doorleefd worden, zodat deze daadwerkelijk toegepast kunnen
      worden in de verschillende organisaties en in een eventuele
      toekomstige samenwerking.


121
</pre>

====================================================================== Einde pagina 121 =================================================================

<br><br>====================================================================== Pagina 122 ======================================================================

<pre>      Bijlage | A: aanpak evaluatie


      Aanpak en werkwijze | uitgangspunten van de aanpak
      (2/2)
      We pretenderen niet dat perfecte oplossingen bestaan in
      complexe en weerbarstige projecten als deze
      Dit type ontwikkelprocessen blijken vaak complex en weerbarstig in de
      uitvoering. Er zal er nooit een gegarandeerd perfect proces doorlopen
      worden. We moeten daarom voorkomen we dat we alleen ‘perfecte’
      oplossingen aandragen, die vooral met de kennis van nu evident lijken.
      De te trekken lessen moeten juist handvatten bieden om de
      ingewikkeldheid hanteerbaar te maken. Dit stelt de organisaties ook in
      staat om –in juist dit soort imperfecte en vaak ‘rommelige’ processen–
      om flexibel te opereren.




122
</pre>

====================================================================== Einde pagina 122 =================================================================

<br><br>====================================================================== Pagina 123 ======================================================================

<pre>      Bijlage | A: aanpak evaluatie


      Aanpak en werkwijze | onderzoeksactiviteiten en hun
      invulling (1/2)
      We hebben in deze evaluatie gebruik gemaakt van drie                 We hebben niet kunnen beschikken over de verslagen van de
      onderzoeksmethoden:                                                  bijeenkomsten van algemeen besturen die een besloten karakter
                                                                           hadden en waarvan de verslagen nog niet vrijgegeven zijn.
       1. Documentanalyse
                                                                           Waar we een gehanteerde bron aanhalen, hebben we dat op de
       2. Interviews
                                                                           pagina zelf via een voetnoot aangegeven.
       3. Groepssessies
                                                                           2. Interviews met betrokkenen
      1. Documentanalyse                                                   We hebben een groot aantal interviews met betrokkenen gevoerd.
      Aan de hand van een analyse van documenten hebben we de tijdlijn     Doel daarvan was in de eerste plaats om te kunnen begrijpen wat er
      met kantelmomenten en het overzicht van mandaten opgesteld. Ook      gebeurd is, maar in de tweede plaats ook om de opgestelde tijdslijn te
      hebben documenten geanalyseerd om uitspraken van betrokkenen te      toetsen.
      kunnen verifiëren en in context te kunnen plaatsen.                  De gesprekspartners zijn in samenspraak met de opdrachtgevers
      We hebben ons hierbij gebaseerd op enkele openbare stukken en        samengesteld. Verderop staan de gesprekspartners opgenomen. Eén
      (een deel van) het archief van het programmabureau. Daarnaast zijn   pagina late staan de gespreksvragen opgenomen aan de hand
      nog enkele stukken van de GGD’en gebruikt, zoals de                  waarvan het gesprek gevoerd is.
      mandaatbesluiten.




123
</pre>

====================================================================== Einde pagina 123 =================================================================

<br><br>====================================================================== Pagina 124 ======================================================================

<pre>      Bijlage | A: aanpak evaluatie


      Aanpak en werkwijze | onderzoeksactiviteiten en hun
      invulling (2/2)
      3. Groepssessies: toetsing                                             3. Groepssessie: lessen
      We hebben een conceptversie van de bevindingen (hoofdstukken 3 en      Op basis van de bevindingen (bevorderende en belemmerende
      4) ter toetsing naar alle gesprekspartners gestuurd. Centraal daarin   factoren) hebben we mogelijke lessen geformuleerd richting de
      stonden de volgende vragen:                                            toekomst. In drie werksessies −één bij elke GGD− hebben we met
      ▹ Zijn de bevindingen compleet (bevorderende en belemmerende           gesprekspartners die bij de GGD in kwestie werken op deze lessen
        factoren en de onderbouwing daarvan)?                                gereflecteerd en besproken wat er nodig is om de meest relevante
                                                                             hierin voor de toekomst in de organisatie te borgen.
      ▹ Zijn ze feitelijk correct?
      ▹ Zijn ze voldoende afgewogen en genuanceerd geformuleerd?             Overige
      Voor de gesprekspartners die medewerker van een GGD zijn, hebben       Aan het eind van deze bijlage staan nog enkele noties ter
      we inloopsessies op locatie georganiseerd, waarin zij mondeling        verantwoording opgenomen
      feedback konden geven. De overige gesprekspartners en GGD-
      gesprekspartners die geen gebruik wilden maken van de inloopsessies
      konden hun feedback ook schriftelijk doorgeven. Waar daartoe reden
      was, hebben we de gesprekspartner in kwestie naar aanleiding van de
      feedback nog een terugkoppeling gegeven.




124
</pre>

====================================================================== Einde pagina 124 =================================================================

<br><br>====================================================================== Pagina 125 ======================================================================

<pre>      Bijlage | A: aanpak evaluatie


      Interviews | gesprekspartners

      Voor deze evaluatie hebben we in totaal 38 betrokkenen gesproken,     Daarnaast hebben we één betrokkenen vanuit Hollands-Midden
      veelal individueel, in een enkel geval in tweetallen.                 gesproken, om een scherper beeld te krijgen bij de redenen voor
                                                                            hun terugtrekking.
      Gesprekspartners zijn individueel geselecteerd op het feit dat zij
      ervaringen met het dossier hebben gehad. De groep is tegelijkertijd   Niet gesproken zijn betrokkenen vanuit de leverancier, vanwege de
      collectief zo volledig mogelijk samengesteld, in de zin dat alle      aard van de opdracht en het nog lopende juridische traject ten tijde
      relevante perspectieven erin terug komen:                             van het uitvoeren van de evaluatie.
      ▹ Professionals die lid waren van het Kernteam bouw / Praktijk        Omwille van de gevoeligheid van het dossier en
         ToetsTeam, of verantwoordelijk waren voor de implementatie         privacyoverwegingen hebben we ervoor gekozen om geen namen
      ▹ Medewerkers van de programma-organisatie                            van gesproken betrokkenen te noemen, maar ons tot een globale
      ▹ Oud-product owner                                                   beschrijving van de functies te beperken.
      ▹ Financials vanuit de GGD’en (werkgroep NUT)
      ▹ (oud-)leden van de stuurgroep
      ▹ Directeuren publieke gezondheid
      ▹ (Oud-)bestuurders (veelal ervaren bestuurders die over een
         langere periode ervaringen hebben en voormalig
         portefeuillehouders van het GGiD)
      ▹ Een betrokkene die het inkoopproces mee begeleid heeft.



125
</pre>

====================================================================== Einde pagina 125 =================================================================

<br><br>====================================================================== Pagina 126 ======================================================================

<pre>      Bijlage | A: aanpak evaluatie


      Interviews | gespreksleidraden (1/2)

      Gesprekspartners is ter voorbereiding op het gesprek een eerste         Besluitvorming(sproces)
      versie van de tijdlijn (hoofdstuk 3) en onderstaande                    ▹ Welke beslissingen zijn volgens u van grote / de grootste invloed
      gespreksleidraad toegestuurd (opgenomen zonder inleidende tekst).         geweest op de uitkomsten? Zie hiervoor ook de tijdslijn als nadere
      Tijdslijn                                                                 verdieping.
      Voor dit thema hanteren we geen specifieke gespreksvragen, maar         ▹ Hoe zag het besluitvormingsproces eruit (door wie, in welke
      doorlopen we met u graag chronologisch de belangrijkste                   volgorde, met welke rolverdeling)?
      gebeurtenissen vanaf de start van het aanbestedingstraject tot het      ▹ Welke afwegingen zijn gemaakt bij deze richtinggevende
      stopzetten van de ontwikkeling.                                           beslissingen? Hoe zijn deze afwegingen ter tafel gekomen, en hoe
                                                                                zijn ze gewogen?
      Het verloop van het proces en het beoogde proces
                                                                              ▹ Wat zijn uw ervaringen rondom het proces ter voorbereiding van
      ▹ Hoe heeft uw betrokkenheid in het (inkoop)proces eruit gezien           deze besluitvorming?
        (rol en periode)?
                                                                              ▹ Wat kunt u zeggen over de context waarin deze besluiten
      ▹ Kunt u kort reflecteren op de verschillende fasen in het inkoop- en     genomen zijn (onderlinge dynamiek, periode, etc.)?
        implementatieproces:
                                                                              ▹ Hoe kijkt u persoonlijk terug op deze beslissingen? Welke
      ▹ Wat was het beoogde proces?                                             betekenis hadden de beslissingen in het verloop van het totale
      ▹ Hoe verhielden beoogd en werkelijk proces zich tot elkaar?              proces?
      ▹ Hoe is gaandeweg op het proces gestuurd? Wie had in de sturing
        welke rol en verantwoordelijkheid?                                    Leidraad gaat verder op de volgende pagina.


126
</pre>

====================================================================== Einde pagina 126 =================================================================

<br><br>====================================================================== Pagina 127 ======================================================================

<pre>      Bijlage | A: aanpak evaluatie


      Interviews | gespreksleidraden (2/2)

      Bevorderende en belemmerende factoren in het proces                 ▹ Inzicht in (financiële) risico’s en risicobeheersing;
      Graag lopen we samen met u langs een aantal thema’s, die een rol    ▹ Interne processen binnen de afzonderlijke GGD’en;
      gespeeld kunnen hebben in het voorbereidings-, het aanbestedings-   ▹ De rol- en verantwoordelijkheidsverdeling binnen het
      en het ontwikkelproces. We zijn geïnteresseerd in thema’s die op      projectteam.
      bepaalde momenten het proces ten goede kwamen (bevorderend          ▹ Welke van bovenstaande thema’s werkten op verschillende
      waren) of die een knelpunt vormden (belemmerende factoren).           momenten bevorderend dan wel belemmerend en wat was daar
      Denk bij deze thema’s aan:                                            precies de oorzaak van?
      ▹ Planning van het inkoopproces (de volgordelijkheid van            ▹ Welke andere thema’s ziet u eventueel die relevant zijn geweest in
        activiteiten en beschikbare tijd daarvoor);                         het proces van voorbereiding, aanbesteding en ontwikkeling?
      ▹ Gezamenlijke governance (werkwijze om GGD-overstijgend af te
        stemmen en besluiten te nemen / coördineren);
      ▹ Rol- en taakverdeling tussen én binnen GGD’s;
      ▹ De capaciteit (tijd, expertise en middelen) van betrokkenen;
      ▹ De onderlinge samenwerking en communicatie tussen en binnen
        de GGD’s (meer op informeel vlak dan de governance hierboven);
      ▹ (Interne) aansturing op medewerkers en processen;




127
</pre>

====================================================================== Einde pagina 127 =================================================================

<br><br>====================================================================== Pagina 128 ======================================================================

<pre>      Bijlage | A: aanpak evaluatie


      Verantwoording

      Selectie                                                                  gesprekken een signaal kregen, dat we op basis van
      Er is in de loop van het dossier veel gebeurd, zowel wat betreft de       documentanalyse konden verifiëren. Sommige bevindingen konden
      ontwikkelingen (kantelmomenten) als de omstandigheden die van             echter simpelweg schriftelijk niet geverifieerd worden. In dat soort
      invloed zijn geweest op elk van die kantelmomenten (bevorderende          gevallen vereisten we dat verschillende gesprekspartners met
      en belemmerende factoren). Gelet op de omvang beschrijven we              verschillende achtergronden en ervaringen hetzelfde punt
      hier welke afwegingen een rol hebben gespeeld bij wat wel en niet in      aandroegen. Voor de impact hebben we ons eveneens gebaseerd
      deze rapportage is opgenomen.                                             op (verschillende) gesprekspartners. In aanvulling daarop hebben we
                                                                                (veelal bij de bevorderende en belemmerende factoren) gebruik
      Er was niet sprake van één werkelijkheid, maar van evenzoveel             gemaakt van gedachten-experimenten: hoe had de werkelijkheid
      werkelijkheden als gesprekspartners. Ieder had eigen ervaringen, die      eruit gezien als alleen deze factor anders was geweest?
      veelal overlapten maar nooit volledig overeenkwamen met die van
      de andere gesprekspartners. Om te beoordelen wat we wel en wat            Er is een aantal aangedragen factoren dat na bovenstaande toetsen
      niet op zouden nemen, hebben we de volgende criteria gehanteerd:          niet in de lijst met verklaringen is opgenomen. We hebben deze in
      ▹ Plausibiliteit: het is voldoende aannemelijk dat iets gespeeld heeft;   Verdieping C opgenomen.
      ▹ Impact: het is voldoende aannemelijk dat iets een grote invloed         Herleidbaarheid
         heeft gehad op de uiteindelijke uitkomst.                              Omwille van de gevoeligheid van het dossier en
                                                                                privacyoverwegingen hebben we ervoor gekozen om bevindingen zo
      We hebben hierop getoetst aan de hand van ‘triangulatie’: een
                                                                                te formuleren dat zij niet herleidbaar zijn tot wie het gezegd heeft en
      bevinding wordt meer plausibel wanneer deze door verschillende
                                                                                zo min mogelijk tot over wie het gaat.
      type bronnen ondersteund wordt. Typisch is het geval dat we vanuit


128
</pre>

====================================================================== Einde pagina 128 =================================================================

<br><br>====================================================================== Pagina 129 ======================================================================

<pre>Inhoudsopgave


1.   Samenvatting

2.   Introductie: aanleiding, opdracht en methode

3.   Reconstrueren: tijdlijn, mijlpalen & beslismomenten

4.   Begrijpen: bevorderende en belemmerende factoren in proces

5.   Leren & borgen: lessen en aanbevelingen voor de toekomst

6.   Verdieping bij hoofdstukken 3 en 4

7.   Bijlagen | B: verklarende woordenlijst
</pre>

====================================================================== Einde pagina 129 =================================================================

<br><br>====================================================================== Pagina 130 ======================================================================

<pre>      Bijlage | B: verklarende woordenlijst


      Verklarende woordenlijst | gebruikte termen en
      afkortingen
      Gebruikte termen                                                                                                        Gebruikte afkortingen
      ▹ Agile / Scrum| Kortcyclische werkwijze (of filosofie), ontstaan vanuit softwareontwikkeling, waarbij een nieuw te
        ontwikkelen product stapsgewijs in kleine iteraties (sprints) wordt uitgewerkt. Hoe men bij het gewenste              ▹   AB | Algemeen bestuur (van een GGD)
        eindresultaat uitkomt, staat vooraf niet vast. Continu leren in feedbackloops en het ‘wendbaar’ bijsturen op          ▹   BC | Bestuurscommissie (van een GGD)
        veranderingen in het proces staan daarom centraal.                                                                    ▹   DB | Dagelijks bestuur (van een GGD)
      ▹ Epics | Een gedefinieerd deelresultaat en de taken die een software-ontwikkelteam moet vervullen om daar te           ▹   DD | Digitaal dossier
        komen                                                                                                                 ▹   DPG | Directeur Publieke Gezondheid
      ▹ Kernteam bouw | Team binnen de programmaorganisatie met professionals van de GGD’en dat gedurende het                     (van een GGD)
        ontwikkeltraject voor het GGiD meekeek op aansluiting van de deelproducten op de behoeften van de werkvloer           ▹   GAT | Gebruiksersacceptatietest
        (later Praktijktoetsteam).
                                                                                                                              ▹   GGDrU | GGD regio Utrecht
      ▹ Product owner | Lid van een agile ontwikkelteam verantwoordelijk voor de aansluiting van eind- en deelresultaten
                                                                                                                              ▹   HN | Hollands Noorden
        op de behoeften van de klant. Stelt prioriteiten voor sprints, ondersteunt het ontwikkelteam, stemt af met de klant
        en houdt oog voor de planning.                                                                                        ▹   JGZ | Jeugdgezondheidszorg
      ▹ Sprint | Vast tijdsframe (bv. 2 weken) waarbinnen een agile ontwikkelteam toewerkt naar een specifiek doel. In de     ▹   KTB | Kernteam bouw
        scrumwerkwijze volgen sprints elkaar op, steeds met een opnieuw vastgesteld doel.                                     ▹   PO | Product owner (zie links)
      ▹ Stories | Deeltaken- en resultaten die gezamenlijk een epic vormen.                                                   ▹   PvE | Programma van Eisen
      ▹ Translator | Professional met de rol om technische materie te vertalen naar betekenis voor de eindgebruiker van       ▹   Tw | Twente
        een systeem en vice versa.
      ▹ Use cases | Een use case beschrijft specifiek ‘gedrag’ dat een software product moet vervullen bij interactie met
        actoren: wie met een betreffend systeem wat kan doen. Deze beschrijvingen worden gebruikt in het definiëren
        van de eisen (requirements) waaraan een systeem moet voldoen.



130
</pre>

====================================================================== Einde pagina 130 =================================================================

<br><br>====================================================================== Pagina 131 ======================================================================

<pre>     Meer
     weten?


(030) 236 30 30
Andersson Elffers Felix
www.aef.nl
Mail@aef.nl


                          13-10-2023
</pre>

====================================================================== Einde pagina 131 =================================================================

<br><br>