Krijgt u subsidie op een thuisbatterij?

Wat we wél deden, op 5 september 2026: van 340 van de 342 gemeenten de eigen website doorzocht, langs twee wegen. Bij 332 ging dat via haar sitemap — 281.895 regels uit die sitemaps, waarvan er 686 op een woord stonden dat naar zo'n bericht wijst. Dat zijn regels en geen adressen: bij het natellen op de 318 gemeenten waarvan de sitemap sindsdien onveranderd is, bleken 3.122 van de 267.785 regels een adres dat er al stond. Vier van die sitemaps tellen daarin anders dan de rest, wat op 6 september 2026 is nageteld: van Amsterdam staan 4.682 regels wél in zo'n bestand, maar hij liet ons er geen enkele pagina van lezen — die tellen hier dus niet mee. Bij twee andere gemeenten telt juist een tweede meting van hun eigen website mee. Samen scheelt dat 2.012 regels met een kale optelling. Andersom kwam ook voor en dat weegt zwaarder: bij 2 gemeenten las ons eigen gereedschap minder dan er stond. Bij Olst-Wijhe waren dat 5.239 van de 18.683 adressen. De 5 adressen die wij daardoor nooit ophaalden zijn alsnog gelezen, en er stond geen waarschuwing bij. Hoe vaak zoiets ongemerkt kon gebeuren, is op 6 september 2026 nageteld: van de 767 sitemapbestanden die deze gemeenten aanwijzen, zijn er 378 waarbij een mislukte ophaling geen enkel spoor zou hebben nagelaten — bij de overige 389 houdt de gemeente nul adressen over, en nul valt op. Van de 690 pagina's die de zeef die dag doorliet, leverden er 686 tekst op; 3 adressen staan nog in de sitemap van hun gemeente terwijl de pagina er niet meer is, en 1 was een hapering die bij een herkansing gewoon antwoordde. Welke website van welke gemeente is, komt uit het Register van Overheidsorganisaties, overheid.nl; bij 29 gemeenten weken wij daarvan af en zijn die opnieuw doorgezocht. Bij de andere 8 was er geen sitemap die wij konden lezen en hebben wij de eigen zoekfunctie van de gemeente bevraagd op 12 woorden, wat 307 pagina's opleverde om te lezen. Die weg ziet minder dan een sitemap: wat de zoekfunctie van de gemeente niet teruggeeft, zien wij daar niet. Bij diezelfde 8 hebben wij daarnaast hun hele nieuwsarchief doorlopen en alle 896 pagina's zelf gelezen. 10 daarvan bleken bij nameten geen bericht maar een maandoverzicht, dus het gaat om 886 berichten. Een etmaal later hebben wij diezelfde overzichten adres voor adres opnieuw gelezen: 9 van de 10 waren onveranderd, en er waren 2 berichten verwijderd — geen van beide noemde een batterij of een verkoper. Er kwam niets bij, maar dat zegt weinig: die meting liep van een zaterdag op een zondag. Hoe snel zo'n overzicht wél groeit, hebben wij aan de publicatiedatums geteld die de 919 berichten zelf dragen: samen tonen deze overzichten 13,45 berichten per week. Dat gemeenten in het weekend nauwelijks publiceren is daarmee geen aanname meer: 15 van die 919 verschenen op een zaterdag of zondag. Dat is het tempo waarin een overzicht berichten toont en niet waarin een gemeente publiceert — zo'n overzicht houdt op bij een vast aantal. Bij die tweede ronde stonden er ook 2 berichten die wij eerder hadden moeten zien: ze dragen een oudere datum, ze staan op hun eigen plek in de rij, en toch vonden wij ze op 5 en 6 september niet. Waarom niet, weten wij niet. Geen van beide noemt een batterij of een verkoper, maar het betekent dat "nul treffers" bij deze gemeenten een marge heeft die wij niet kennen. Wij hebben die oorzaak langs 6 wegen gezocht. Vijf ervan vragen het aan de gemeente zelf en geven geen uitsluitsel. Het cms van deze twee gemeenten publiceert geen wijzigingsdatum, geen sitemap en geen feed, en hun berichten dragen geen nummer waaraan de volgorde van aanmaken is af te lezen. Het webarchief kan het hier evenmin zeggen: het bewaart van deze gemeenten geen enkel nieuwsbericht, ook niet de berichten die wij wél zagen — dus dat het de twee gemiste niet heeft, betekent niets. Wat wij wél konden meten, wijst geen van beide kanten op: over 5 oogsten kwam geen enkel van de 929 adressen terug nadat het was verdwenen, en tien oogsten achter elkaar gaven bij deze twee gemeenten steeds dezelfde adressen. Het aantal adressen is daarvoor trouwens de verkeerde maat, en wel in ons nadeel: een adres dat pas in de vierde oogst verscheen, kan in de tweede niet zijn overgeslagen. Geteld op de keren dát een adres had kunnen ontbreken terwijl het er wél stond, zijn het er 2.721, en geen daarvan ging mis. Ook dat blijft een uitspraak over hoe wisselvallig onze leesweg is, en niet over waar hij blind voor is: een leesweg die een bepaald soort adres altijd overslaat, doet dat in alle oogsten hetzelfde en laat geen spoor na dat deze telling kan zien. Dat een leesweg zelden faalt is alleen iets anders dan dat hij niet faalt, en die metingen zijn van 7 september en niet van 5 september. De zesde weg vraagt het niet aan de gemeente. Common Crawl, een open archief dat het web in periodes doorloopt, bewaarde het Hengelose nieuwsoverzicht op 12 augustus 2026, twee dagen na de datum die het gemiste bericht zelf draagt. Op die bewaarde pagina staan 5 berichten van nieuw naar oud, en zij staan alle 5 in onze eigen oogst. Het gemiste bericht staat er niet bij, terwijl zijn plek in de rij openlag: zijn datum valt tussen de oudste en de jongste op die pagina. Dat toont aan dat dit bericht niet vanaf zijn eigen datum op het overzicht stond. Het toont niet aan dat wij het niet gemist hebben — tussen die pagina en onze oogst van 5 september heeft niemand gekeken, en in die drie weken kan het er alsnog op zijn gekomen. Over het Wijdemeerse bericht zegt deze weg niets: het draagt 2 september en de jongste crawl eindigde op 20 augustus. Diezelfde bron is daarna over de andere acht overzichten gelegd. Van 8 overzichten konden er 6 iets aanwijzen; bij de andere twee heeft Common Crawl geen bruikbare momentopname, en daar zit het grootste overzicht van de tien bij. Over die zes samen bewaarde hij 128 momentopnamen uit juli en augustus met 370 berichtadressen erop, waarvan er 190 in onze eigen oogst zitten. 20 adressen stonden binnen ons venster op zo'n bewaarde pagina en niet in onze oogst. Eén daarvan bleek hetzelfde bericht onder een ander adres — de gemeente had het pad gewijzigd — en van de overige 19 is er 0 nog bereikbaar als pagina: 17 geven hetzelfde antwoord als een adres dat nooit heeft bestaan, en bij 2 blijft het antwoord onbepaald. Deze bredere ronde vindt dus geen bericht dat wij hadden moeten hebben. Zij maakt de marge niet kleiner: tussen die bewaarde pagina's en onze oogst van 5 september heeft opnieuw niemand gekeken. Er is daarnaast een gat dat wij wél kennen. Vijf van deze overzichten tonen zelf hoeveel berichten zij hebben: samen 402, waarvan onze oogst er 397 zag. Die 5 misten wij door onze eigen regel voor wat een nieuwsadres is; ze zijn alle vijf alsnog gelezen en geen ervan noemt een batterij of een verkoper. Een dag later stond dat gat er onveranderd, terwijl die overzichten wél 6 berichten aangroeiden — de regel is dus nog niet aangepast, en een volgende ronde snijdt dezelfde berichten opnieuw weg. Bij de andere overzichten kan dat niet: zij publiceren geen eigen telling, en die dragen samen 530 van de 927 opgehaalde adressen — daar blijft "nul treffers" een nul zonder gemeten marge. Er is inmiddels een tweede manier om zo'n gat te zien, en die heeft hun telling niet nodig. Op een overzicht dat pagineert staat een bericht op precies één pagina en staat het menu op alle. Van de 285 adressen die onze regel afwees, staan er 8 op precies één pagina, en dat zijn exact de berichten die wij misten; er staat er geen enkele tussen die twee groepen in. Wat die telling draagt is een ijking die niet van ons komt: tel per overzicht alles wat op één pagina staat, en je houdt het aantal berichten over dat de gemeente zelf in zijn HTML noemt — bij 6 van de 6 overzichten die zo'n telling publiceren. Als tegenproef: van de 881 adressen die onze regel wél doorliet, wijst deze telling er 871 aan, en de 10 die overblijven zijn geen berichten maar maandoverzichten. Deze manier zit nog niet in onze oogst: het is een meting, en wat wij aan onze eigen regel veranderen is nog niet besloten. Ook dat vervangt een sitemap niet: van de 15 waarschuwingen hieronder staan er 7 niet in een nieuwsarchief maar op een gewone pagina. De overige 2 gemeenten konden wij niet doorzoeken: 1 × de gemeente verbiedt in haar robots.txt elke crawler haar hele website, en handhaaft dat met een 403; 1 × de gemeente beantwoordt elk van 22 verzoeken met een 403, ook robots.txt en haar gewone pagina's, zodat er niets te lezen valt; Wij hebben op 6 september 2026 van alle 342 gemeenten nagekeken of hun robots.txt geautomatiseerd lezen toestaat. 1 van hen verbiedt het voor haar hele website, en dat is precies de gemeente hierboven. Van de 684 pagina's die wij werkelijk ophaalden vielen er 3 onder een verbod op een deel van de site, bij 2 gemeenten. Die hadden wij niet moeten ophalen. Geen van de waarschuwingen hieronder komt van zo'n pagina. Diezelfde toets is daarna over onze twee andere leeswegen gegaan — de nieuwsarchieven en de zoekfuncties — en dat zijn nog eens 1.132 adressen, waarvan er 0 onder een verbod vielen. Bij 717 van die adressen viel er niets te toetsen, bij 2 gemeenten. Bij Lelystad ging het om 502 adressen en haar robots.txt bevat geen enkele User-agent-regel, alleen vier Sitemap-regels. Bij Haaksbergen ging het om 215 adressen en op /robots.txt staat geen tekstbestand maar een HTML-foutpagina van 25.369 tekens. Alleen: het adres dat wij vragen is niet altijd het adres dat antwoordt. 514 van deze adressen worden doorgestuurd naar een andere server (www.lelystad.nl naar www.gemeentelelystad.nl), en díé publiceert wél regels: 20 stuks, waaronder “Disallow: /4/Lelystad/Onzichtbaar/*”. Leggen wij elk adres tegen de robots.txt van de server die het werkelijk gaf, dan zijn er geen 415 maar 929 van de 1.156 getoetst, en vielen er 0 onder een verbod. Wat dan overblijft zijn de 227 adressen van Haaksbergen, waar zijn server op dat adres een foutpagina teruggeeft en dus geen enkele regel om tegen te leggen. Of www.lelystad.nl op 5 september al omleidde, is niet vast te stellen: de oogst legde het eindadres niet vast en het webarchief heeft van www.lelystad.nl/4/Lelystad/Nieuws* sinds 1 juli 2026 geen momentopname. Wanneer wij een gemeente wél en niet doorzoeken hangt af van wat haar robots.txt antwoordt, en die regel volgt RFC 9309, Robots Exclusion Protocol: 22 van de 342 gemeenten publiceren er geen die wij konden lezen. Dit zijn de antwoorden die wij kregen: 319 × 200 met een leesbaar bestand dat ons niets verbiedt — doorzocht, want wij volgen de regels die er staan, en geen ervan sluit ons uit; 1 × 200 met een leesbaar bestand dat ons het hele domein verbiedt — niet doorzocht, want wij volgen de regels die er staan, en die verbieden ons alles; 19 × 404 — de gemeente publiceert geen robots.txt — doorzocht, want de norm noemt een 4xx uitdrukkelijk toestemming om alles te lezen; 2 × 302 naar een foutpagina die zelf 200 geeft — doorzocht, want een HTML-foutpagina levert nul leesbare regels op, en nul regels verbieden niets; 1 × 403 op élk verzoek, ook op de gewone pagina's — niet doorzocht, want de norm zou dit toestaan, maar wij doen het niet omdat de server ons niets levert; Bij Haaksbergen loopt dat zo: 302 → /Home/Beheer/Meta/Sorry.html, die 200 geeft (25.369 tekens HTML). Daar staat dus geen enkele leesbare regel in. Wij haalden er 215 pagina's op. Bij Loon op Zand loopt dat zo: 302 → /pagina-niet-gevonden, die 200 geeft (11.017 tekens HTML). Daar staat dus geen enkele leesbare regel in. Wij haalden er 0 pagina's op. Dat laatste is bij Apeldoorn geteld en niet aangenomen. Zijn server beantwoordt 22 van onze 22 verzoeken — op 10 paden en 3 adresvormen — met dezelfde weigering: “Request forbidden by administrative rules.” Er valt daar niets te lezen, en dat is de reden, niet dat wij niet weten wat hij toestaat. Deze gemeenten hebben ons niets toegestaan maar alleen niets verboden, en dat is niet hetzelfde. Ook binnen die 340 kan een bericht ons zijn ontgaan: een gemeente hoeft haar berichten niet in haar sitemap te zetten, en een pagina zonder herkenbaar woord in het adres halen wij niet op. Hoeveel dat laatste scheelt, hebben wij bij 12 van die gemeenten nagemeten door er élk adres op te halen: 10.863 in plaats van de 34 die zo'n woord in hun adres dragen. 165 daarvan gaven geen antwoord en zijn dus niet gelezen. Dat leverde geen enkele waarschuwing op die wij anders gemist zouden hebben — maar in díé 12 gemeenten staat ook geen waarschuwing die wij al kennen, dus het zegt niet dat er nooit een buiten dat filter valt. Op 6 september 2026 is deze ronde opnieuw gedraaid, en dat legde een fout in onze eigen telling bloot: Emmen en Haarlemmermeer stonden hierboven als doorzocht meegeteld en waren het niet, want wij zochten hen op een domein van een naamgenoot. Er waren er dus 338 doorzocht en geen 340; dat viel niemand op omdat er tegelijk twee gemeenten in twee groepen tegelijk zaten, en die vier heffen elkaar in een optelling precies op. Beide zijn alsnog doorzocht (2.671 adressen, nul waarschuwingen), zodat het er nu 340 zijn. In diezelfde ronde ging het bij ons ook mis: onze sweep kende de regel hierboven niet en haalde de sitemap van Amsterdam alsnog op — 4.677 adressen, en 3 pagina's die alle drie een 403 gaven, dus gelezen is er niets. Dat is niet ongedaan te maken en staat er daarom bij.

En één ding dat wij hierboven over onszelf hebben moeten bijstellen. Bij Tilburg staat dat zijn twee sitemapbestanden “vijf van de vijf keer” een 403 gaven. Dat waren geen vijf metingen: zijn server stuurt bij die 403 een Age-header mee, en daaruit blijkt dat het antwoord al klaarlag. Onze 89 herkansingen kregen allemaal hetzelfde opgeslagen antwoord, genomen om 16:13 uur en daar nog 30 dagen geldig. Het lag ook niet aan onze acht gelijktijdige verbindingen: een adres dat wij nog nooit gevraagd hadden, gaf acht keer tegelijk acht keer een 200, en daarna los opnieuw. Zijn sitemap is gewoon te lezen — 817 adressen — alleen niet op het adres dat zijn eigen index noemt. Wat wij daarna deden klopt evenmin met wat wij erbij schreven: wij zochten hem via zijn zoekfunctie omdat wij zijn robots.txt niet zouden kunnen lezen, maar die stond diezelfde nacht al in onze eigen bestanden — en hij verbiedt met “Disallow: /zoeken/” precies het pad waarlangs wij 14 verzoeken deden. De uitkomst van die ronde (nul treffers) verandert daar niet door; de grond eronder wel.

Dezelfde vraag is daarna aan de acht anderen gesteld. Bij hen liep de ronde ook via een zoekfunctie, en het adres waarmee je een zoekfunctie bevraagt is een ander adres dan de pagina's die eruit komen — alleen dat tweede was hierboven getoetst. Alle 112 zoekadressen van die 8 gemeenten zijn nu tegen hun eigen robots.txt gelegd: 0 vielen er onder een verbod — en dat is een toevalligheid van hún bestand en geen zorgvuldigheid van ons. Dat die nul iets meet en niet onze vergelijker, blijkt eruit dat Tilburg met dezelfde vergelijker en dezelfde veertien adressen wél op veertien van de veertien uitkomt. Wij kozen die paden namelijk niet omdat ze toegestaan waren, maar omdat het zoekformulier van de gemeente ze noemde. Van de 218 robots.txt-bestanden die wij konden lezen verbiedt 109 er een zoekpad, en bij 4 van deze acht gemeenten liep onze ronde over een pad dat bij andere gemeenten wél dichtstaat: /Zoekresultaten staat bij 26 van hen dicht (aa-en-hunze: Disallow: /Zoekresultaten); /zoekresultaten staat bij 10 van hen dicht (dongen: Disallow: /zoekresultaten); bij déze gemeenten stond het toevallig niet in hun bestand. Die nul betekent bovendien bij niet alle acht hetzelfde, en zwijgen is geen toestemming: 1 staat het uitdrukkelijk toe (“Allow: /”), 5 zwijgen erover, en bij 2 viel er niets te lezen — bij Haaksbergen omdat daar op /robots.txt een HTML-foutpagina van 25.369 tekens staat en geen tekstbestand; bij Lelystad omdat zijn robots.txt van 212 bytes geen enkele regel voor de *-groep voert; dat zijn drie verschillende dingen. Twee van hen verbieden trouwens wél een zoekpad, alleen niet het pad dat wij namen: Zutphen voert “Disallow: /search/” terwijl wij /zoek?search= vroegen; Helmond voert “Disallow: /?id=ZOEKENMETCONCEPT” terwijl wij /zoekresultaten?q= vroegen; dat is iets anders dan niets verbieden. Bij Lelystad liep het verzoek net als hierboven door naar www.gemeentelelystad.nl, en dáár staan wel 20 regels — ook die raken ons pad niet.

En daarmee was er nog één vraag over, aan onszelf. Als een herkansing bij Tilburg niets mat, dan geldt dat overal waar wij “vijf van de vijf keer” schrijven. De 7 andere plekken waar dit werk dat doet zijn nu alle nagekeken, en daar houdt de uitkomst wél — wat die uitslag waard is, blijkt eruit dat dezelfde meting Tilburg zelf nog steeds als opgeslagen aanwijst en Dronten niet. Bij 4 van hen stond er geen enkele cachevlag op het antwoord, en dan zegt een header niets. Daar is het anders gemeten: met adressen die een willekeurige parameter dragen en dus in geen enkele cache kúnnen liggen. Alle 3 gaven hetzelfde antwoord als het gewone adres — terwijl datzelfde adres bij Tilburg juist wél omslaat, van 403 naar 200. Dat bewijst dat die uitkomsten niet aan een opgeslagen antwoord hingen; het bewijst niet dat elke herhaling van toen een eigen antwoord kreeg. En het is de opstelling van vandaag: wat een server een week geleden bewaarde, is achteraf niet meer te meten.