Skip to content

Sikkerhetsnett for manglende strata #125

@vegardlysne

Description

@vegardlysne

I noen tilfeller kan det forekomme at et helt strata mangler. Dette skjedde f.eks. for sosialhjelp for aldersgruppen 18-19 for bydeler i 2017. Dette medførte problemer for aldersgruppen 18-24 da teller og nevnerfil ikke rektanguleres for å dekke manglende rader før omkoding.

I filgruppe kan det legges inn en sjekk av at alle strata finnes i filen, og kanskje rektangularisere denne. Det vil kunne gi større filgruppe-filer, men med .parquetformat burde det ikke gi veldig store utslag.

Alternativt kan dette legges inn i omkodingen av teller- og nevnerfil dersom noen av de ønskede verdiene er udekket (eks mangler aldersgruppen 18-19 som skal inngå i aldersgruppen 18-24). Det må i såfall brukes informasjon om disse tallene skal regnes som implisitte nuller og dermed kan inngå i en sum, eller om de er faktisk missing og skal resultere i at summen ikke kan beregnes.

Det enkleste er nok å lage ferdig rektangulære filgruppe-filer, og flagge radene avhengig av om det skal være implisitt null eller ikke. Denne informasjonen er satt i filgruppe-tabellen og er tilgjengelig ved dette tidspunktet. Ved kombinasjon av flere aldersgrupper til en større gruppe vil det største flagget bevares, slik at om 18-19 faktisk er missing og flagget som det, så vil det slå ut aldersgruppen 18-24, men om den er implisitt 0 vil det gå fint å summere opp.

Konsekvensen av dette vil være at filgruppene vil kunne bli større enn i dag, men det vil sikre mot tilsvarende problemer i fremtiden.

@raniets, har du noen innspill her?

Metadata

Metadata

Labels

enhancementNew feature or request

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions