1Klikk for å redigere undertittelstil i malen

TidskapselenDigital langtidslagring i Arkivverket

16.11 2016 – Ole Myhre Hansen, Fagdirektør, Arkivverket

Arkivverket

Riksarkivaren

Riksarkivet og Statsarkivene

Samisk arkiv

Helsearkivet

Ny organisasjon fra 1. november 2016

Én organisasjon, 10 tjenestesteder

Digitalt depot er del av den generelle Depottjenesten i organisasjonen

Tidskapselen

Kongesegl oppbevart i Riksarkivet.Magnus 6. (Håkonsson) Lagabøte 1263-1280

Er det mulig å overlevere et digitalt skapt objekt til ettertidenmed samme status som dokumenter med seglet over?

• Digital informasjon kan enkelt endres og manipuleres

• Digitale arkiver kan ikke bevares statiske. De er i en prosess med stadig transformasjon gjennom hele livssyklusen

- til fundamental forskjell fra papirarkiver

• Men hvordan kan folk stole på at stadig omskapt arkiv-materiale fortsatt er autentisk?

• Hva svarer vi når det settes søkelys på hva ulike aktører har hatt mulighet for å endre?

• Hvordan lar det seg bekrefte at en aktør kun har foretatt de endringer som sies å være utført?

Integritet og autentisitet

Tidskapselen

• Hvordan skal Arkivverket og andre arkivinstitusjoner• Kunne garantere for ekthet på digitalt skapt materiale?• At informasjonen er Autentisk ?• At integriteten ikke er kompromittert?

• Over tid?

• Om 800 år?

TILLIT

Hvordan skape «Tidskapselen»

• In 1996 the Task Force on Archiving of Digital Information (reference [B1]) declared, ‘a critical component of digital archiving infrastructure is the existence of a sufficient number of trusted organizations capable of storing, migrating, and providing access to digital collections’.

• The task force saw that ‘trusted’ or trustworthy organizations could not simply identify themselves. To the contrary, the task force declared, ‘a process of certification for digital archives is needed to create an overall climate of trust about the prospects of preserving digital information’.

• https://www.clir.org/pubs/reports/pub63watersgarrett.pdf

Hva er Arkivverkets digitale depot?

• Det digitale depotet er ikke kun ett eller flere fysiske rom hvor arkivmateriale oppbevares. Det er i like stor grad forvaltningsrutiner og -metode.

• På overordnet nivå kan man si at det digitale depotet består av to deler:• Rutiner i håndteringen (mottak, validering, sikring, vedlikehold

tilgjengeliggjøring) av deponert og avlevert materiale• Det digitale sikringsmagasinet (DSM)

• Det digitale sikringsmagasinet, består igjen av tre ulike deler:• Et dedikert forvaltningssystem• Et dedikert nettverk• Ulike lagringsmedier

Hva er Arkivverkets digitale depot?

• Rutinene, metodene, sikringen og vedlikeholdet skal legge til rette for at omverdenen og ettertiden skal kunne stole på det digitalt skapte arkivmaterialet som Arkivverket har mottatt.

• Arkivmaterialet skal kunne benyttes som dokumentasjon på transaksjoner og handlinger utført av forvaltningen, bedriften eller personen.

• Man kan hevde at standardene, metodikken og den etablerte infrastrukturen er rigget for å møte kravet og forventningene om at offentlig og privat arkivmateriale skal beholde sin «autentisitet og integritet» over tid.

• Elmag (2005-2010) (p.t. Elmag-3):

- Ny depotløsning for Arkivverkets digitalt skapte arkivmateriale

Ny lagringsløsning (disk + tape)

Ny organisering av arkivpakker (iht. OAIS og TRAC)

Nytt forvaltningssystem for arkivpakker

• DIAS (2010-2012) (”Digital arkivpakkestruktur”):

- Et samarbeidsprosjekt mellom Arkivverket og 4 kommunale aktører

Løsnings-/teknologiuavhengig - Behandler ikke lagringsløsning

Utdyper og generaliserer arkivpakkemodellen fra Elmag-2

Utvikler norsk standardmodell for arkivpakkestruktur med tilhørende XML-skjemaer

Spesifiserer generelle krav til forvaltningssystem for arkivpakker (Repository-system)

http://arkivverket.no/arkivverket/Arkivbevaring/Elektronisk-arkivmateriale/Langtidslagring/Digitalt-depot

Prosjekter fram mot en metode

• For å etablere beste praksis innen feltet, forholder Arkivverket seg til to ISO-standarder:

• ISO 14721:2012 er en videreføring av rammeverket OAIS og beskriver arbeidsflyt, ulike stadier og bestanddeler som inngår i et digitalt depot.

• ISO 16363:2012 er en videreføring av den såkalte TRAC-standarden og tar mål av seg å definere beste praksis for å kunne hevde å ha et «trustworthydigital repository».

… fram mot en metode

OAIS – Open Archival Information System

ISO 14721:2012

OAIS and TRAC

OAIS-begreper

• Information packages• AIC – Archival Information Collection (Arkiv generasjonssamling)

• SIP – Submission Information Package (Innleveingspakke)

• AIP – Archival Information Package (Arkivpakke)

• DIP – Dissemination Information Package(Tilgjengeliggjringspakke)

• AIU – Archival Information Unit (Arkivdokumentasjon)

TRAC

• Brukt som sertifisering og referanseramme

Data producers (creators, providers andowners) are responsible for archiving theirdigital content to ensure the objects arepreserved

Principles and Good Practice for Preserving DataInteruniversity Consortium for Political and Social Research (ICPSR) 2009

Informasjonsforvaltning

Dokumentasjonsforvaltning

Arkiv

Hva er – og gjør – ADDML?

• Innen informasjonsforvaltningen svever det store mengder data til enhver tid

• Dokumentasjonsforvaltningen tar vare på informasjon som skal oppbevares innenfor en kortere eller mellomlangt tidshorisont

• Arkiv skal sikres til evig tid !

Arkivbegrensning og kassasjon

Hva er – og gjør – ADDML?

• Innen informasjonsforvaltningen svever det store mengder data til enhver tid (legge til rette for kvalitet og effektivitet)

• Dokumentasjonsforvaltningen tar vare på informasjon som skal oppbevares innenfor en kortere eller mellomlangt tidshorisont (imøtekomme virksomhetens og samfunnets krav)

• Arkiv skal sikres til evig tid ! (imøtekomme ettertidens krav)

Arkivbegrensning og kassasjon

Data producers might meet this obligationby depositing data to be preserved in acertified digital archive (one that meetsthe current definition of a trusted digitalrepository)

Principles and Good Practice for Preserving DataInteruniversity Consortium for Political and Social Research (ICPSR) 2009

Hva er – og gjør – ADDML?

• Det norske arkivlandskapet:

• Arkivverket: • Betjener statlig sektor (regionalt og sentralt)• Private arkivskapere

• Byarkiver, fylkesarkiver og kommunearkiver: • Betjener lokal sektor• Private arkivskapere

• IKAer: • Kommunal sektor• Private arkivskapere

• KDRS: • Kommunenes digitale ressurssenter

Ansvar og institusjoner i Norge

Data producers (or the digital archivesthey engage) should select data forpreservation so that sufficient resourcescan be designated to maintain the dataover time

Principles and Good Practice for Preserving DataInteruniversity Consortium for Political and Social Research (ICPSR) 2009

Hva er – og gjør – ADDML?

• Det er egne rutiner for Bevaring og kassasjonsvedtak

• Hva skal tas vare på og hva skal kasseres, (NOARK m.v.)• Standarder bør utvikles bredt

• Skal dokumenteres i Arkivplaner

• Ideelt sett skal dette gjennomføres for alle systemer og alle virksomheter

• Her svikter vi?

• Er metodikken ikke tilstrekkelig «modernisert»?

Hva gjør vi?

Data selected to be preserved must bepackaged and prepared for preservationwith sufficient metadata and in formatsthat are able to be preserved (e.g. avoidingsoftware-dependent formats wherepossible, embracing ASCII and now XMLformats)

Principles and Good Practice for Preserving DataInteruniversity Consortium for Political and Social Research (ICPSR) 2009

Hva er – og gjør – ADDML?

• Vi har tatt i mot flate filer (faste postlengder og csv) inntil 2005 • (og fremdeles kommer det noe)

• Vi foretrekker XML i dag

• Data lagres i strukturer ala relasjonsdatabaser

• Vi tar vare på dokumentasjonen og beskriver funksjonen

• Vi samarbeider med svenskene og finnene om ADDML

Hva gjør vi?

Hva er – og gjør – ADDML?

• ADDML filers format er gitt ved en .xsd – det vil si en XML mal.En XML mal bestemmer hvilke dataelementer som skal/kanfinnes i en XML fil, deres format og deres sammenheng

• Alle systemer har et antall informasjonselementer

• Disse skal beskrives formelt i en XML fil før lagring/depot

• ADDML gir retningslinjer for hvordan denne XML filenbør se ut, men begrenser ikke hvilken informasjon som skalvære med

• Med andre ord: ADDML gir både fleksibilitet og standardisering

http://arkivverket.no/arkivverket/Arkivbevaring/Elektronisk-arkivmateriale/Standarder/ADDML

Hva er – og hva gjør ADDML?

Definerer: • Filer/referanser• Felter/formater etc.• Relasjoner• Grenseverdier• Prosesser - Analyse• Prosesser - Sjekk

Definerer: • Filer/referanser• XML velformethet

- og validitet

Struktur – 3 hoveddeler i ADDMLMetadata, datastruktur, dokumentbeskrivelse

Informasjonsforvaltning

Dokumentasjonsforvaltning

Arkiv

Godkjenning av lagringsformater

• Formatet skal følge en internasjonal standard(ISO, ANSI eller lign.)

• Formatet skal være åpent spesifisert

• Formatet skal være i utstrakt bruk

• Formatet skal ikke være lisens belagt

• Formatet skal ha en lang forventet levetid

• Formatet skal ikke inneholde eksterne avhengigheter. Det vil si at all informasjon som er nødvendig for fremtidig presentasjon skal være inneholdt i selve dokumentet.

• Formatet skal være uavhengig av operativsystem og presentasjonsplattform

Hva er et dokument? §§

Må være NSAkompatibelt

En mer fleksibel tilnærming

US National Archives http://www.archives.gov/records-mgmt/policy/transfer-guidance-tables.html

Data producers (or the digital archivesthey engage) should identify a technologyenvironment (software and hardwarecombination) sufficient in scale andsecurity to manage the data

Principles and Good Practice for Preserving DataInteruniversity Consortium for Political and Social Research (ICPSR) 2009

TRAC Trustworthy Repositories Audit & CertificationISO 16363:2012

• TRAC-standarden har tre områder som det stilles krav til for at vi skal kunne ha et digitalt depot med “unbroken chain of custody”:

1. Organisering; krav til institusjonens strukturelle, administrative, kompetansemessige, finansielle, juridiske og avtalemessige forhold

2. De digitale arkivene; krav til behandling av de digitale objektene fra uttrekk til bruk i et evighetsperspektiv

3. Teknologi, infrastruktur, personvern og informasjonssikkerhet; krav til teknologien som brukes for å håndtere de digitale arkivene (digitale objekter)

• Forvaltningssystem: EssArch. Systemet er «OAIS-compliant»

EssArch forholder seg til OAIS rammeverket

Technical installation

• Sabotasje og innbrudd

• Feil på lagringsmedia

• Brann, vann og andre fysiske hendelser

• Skade påført av elektromagnetiske pulser (EMP)

• Kan skade elektronikk og magnetiske lagringsmedia

• Arkivverket har ikke tilgjengelig godkjente EMP sikrete magasiner (p.t.)

Ødeleggelse av data

42 U

Smart-UPS

3 0 0 0

AMERICAN POWER CONVERSION

IT EST

O

KMM FPM185

LOCK

DC POWER

48V

EXPRESSCARD

Console

100-240V-4A 50-60Hz

POWER

PSU0PSU1

Gb

2Gb

101

23

Gb

2Gb

101

23

Gb

2Gb

101

23

Gb

2Gb

101

23

Gb

2Gb

101

23

Gb

2Gb

101

23

Gb

2Gb

101

23

Gb

2Gb

101

23

Gb

2Gb

101

23

Gb

2Gb

101

23

Gb

2Gb

101

23

Gb

2Gb

101

23

42 U

Smart-UPS

3 0 0 0

AMERICAN POWER CONVERSION

IT EST

O

STORAGETEK SL150

FRONTCONTROL

PANEL

KMM FPM185

LOCK

DC POWER

48V

EXPRESSCARD

Console

100-240V-4A 50-60Hz

POWER

42 U

Smart-UPS

3 0 0 0

AMERICAN POWER CONVERSION

IT EST

O

STORAGETEK SL150

FRONTCONTROL

PANEL

KMM FPM185

LOCK

DC POWER

48V

EXPRESSCARD

Console

100-240V-4A 50-60Hz

POWER

Hoved-serverOslo

Backup-serverLokasjon 2

Media-serverSør

Media-serverNord

42 U

Smart-UPS

3 0 0 0

AMERICAN POWER CONVERSION

IT EST

O

KMM FPM185

LOCK

DC POWER

48V

EXPRESSCARD

Console

100-240V-4A 50-60Hz

POWER

2

1

4

3

2

1

4

3

Sikring av data vhja flere lokasjoner

Data producers (or the digital archivesthey engage) should adopt and implementmigration and other preservationstrategies to ensure that data are usableover time

Principles and Good Practice for Preserving DataInteruniversity Consortium for Political and Social Research (ICPSR) 2009

Migrasjon som strategi

• Migrasjon eller emulering?

Vi har satset på migrering. Dette innebærer i hovedsak to aktiviteter:

• Flytting til det til enhver tid optimale lagringsmedium• Disk• Tape• Optisk medier

• Konverteringer av data• Tegnsett• Formater

ESSArch Preservation Platform

Tilgang

SIP

Pakking og lagring Tilgjengeliggjøring

Repositorycontrol

Reports

Check-in

TestingVedlikehold

DSM

Mottak

AIP

DIP

Pakker – generasjoner og versjoner

AIC

AIPSIP AIP

1. generasjon 2. generasjon 3. generasjon

Tilgjengeliggjøring

• Tre steg

• Sjekk ut datasettet

• Tilrettelegg data for gjenbruk (DIP)

• Legg på egnet plattform

• Voliá!

• Website – «Digitalarkivet»

• LoCloud

Tilgang til materialet

Tillit

Aftenposten 29.09.16

Før overføring av arkivpakken

Utredning

• Hvilket system og hvilken funksjon?

Bevaringsvurdering

• Hva skal bevares?

• Hva kan kasseres?

Avtalen

• Hva skal overføres – og når?

Opprette en overføringspakke (SIP)

• Aktørens (arkivskapers) ansvar

• Depot bidrar ved behov

Overføring og mottak

Overføring

• Pakken (SIP) overføres som oftest manuelt

• Formell akseptanse av pakken (SIP)

Mottak

• Virussjekk

• Kontroll av checksum

• Kvalitetssikring av info.xml

Test

• Teknisk QA

• Godkjenning

• Sikring (innsjekk i Digitalt sikringsmagasin)

Overordnet prosess

Utredning

BK vurdering

Avtale

Uttrekk (SIP)

Mottak

Formell test

Teknisk test

Langtidsbevaring Vedlikehold

Ineffektivitet

Etterslep

• Kommunal sektor: ca. 12.000 systemer

• Statlig sektor: ca. 6000 systemer

Behovene og forslag til løsning

• Presenterte rapporten eArkiv i 2015

• Bejublet for initiativet

• Kritisert for å

• Gå rett å løsning uten å drøfte alternativer

• Ha en «for løs» samfunnsøkonomisk analyse

Forvaltningsorgan

Behov og forventninger

Arkivinstitusjon

Skape

Bruke ogforvalte

Overføre Motta Vedlikeholde TilgjengeliggjøreLage og sendearkivversjon

Arkivskaper Arkivdepot

Arbeidsprosesser for arkiv - det store bildet

Ressurskrevende å produsere og motta arkivversjon (datauttrekk, dokumentasjon, eksport)

Utilfredsstillende teknisk kvalitet påarkivversjoner

Ressurskrevende vedlikehold avarkivert materiale etter at det har gått ut av administrativ bruk

Stort etterslep på overføring av arkivsom har gått ut av administrativ bruk

Uten tiltak, vil utfordringene vedvare og øke i omfang etter hvert som informasjonsmengden i arkivene vokser

Utfordringene i dagens situasjon

De syv brukerbehov som skal ivaretas i våre fellesløsninger

• 1: Fulldigitale løsninger • Digitale løsninger skapes sammen med innbyggere, næringsliv og ansatte (samskaping); Dette betyr at tjenestereisen kartlegges ved hjelp av brukere av tjenestene og ansatte i

kommunen. • Brukeren ønsker å løse oppgaven (søknaden/henvendelsen) ” der og da”. Dette betyr i mange sammenhenger at de digitale tjenestene samhandler på tvers av kommuner og statlige

etater i sanntid. • ”Bort med papiret”. Alle digitale henvendelser fra det offentlige (kommune og stat) kommuniserer helelektronisk, dvs. at det på sikt ikke sendes ut brev på papir. • Digitale løsninger bidrar til å effektivisere tjenesteproduksjonen, eksempelvis ved å automatisere deler av en arbeidsprosess.

• 2: Tilgjengelighet• De digitale løsningene er døgnåpne, syv dager i uken, året rundt. • De digitale løsningene er universelt utformet og kommuniserer med klart språk. • Digitale tjenester presenteres på det medium som innbyggere og næringsliv benytter. • Innbygger og næringsliv har tilgang til historiske data/informasjon i egne saker. • Digitale løsninger ivaretar kommunens identitet.

• 3: Personvern • Digitale tjenester har personvern og sikkerhet i ”høysete”. • Digitale tjenester øker mulighetene for at innbyggere ivaretar sine innsynsrettigheter på en bedre måte.

• 4: Innsyn: • Elektronisk innsyn i alle sine saker (innbygger og næringsliv). Dette gjelder både pågående og historiske saker inkl. korrespondanse med det offentlige. Innbygger og næringsliv er eiere av

sin egen informasjon. • Innsyn i hva som skjer f.eks. i mitt nærmiljø hvor er det nå reguleringsplaner, byggesaker til behandling/vedtak osv.

• 5: Pre-utfylt informasjon: – Innbygger og næringsliv slipper å registrere opplysninger som det offentlige har fra før.

• 6: Proaktiv informasjon/tiltak: • Det offentlige sitter med en mengde informasjon som innbygger og næringsliv bør være informert om for å ivareta aktuelle fremtidige behov, f.eks. barnehagesøknad. • Proaktivitet sees i sammenheng med ”livsfaser” og/eller områder som du selv ønsker å abonnere på, f.eks. byggesaker i ditt nærmiljø.

• 7: Åpne data: • Det offentlige tilgjengeliggjør informasjon/data som markedet kan bruke til å utvikle nye digitale løsninger. Dette bidrar til muligheter for innovasjon i markedet.