1Klikk for å redigere undertittelstil i malen
TidskapselenDigital langtidslagring i Arkivverket
16.11 2016 – Ole Myhre Hansen, Fagdirektør, Arkivverket
Arkivverket
Riksarkivaren
Riksarkivet og Statsarkivene
Samisk arkiv
Helsearkivet
Ny organisasjon fra 1. november 2016
Én organisasjon, 10 tjenestesteder
Digitalt depot er del av den generelle Depottjenesten i organisasjonen
Tidskapselen
Kongesegl oppbevart i Riksarkivet.Magnus 6. (Håkonsson) Lagabøte 1263-1280
Er det mulig å overlevere et digitalt skapt objekt til ettertidenmed samme status som dokumenter med seglet over?
• Digital informasjon kan enkelt endres og manipuleres
• Digitale arkiver kan ikke bevares statiske. De er i en prosess med stadig transformasjon gjennom hele livssyklusen
- til fundamental forskjell fra papirarkiver
• Men hvordan kan folk stole på at stadig omskapt arkiv-materiale fortsatt er autentisk?
• Hva svarer vi når det settes søkelys på hva ulike aktører har hatt mulighet for å endre?
• Hvordan lar det seg bekrefte at en aktør kun har foretatt de endringer som sies å være utført?
Integritet og autentisitet
Tidskapselen
• Hvordan skal Arkivverket og andre arkivinstitusjoner• Kunne garantere for ekthet på digitalt skapt materiale?• At informasjonen er Autentisk ?• At integriteten ikke er kompromittert?
• Over tid?
• Om 800 år?
TILLIT
Hvordan skape «Tidskapselen»
• In 1996 the Task Force on Archiving of Digital Information (reference [B1]) declared, ‘a critical component of digital archiving infrastructure is the existence of a sufficient number of trusted organizations capable of storing, migrating, and providing access to digital collections’.
• The task force saw that ‘trusted’ or trustworthy organizations could not simply identify themselves. To the contrary, the task force declared, ‘a process of certification for digital archives is needed to create an overall climate of trust about the prospects of preserving digital information’.
• https://www.clir.org/pubs/reports/pub63watersgarrett.pdf
Hva er Arkivverkets digitale depot?
• Det digitale depotet er ikke kun ett eller flere fysiske rom hvor arkivmateriale oppbevares. Det er i like stor grad forvaltningsrutiner og -metode.
• På overordnet nivå kan man si at det digitale depotet består av to deler:• Rutiner i håndteringen (mottak, validering, sikring, vedlikehold
tilgjengeliggjøring) av deponert og avlevert materiale• Det digitale sikringsmagasinet (DSM)
• Det digitale sikringsmagasinet, består igjen av tre ulike deler:• Et dedikert forvaltningssystem• Et dedikert nettverk• Ulike lagringsmedier
Hva er Arkivverkets digitale depot?
• Rutinene, metodene, sikringen og vedlikeholdet skal legge til rette for at omverdenen og ettertiden skal kunne stole på det digitalt skapte arkivmaterialet som Arkivverket har mottatt.
• Arkivmaterialet skal kunne benyttes som dokumentasjon på transaksjoner og handlinger utført av forvaltningen, bedriften eller personen.
• Man kan hevde at standardene, metodikken og den etablerte infrastrukturen er rigget for å møte kravet og forventningene om at offentlig og privat arkivmateriale skal beholde sin «autentisitet og integritet» over tid.
• Elmag (2005-2010) (p.t. Elmag-3):
- Ny depotløsning for Arkivverkets digitalt skapte arkivmateriale
Ny lagringsløsning (disk + tape)
Ny organisering av arkivpakker (iht. OAIS og TRAC)
Nytt forvaltningssystem for arkivpakker
• DIAS (2010-2012) (”Digital arkivpakkestruktur”):
- Et samarbeidsprosjekt mellom Arkivverket og 4 kommunale aktører
Løsnings-/teknologiuavhengig - Behandler ikke lagringsløsning
Utdyper og generaliserer arkivpakkemodellen fra Elmag-2
Utvikler norsk standardmodell for arkivpakkestruktur med tilhørende XML-skjemaer
Spesifiserer generelle krav til forvaltningssystem for arkivpakker (Repository-system)
http://arkivverket.no/arkivverket/Arkivbevaring/Elektronisk-arkivmateriale/Langtidslagring/Digitalt-depot
Prosjekter fram mot en metode
• For å etablere beste praksis innen feltet, forholder Arkivverket seg til to ISO-standarder:
• ISO 14721:2012 er en videreføring av rammeverket OAIS og beskriver arbeidsflyt, ulike stadier og bestanddeler som inngår i et digitalt depot.
• ISO 16363:2012 er en videreføring av den såkalte TRAC-standarden og tar mål av seg å definere beste praksis for å kunne hevde å ha et «trustworthydigital repository».
… fram mot en metode
OAIS – Open Archival Information System
ISO 14721:2012
OAIS and TRAC
OAIS-begreper
• Information packages• AIC – Archival Information Collection (Arkiv generasjonssamling)
• SIP – Submission Information Package (Innleveingspakke)
• AIP – Archival Information Package (Arkivpakke)
• DIP – Dissemination Information Package(Tilgjengeliggjringspakke)
• AIU – Archival Information Unit (Arkivdokumentasjon)
TRAC
• Brukt som sertifisering og referanseramme
Data producers (creators, providers andowners) are responsible for archiving theirdigital content to ensure the objects arepreserved
Principles and Good Practice for Preserving DataInteruniversity Consortium for Political and Social Research (ICPSR) 2009
Informasjonsforvaltning
Dokumentasjonsforvaltning
Arkiv
Hva er – og gjør – ADDML?
• Innen informasjonsforvaltningen svever det store mengder data til enhver tid
• Dokumentasjonsforvaltningen tar vare på informasjon som skal oppbevares innenfor en kortere eller mellomlangt tidshorisont
• Arkiv skal sikres til evig tid !
Arkivbegrensning og kassasjon
Hva er – og gjør – ADDML?
• Innen informasjonsforvaltningen svever det store mengder data til enhver tid (legge til rette for kvalitet og effektivitet)
• Dokumentasjonsforvaltningen tar vare på informasjon som skal oppbevares innenfor en kortere eller mellomlangt tidshorisont (imøtekomme virksomhetens og samfunnets krav)
• Arkiv skal sikres til evig tid ! (imøtekomme ettertidens krav)
Arkivbegrensning og kassasjon
Data producers might meet this obligationby depositing data to be preserved in acertified digital archive (one that meetsthe current definition of a trusted digitalrepository)
Principles and Good Practice for Preserving DataInteruniversity Consortium for Political and Social Research (ICPSR) 2009
Hva er – og gjør – ADDML?
• Det norske arkivlandskapet:
• Arkivverket: • Betjener statlig sektor (regionalt og sentralt)• Private arkivskapere
• Byarkiver, fylkesarkiver og kommunearkiver: • Betjener lokal sektor• Private arkivskapere
• IKAer: • Kommunal sektor• Private arkivskapere
• KDRS: • Kommunenes digitale ressurssenter
Ansvar og institusjoner i Norge
Data producers (or the digital archivesthey engage) should select data forpreservation so that sufficient resourcescan be designated to maintain the dataover time
Principles and Good Practice for Preserving DataInteruniversity Consortium for Political and Social Research (ICPSR) 2009
Hva er – og gjør – ADDML?
• Det er egne rutiner for Bevaring og kassasjonsvedtak
• Hva skal tas vare på og hva skal kasseres, (NOARK m.v.)• Standarder bør utvikles bredt
• Skal dokumenteres i Arkivplaner
• Ideelt sett skal dette gjennomføres for alle systemer og alle virksomheter
• Her svikter vi?
• Er metodikken ikke tilstrekkelig «modernisert»?
Hva gjør vi?
Data selected to be preserved must bepackaged and prepared for preservationwith sufficient metadata and in formatsthat are able to be preserved (e.g. avoidingsoftware-dependent formats wherepossible, embracing ASCII and now XMLformats)
Principles and Good Practice for Preserving DataInteruniversity Consortium for Political and Social Research (ICPSR) 2009
Hva er – og gjør – ADDML?
• Vi har tatt i mot flate filer (faste postlengder og csv) inntil 2005 • (og fremdeles kommer det noe)
• Vi foretrekker XML i dag
• Data lagres i strukturer ala relasjonsdatabaser
• Vi tar vare på dokumentasjonen og beskriver funksjonen
• Vi samarbeider med svenskene og finnene om ADDML
Hva gjør vi?
Hva er – og gjør – ADDML?
• ADDML filers format er gitt ved en .xsd – det vil si en XML mal.En XML mal bestemmer hvilke dataelementer som skal/kanfinnes i en XML fil, deres format og deres sammenheng
• Alle systemer har et antall informasjonselementer
• Disse skal beskrives formelt i en XML fil før lagring/depot
• ADDML gir retningslinjer for hvordan denne XML filenbør se ut, men begrenser ikke hvilken informasjon som skalvære med
• Med andre ord: ADDML gir både fleksibilitet og standardisering
http://arkivverket.no/arkivverket/Arkivbevaring/Elektronisk-arkivmateriale/Standarder/ADDML
Hva er – og hva gjør ADDML?
Definerer: • Filer/referanser• Felter/formater etc.• Relasjoner• Grenseverdier• Prosesser - Analyse• Prosesser - Sjekk
Definerer: • Filer/referanser• XML velformethet
- og validitet
Struktur – 3 hoveddeler i ADDMLMetadata, datastruktur, dokumentbeskrivelse
Informasjonsforvaltning
Dokumentasjonsforvaltning
Arkiv
Godkjenning av lagringsformater
• Formatet skal følge en internasjonal standard(ISO, ANSI eller lign.)
• Formatet skal være åpent spesifisert
• Formatet skal være i utstrakt bruk
• Formatet skal ikke være lisens belagt
• Formatet skal ha en lang forventet levetid
• Formatet skal ikke inneholde eksterne avhengigheter. Det vil si at all informasjon som er nødvendig for fremtidig presentasjon skal være inneholdt i selve dokumentet.
• Formatet skal være uavhengig av operativsystem og presentasjonsplattform
Hva er et dokument? §§
Må være NSAkompatibelt
En mer fleksibel tilnærming
US National Archives http://www.archives.gov/records-mgmt/policy/transfer-guidance-tables.html
Data producers (or the digital archivesthey engage) should identify a technologyenvironment (software and hardwarecombination) sufficient in scale andsecurity to manage the data
Principles and Good Practice for Preserving DataInteruniversity Consortium for Political and Social Research (ICPSR) 2009
TRAC Trustworthy Repositories Audit & CertificationISO 16363:2012
• TRAC-standarden har tre områder som det stilles krav til for at vi skal kunne ha et digitalt depot med “unbroken chain of custody”:
1. Organisering; krav til institusjonens strukturelle, administrative, kompetansemessige, finansielle, juridiske og avtalemessige forhold
2. De digitale arkivene; krav til behandling av de digitale objektene fra uttrekk til bruk i et evighetsperspektiv
3. Teknologi, infrastruktur, personvern og informasjonssikkerhet; krav til teknologien som brukes for å håndtere de digitale arkivene (digitale objekter)
• Forvaltningssystem: EssArch. Systemet er «OAIS-compliant»
EssArch forholder seg til OAIS rammeverket
Technical installation
• Sabotasje og innbrudd
• Feil på lagringsmedia
• Brann, vann og andre fysiske hendelser
• Skade påført av elektromagnetiske pulser (EMP)
• Kan skade elektronikk og magnetiske lagringsmedia
• Arkivverket har ikke tilgjengelig godkjente EMP sikrete magasiner (p.t.)
Ødeleggelse av data
42 U
Smart-UPS
3 0 0 0
AMERICAN POWER CONVERSION
IT EST
O
KMM FPM185
LOCK
DC POWER
48V
EXPRESSCARD
Console
100-240V-4A 50-60Hz
POWER
PSU0PSU1
Gb
2Gb
101
23
Gb
2Gb
101
23
Gb
2Gb
101
23
Gb
2Gb
101
23
Gb
2Gb
101
23
Gb
2Gb
101
23
Gb
2Gb
101
23
Gb
2Gb
101
23
Gb
2Gb
101
23
Gb
2Gb
101
23
Gb
2Gb
101
23
Gb
2Gb
101
23
42 U
Smart-UPS
3 0 0 0
AMERICAN POWER CONVERSION
IT EST
O
STORAGETEK SL150
FRONTCONTROL
PANEL
KMM FPM185
LOCK
DC POWER
48V
EXPRESSCARD
Console
100-240V-4A 50-60Hz
POWER
42 U
Smart-UPS
3 0 0 0
AMERICAN POWER CONVERSION
IT EST
O
STORAGETEK SL150
FRONTCONTROL
PANEL
KMM FPM185
LOCK
DC POWER
48V
EXPRESSCARD
Console
100-240V-4A 50-60Hz
POWER
Hoved-serverOslo
Backup-serverLokasjon 2
Media-serverSør
Media-serverNord
42 U
Smart-UPS
3 0 0 0
AMERICAN POWER CONVERSION
IT EST
O
KMM FPM185
LOCK
DC POWER
48V
EXPRESSCARD
Console
100-240V-4A 50-60Hz
POWER
2
1
4
3
2
1
4
3
Sikring av data vhja flere lokasjoner
Data producers (or the digital archivesthey engage) should adopt and implementmigration and other preservationstrategies to ensure that data are usableover time
Principles and Good Practice for Preserving DataInteruniversity Consortium for Political and Social Research (ICPSR) 2009
Migrasjon som strategi
• Migrasjon eller emulering?
Vi har satset på migrering. Dette innebærer i hovedsak to aktiviteter:
• Flytting til det til enhver tid optimale lagringsmedium• Disk• Tape• Optisk medier
• Konverteringer av data• Tegnsett• Formater
ESSArch Preservation Platform
Tilgang
SIP
Pakking og lagring Tilgjengeliggjøring
Repositorycontrol
Reports
Check-in
TestingVedlikehold
DSM
Mottak
AIP
DIP
Pakker – generasjoner og versjoner
AIC
AIPSIP AIP
1. generasjon 2. generasjon 3. generasjon
Tilgjengeliggjøring
• Tre steg
• Sjekk ut datasettet
• Tilrettelegg data for gjenbruk (DIP)
• Legg på egnet plattform
• Voliá!
• Website – «Digitalarkivet»
• LoCloud
Tilgang til materialet
Tillit
Aftenposten 29.09.16
Før overføring av arkivpakken
Utredning
• Hvilket system og hvilken funksjon?
Bevaringsvurdering
• Hva skal bevares?
• Hva kan kasseres?
Avtalen
• Hva skal overføres – og når?
Opprette en overføringspakke (SIP)
• Aktørens (arkivskapers) ansvar
• Depot bidrar ved behov
Overføring og mottak
Overføring
• Pakken (SIP) overføres som oftest manuelt
• Formell akseptanse av pakken (SIP)
Mottak
• Virussjekk
• Kontroll av checksum
• Kvalitetssikring av info.xml
Test
• Teknisk QA
• Godkjenning
• Sikring (innsjekk i Digitalt sikringsmagasin)
Overordnet prosess
Utredning
BK vurdering
Avtale
Uttrekk (SIP)
Mottak
Formell test
Teknisk test
Langtidsbevaring Vedlikehold
Ineffektivitet
Etterslep
• Kommunal sektor: ca. 12.000 systemer
• Statlig sektor: ca. 6000 systemer
Behovene og forslag til løsning
• Presenterte rapporten eArkiv i 2015
• Bejublet for initiativet
• Kritisert for å
• Gå rett å løsning uten å drøfte alternativer
• Ha en «for løs» samfunnsøkonomisk analyse
Forvaltningsorgan
Behov og forventninger
Arkivinstitusjon
Skape
Bruke ogforvalte
Overføre Motta Vedlikeholde TilgjengeliggjøreLage og sendearkivversjon
Arkivskaper Arkivdepot
Arbeidsprosesser for arkiv - det store bildet
Ressurskrevende å produsere og motta arkivversjon (datauttrekk, dokumentasjon, eksport)
Utilfredsstillende teknisk kvalitet påarkivversjoner
Ressurskrevende vedlikehold avarkivert materiale etter at det har gått ut av administrativ bruk
Stort etterslep på overføring av arkivsom har gått ut av administrativ bruk
Uten tiltak, vil utfordringene vedvare og øke i omfang etter hvert som informasjonsmengden i arkivene vokser
Utfordringene i dagens situasjon
De syv brukerbehov som skal ivaretas i våre fellesløsninger
• 1: Fulldigitale løsninger • Digitale løsninger skapes sammen med innbyggere, næringsliv og ansatte (samskaping); Dette betyr at tjenestereisen kartlegges ved hjelp av brukere av tjenestene og ansatte i
kommunen. • Brukeren ønsker å løse oppgaven (søknaden/henvendelsen) ” der og da”. Dette betyr i mange sammenhenger at de digitale tjenestene samhandler på tvers av kommuner og statlige
etater i sanntid. • ”Bort med papiret”. Alle digitale henvendelser fra det offentlige (kommune og stat) kommuniserer helelektronisk, dvs. at det på sikt ikke sendes ut brev på papir. • Digitale løsninger bidrar til å effektivisere tjenesteproduksjonen, eksempelvis ved å automatisere deler av en arbeidsprosess.
• 2: Tilgjengelighet• De digitale løsningene er døgnåpne, syv dager i uken, året rundt. • De digitale løsningene er universelt utformet og kommuniserer med klart språk. • Digitale tjenester presenteres på det medium som innbyggere og næringsliv benytter. • Innbygger og næringsliv har tilgang til historiske data/informasjon i egne saker. • Digitale løsninger ivaretar kommunens identitet.
• 3: Personvern • Digitale tjenester har personvern og sikkerhet i ”høysete”. • Digitale tjenester øker mulighetene for at innbyggere ivaretar sine innsynsrettigheter på en bedre måte.
• 4: Innsyn: • Elektronisk innsyn i alle sine saker (innbygger og næringsliv). Dette gjelder både pågående og historiske saker inkl. korrespondanse med det offentlige. Innbygger og næringsliv er eiere av
sin egen informasjon. • Innsyn i hva som skjer f.eks. i mitt nærmiljø hvor er det nå reguleringsplaner, byggesaker til behandling/vedtak osv.
• 5: Pre-utfylt informasjon: – Innbygger og næringsliv slipper å registrere opplysninger som det offentlige har fra før.
• 6: Proaktiv informasjon/tiltak: • Det offentlige sitter med en mengde informasjon som innbygger og næringsliv bør være informert om for å ivareta aktuelle fremtidige behov, f.eks. barnehagesøknad. • Proaktivitet sees i sammenheng med ”livsfaser” og/eller områder som du selv ønsker å abonnere på, f.eks. byggesaker i ditt nærmiljø.
• 7: Åpne data: • Det offentlige tilgjengeliggjør informasjon/data som markedet kan bruke til å utvikle nye digitale løsninger. Dette bidrar til muligheter for innovasjon i markedet.