Some reflections

John StillwellSchool of GeographyUniversity of Leeds

• Launch the 2011 Census Handbook and formally thank those involved

• Identify what have been the major achievements of the UK Data Service‐Census Support over the last five‐year funding period

• Reflect on my interaction with census

• First real contact with census data was as a PhD student 1973‐76

• First encounter with a Census Office  (Office for Population Censuses and Surveys) was in  1974

• Visit to Titchfield to collect unpublished inter‐county and inter‐region migration data from the 1966 and 1971 Censuses

Probably the most important changes over four decades have been the changes in technology that have had wide impact:

• database management systems • storage capacities • processing speeds• mainframe  to desktop • data access packages/interfaces• internet• mapping, analysis and visualisation tools

This image cannot currently be displayed.

Source: Stillwell, J. (1979) Migration in England and Wales: A Study of inter‐area patterns, accounts, models and projections, Unpublished PhD Thesis, University of Leeds

Figure 15.1 The user interface of the initial DataShine Commute website, with a sample MSOA centroid selected, and flows in/out of this centroid shown

Source: O’Brian, O. and Cheshire, J. (2017)  Mapping travel‐to‐work flows, Chapter 15 in The Routledge Handbook of Census Resources, Methods and Applications

Fig. 2  The Daily Commute in England and Wales (flows of 10 or greater). Data Source: Office for National Statistics licensed under the OGL v.1.0

Source: Rae, A. (2016)The geography of travel to work in England and Wales: Extracts from the 2011 Census,. Applied Spatial Analysis and Policy, 1‐17

Figure 16.1 Migration flows in excess of 9,300 people between NUTS 1 regions of the UK for 2010‐11 

Source: Sander, N., Stillwell, J. and Lomax, N. (2017) Circular migration plots, Chapter 16 in The Routledge Handbook of Census Resources, Methods and Applications

But you don’t necessarily need specialised software to create useful visualisations

Figure 14.1 Ethnic Inequality Profiler, areas in England and Wales, 2001 and 2011 Censuses

Source: Simpson, L. (2017) Ethnic identity and inequalities: local authority summaries, Chapter 14 in The Routledge Handbook of Census Resources, Methods and Applications

Figure 14.1 Ethnic Inequality Profiler, areas in England and Wales, 2001 and 2011 Censuses

What else has changed?

The census itself has changed in all sorts of ways: • Oliver Duke‐Williams’ Chapter 2 in the Handbook  summarises change over 200 years and looks at how questions have evolved in the last 4 censuses

• Garnett Compton at ONS and colleagues at NRS and NISRA explain the 2011 Census process in detail in Chapter 3 of the Handbook

• Dave Martin and Garnett Compton summarise the quality assurance process used in 2011 in Chapter 4 of the Handbook

• The volume of census data has increased significantly

Census Aggregate Statistics

Agency ONS GROS NISRA TotalsAF Tables 4 0 0 4AF Columns 543 0 0 543CS Tables 80 74 94 248CS Columns 11,441 10,511 7,304 29,256CT Tables 9 5 0 14CT Columns 4,403 2,219 0 6,622KS Tables 34 32 35 101KS Columns 405 406 505 1,316ST Tables 129 108 175 412ST Columns 63,887 51,310 68,841 184,038TT Tables 19 12 25 56TT Columns 13,899 8,545 20,052 42,496UV Tables 64 47 80 191UV Columns 836 708 1,180 2,724Total Tables 339 278 409 1,026Total Columns 95,414 73,699 97,882 266,995

Agency ONS NRS NISRA TotalsAF Tables 6 0 0 6AF Columns 162 0 0 162AP Tables 5 0 0 5AP Columns 490 0 0 490CT Tables 1 0 0 1CT Columns 95 0 0 95DC Tables 217 153 217 587DC Columns 163,010 44,550 135,941 343,501DT Tables 0 0 26 26DT Columns 0 0 425 425H Tables 1 0 0 1H Columns 8 0 0 8KS Tables 46 17 27 90KS Columns 997 221 571 1,789LC Tables 172 130 125 427LC Columns 21,976 11,770 2,835 36,581OT Tables 21 0 0 21OT Columns 888 0 0 888PP Tables 3 0 0 3PP Columns 381 0 0 381QS Tables 95 27 46 168QS Columns 2,280 367 1,636 4,283SA Tables 4 0 0 4SA Columns 92 0 0 92ST Tables 16 0 0 16ST Columns 503 0 0 503WD Tables 22 0 0 22WD Columns 921 0 0 921WP Tables 33 0 34 67WP Columns 1,757 0 1,473 3,230Total Tables 642 327 475 1,444Total Columns 193,560 56,908 142,881 393,349

2001

2011

NB. A column is the cell, e.g. males aged 25.Number of cells corresponds to raw data supplied

Evolution of Origin‐Destination Statistics over the last four censuses

Special Migration Statistics

Special Workplace Statistics

1981

SMS SWS

1991

2001SMS SWS

Special Travel Statistics (STS)

SWSSMSSpecial Student Statistics

2011 Special Residence Statistics

STS

• One thing that hasn’t changed is the problems encountered when it comes to time series comparison using census data

• Problems of boundary change has always been a frustration for geographers but there is the need to contend with definitional, measurement and adjustment changes

• Two examples from Handbook chapterse.g. Chapter 27: comparison  of inter‐district migration between censuses hampered by fact that 467,000 migrants were coded in 2001 Census as having an unknown origin e.g. Chapter 28: comparison of commuting between censuses by mode of transport problematic due to treatment of ‘homeworkers’

Other key changes• Use of statistical disclosure control (SDC) methods to preserve confidentiality – small cell adjustment in 2001 wrecked the small area SMS and SWS for small areas

• Provision of data from the Census Offices and development of access interfaces

‐ saspac, matpac, nomis >> nomisweb‐ websites of Census Offices‐ Census Programme funded by ESRC/JISC

ESRC Funding in 1990s

• 1991: Using the 1991 Census to Analyse Demographic and Ethnic Change, Migration and Population Synthesis,£92K, with Phil Rees, Mark Birkin and Debbie Phillips

• 1997: Migration in Australia and Britain: Levels and Trends in an Age‐Period‐Cohort Framework, £91K, with Phil Rees and Paul Boyle

• 1999: Integrating 1981, 1991 and 2001 Census Interaction Data, £44K, with Paul Boyle and Keith Cole

• 1999: Web‐based Interface to Census Interaction Data (WICID), £44K, with Paul Boyle and Oliver Duke‐Williams

Web‐based Interface to Census Interaction Data (WICID)

Figure 1. The WICID general query interface

Source:  Stillwell, J. and Duke‐Williams, O. (2003) A new web‐based interface to British census of population Origin‐destination statistics, Environment and Planning A, 35, 113‐132

ESRC funding in 2000s

• 2001: The Provision and Development of a Census Interaction Data Service (CIDS), £399K, with Paul Boyle, Oliver Duke‐Williams and Zhiqiang Feng 

• 2005: Centre for Interaction Data Research (CIDER), £523K, with Oliver Duke‐Williams 

• 2012: UK Data Service: Census Support Service, £2.3million, with Justin Hayes, James Reid, Oliver Duke‐Williams and Jo Wathan

What have been the achievements of UKDS‐Census Support (CS) over 

last 5 years?

ESRC Grant from 1 August 2012 to 31 September 2017

14 staff (5.2 FTE) based at 5 different institutions (Leeds, 

Edinburgh, Manchester, JISC, UCL) 

Integration of CS within UK Data Service

UK Data Service

Census Support

(CS)

Other data services

CensusLongitudinal Studies

CENSU

S  PRO

GRA

MME U

K DATA ARCHIVE

UK DATA ARCHIVE

This integration has involved:

• Migration of all census databases and software systems held at Manchester and Edinburgh to new windows servers at Essex or to the Cloud

• Integration of CS services with other data services at Essex, e.g. access to census microdata via Nesstar; Help system; training and user support; ………….

• ‘Reskinning’ of all CS web interfaces so they are consistent with UK Data Service but CS retains its own web site

UK Data Service website: http://ukdataservice.ac.uk/

UKDS Census Support website: http://census.ukdataservice.ac.uk/

Number of page views since CS website became operational in Spring 2013

Upgrading of all CS web-based data services (tools) providing user access to 2011 Census data to users

InFuse: access 2001 Census aggregate data for England and Wales by selecting topics, categories within topics, and geographic areas

Easy Download: most regularly requested census boundaries available as ready-to-use national datasets in popular formats

Boundary Data Selector: lets the user select the boundaries you want, for the area you want, in the format you want

Postcode Directory Download: allows user to download complete versions of current and historical postcode directories (sometimes referred to as look-up tables)

Geoconvert: geography matching and conversion tool. Obtain and manipulate complex geographical and postcode

WICID (Web-based Interface to Census Interaction Data): allows users to select and download migration and journey-to-work flow data

Processing and release of 2011 Census data to users via InFuse

• Collect aggregate outputs from the three UK statistical agencies• Re‐structure and integrate these data, combining the tables into 

a single coherent UK dataset• Use of new data model based on SDMX

• Allow users to find data more effectively without the need to know which table to consult

• Allows users easy filtering by population variables and categories

Source: Hayes, J., Dymond‐Green, R. Stillwell, J. and Moody, V.  (2017) UK Census Aggregate Statistics: Characteristics and access, Chapter 5 in The Routledge Census Handbook

Quarterly Download Statistics from 2013

Other achievements• Opening up the CS services to all users (i.e. users beyond the 

academic sector), driven by Open Government Licencing (OGL)• Engagement with data suppliers (particularly micro, aggregate and 

flow data)  ‐ ONS’ plans to develop a flexible outputs system for 2021 Census outputs is a notable success from this engagement which will have an impact on the usability of 2021 Census outputs

• Processed and released all the 2011 Origin‐Destination tables ahead of ONS' schedule of release ‐ 2011 Census dissemination used a different approach than previous censuses and included more than 220 open and safeguarded tables released in batches

Open Safeguarded Secure Total

SMS 5 51 176 232

SWS 9 84 193 286

SSS 1 15 33 49

SRS 6 52 117 175

Total 21 202 519 742

WICID is the only user interface to the 2011 ODS safeguarded tables

• Data recovery work on 1961 outputs ‐ work in collaboration with ONS on a series of successful exploratory projects to assess and demonstrate the feasibility of recovering data from a large set of images of computer print‐outs 

• User support and training 23 webinars; 12 ftf training events; 4 conferences; 2 open data drives; responses to many queries

• Progress towards an Integrated Data Access (IDA) service that would provide coordinated access to aggregate, flow and boundary census outputs –current work based on the use of DKAN to achieve these aims but also to provide access to legacy census data sets

• Production of a Census Handbook

Challenges aheadESRC have awarded a grant of £16m to the UKDS over the next 5 years – CS included in this with an FTE of 5 (but some staff changes)• Full integration of CS within UKDS• Maintain existing census‐related services • Identify what role CS should have in future given changing environment – include user opinion

• Develop and implement a strategy for upgrading the technology – one option is the Hadoop system which UKDS is promoting for big data – current review of technology by consultant underway 

• Advise the Census Offices and prepare for 2021 Census• Provide ongoing user support and training 

20% Discount available at www.routledge.com with code FLR40

The Routledge Handbook of Census Resources, Methods and ApplicationsUnlocking the UK 2011 Census

• Envisaged as deliverable in initial grant application• Took a look at previous user handbooks/guides:

2001 1991

1981

1966 and before

Some initial aspirations:

• to get the Census Offices involved in contributing chapters

• to demonstrate some of the new visualisation methods  that have been developed and used to encourage user engagement

• to include a wide range of examples of the ways in which census data are used in research“A successful census is not of course defined by how many people completed the form. …….. A successful census is defined by how it is used.”   

(John Pullinger in Foreword to the Handbook, 2017)

Structure of the Book

Part 1: Introducing the Census (2 chapters)

Part 2:  Taking the 2011 Census and Assuring the Quality of the Data (2 chapters)

Part 3: Delivering Different Types of Census Data to Users (5 chapters)

Part 4:  Visualizing 2011 Census Data (7 short chapters)

Part 5: Using 2011 Census Data for Research (16 chapters)

Part 6:  Looking Forward and Beyond 2021 (1 chapter)

Part 5 Topics• Geodemographics• Families• Microsimulation/Linkage• Ethnic inequality/concentration• Population projection by ethnic group• Informal health care• Elderly health care• Relationships between  ethnicity, health, social factors and migration• Social inequality• Health and housing tenure• Internal migration• Commuting to work• Urban decline• Deprivation• Scale• Micro scale population change

… akin to having a babyConception: easy – enthusiastic and willing contributors –all 63 of them!Pregnancy: sometimes difficult:• Sale of Ashgate to Routledge ‐ implications for legal contract

• Requirement to rename the ‘baby’ and include in Routledge Handbook series

• Lack of involvement by one of ‘parents’ resulting in amicable divorce

• Chasing certain authors to deliver chapters• Getting authors to respond positively to editorial comments on first and subsequent versions of chapters

First stage of labour• Ensuring all the Figures were redrawn to a common format and 

all the web links were working ‐ thanks to Alison Manson and Calum Carson

Second stage of labour• Responding to comments on the  initial manuscript made by 

the Book Series editor and the Copy and Production Editors at Routledge ‐ thanks to Phil Rees and Sarah Price and Jo Hardern

Third stage of Labour• Corrections to the proofs ‐ thanks  to proof reader at Routledge, 

Pam Smith• Adjustment of all ONS urls because of changes made to the 

ONS web siteBirth (eventually) • Took place on 18 August ‐ thanks to Graham Clarke and Justin 

Doran for allowing us to have a formal launch as part of this RSAI conference 

• Thanks to ESRC for sponsoring the reception