sef trubach v1.2

11
Управление свободным пространством на файловой системе в UNIX и Linux Дмитрий Трубач. IBA

Upload: sef2009

Post on 24-Apr-2015

533 views

Category:

Technology


0 download

DESCRIPTION

 

TRANSCRIPT

Page 1: Sef Trubach V1.2

Управление свободным пространством на файловой

системе в UNIX и LinuxДмитрий Трубач. IBA

Page 2: Sef Trubach V1.2

Изменение ценности данных различных типов

со временем. Ц

енно

сть

дан

ны

х/ча

стот

а о

бра

щен

ий

0

20

40

60

80

100

7Дней

14 21 28 3 Мес.6 9 1

Год5

Лет10ЛетДней День Дней Мес. Мес.

Источник: Enterprise Storage Group

MPEG

Документы

email

Коды программ

Базы данных

Page 3: Sef Trubach V1.2

Иерархическая организация хранилищ данных

Наиболее часто используемые данные

Данные требуютсявремя от времени

Данные, возможно, никогда не потребуются, но хранить их нужно

Сто

им

ость

за

Mb

Бы

стро

дей

стви

е

Page 4: Sef Trubach V1.2

Схема работы TSM for Space Management

Цен

ност

ь д

анн

ых/

част

ота

об

ращ

ений

0

20

40

60

80

100

7Дней

14 21 28 3 Мес.6 9 1

Год5

Лет10ЛетДней День Дней Мес. Мес.

Источник: Enterprise Storage Group

Возврат файлов

Миграция файлов

.

.

.

Сервер с установленным TSM клиентом

Заполненность хранилища данных

Пользователи

TSM сервер

Хранилище данных

Page 5: Sef Trubach V1.2

Компоненты TSM Ц

енно

сть

дан

ны

х/ча

стот

а о

бра

щен

ий

Мес.6 9 1

Год5

Лет10ЛетМес.

Источник: Enterprise Storage Group

Демон сканирования(dsmscoutd)

Демон привилегированного доступа

(dsmrootd)

Демон возврата(dsmrecalld)

Реконциляция(dsmreconcile)

Миграция(dsmmigrate,dsmautomig)

Восстановление после удаления

(dsmmigundelete)

Следит за событиями чтения/записи файлов на управляемой файловой системе. Осуществляет возврат файлов с сервера

Осуществляет сканирование файловой системы для поиска наиболее подходящих кандидатов для миграции

Демон мониторинга(dsmmonitord)

Предоставляет привелигированный доступ к некоторым сервисамфайловой системы для компонент TSM, вызываемых обычными пользователями

Осуществляет контроль уровня свободного пространства на файловой системе. При необходимости запускает процедуру автоматической миграции.

Выполняет пересылку файлов на сервер. Вместо посланного на сервер файла помещает ярлык на локальную файловую систему.

Выполняет синхронизацию данных, находящихся на сервере, стекущим состоянием данных на локальной файловой системе

Восстанавливает ошибочно удаленные ярлыки к мигрированнымфайлам

Page 6: Sef Trubach V1.2

Автоматическая миграция при росте объема данных

60

70

80

90

100

110

120

130

140

150

160

170

180

190

200

210

50

40

30

верхний порог

нижний порог

При достижении верхнего порога занятости, запускается автоматическаямиграция данных, пока уровень занятости файловой системы не станет равнымзаданному нижнему порогу

Ур

ове

нь з

аня

тост

и л

ока

льн

ой

фа

йл

ово

й с

ист

ем

ы в

% о

т е

е о

бъ

ем

а

время

Данные на локальном хранилище

Данные на TSM сервере

Верхний порог занятости установлен в 90%, нижний в 70%

Page 7: Sef Trubach V1.2

Механизм миграции файла

Файл до миграции

Файл после миграции

TSM сервер

dsmmigrate/dsmautomig

ярлык(~4K)

пустая область (sparse)

атрибуты DMAPI

данные

данные

ID

Page 8: Sef Trubach V1.2

Использование DMAPI в TSM

10Лет

Приложение пользователя

TSM for Space Management

Извлечение файла из сервера

read()Возврат из read()

User - пространство

Kernel - пространство

ИнициализацияDMAPI

Ожиданиесобытия

Запись отсутствующихблоков файла

Пользовательский процесс приостановлен

ГенерациясобытияDMAPI

Ответ на событие

Page 9: Sef Trubach V1.2

Логическая структура Juelich Storage Cluster (JUST)

4 TSM

Server

P5-55A

Force 10 E1200

208 Ports (10GigE)Management Server

P5-520

/work /arch /home8 x 36 TB

96 TB

96 TB288 TB

Page 10: Sef Trubach V1.2

Объемы ежедневно мигрируемых данных на /arch

0

500

1000

1500

2000

2500

Ян

вар

ь

Ма

рт

Ма

й

Ию

ль

Се

нтя

бр

ь

Но

яб

рь

Ян

вар

ь

Ма

рт

Ма

й

Ию

ль

Се

нтя

бр

ь

Но

яб

рь

Ян

вар

ь

Ма

рт

Ма

й

Ию

ль

Се

нтя

бр

ь

Но

яб

рь

Ян

вар

ь

Ма

рт

Ма

й

Ию

ль

Се

нтя

бр

ь

Gb

Миграция Возврат

2007200620052004

Page 11: Sef Trubach V1.2

Управление свободным пространством на файловой системе в UNIX и Linux

Дмитрий Трубачр.т. : +375 17 2173384e-mail : [email protected]

спасибо за внимание