sef trubach v1.2

Управление свободным пространством на файловой

системе в UNIX и LinuxДмитрий Трубач. IBA

Изменение ценности данных различных типов

со временем. Ц

енно

сть

дан

ны

х/ча

стот

а о

бра

щен

ий

0

20

40

60

80

100

7Дней

14 21 28 3 Мес.6 9 1

Год5

Лет10ЛетДней День Дней Мес. Мес.

Источник: Enterprise Storage Group

MPEG

Документы

email

Коды программ

Базы данных

Иерархическая организация хранилищ данных

Наиболее часто используемые данные

Данные требуютсявремя от времени

Данные, возможно, никогда не потребуются, но хранить их нужно

Сто

им

ость

за

Mb

Бы

стро

дей

стви

е

Схема работы TSM for Space Management

Цен

ност

ь д

анн

ых/

част

ота

об

ращ

ений

0

20

40

60

80

100

7Дней

14 21 28 3 Мес.6 9 1

Год5

Лет10ЛетДней День Дней Мес. Мес.

Источник: Enterprise Storage Group

Возврат файлов

Миграция файлов

.

.

.

Сервер с установленным TSM клиентом

Заполненность хранилища данных

Пользователи

TSM сервер

Хранилище данных

Компоненты TSM Ц

енно

сть

дан

ны

х/ча

стот

а о

бра

щен

ий

Мес.6 9 1

Год5

Лет10ЛетМес.

Источник: Enterprise Storage Group

Демон сканирования(dsmscoutd)

Демон привилегированного доступа

(dsmrootd)

Демон возврата(dsmrecalld)

Реконциляция(dsmreconcile)

Миграция(dsmmigrate,dsmautomig)

Восстановление после удаления

(dsmmigundelete)

Следит за событиями чтения/записи файлов на управляемой файловой системе. Осуществляет возврат файлов с сервера

Осуществляет сканирование файловой системы для поиска наиболее подходящих кандидатов для миграции

Демон мониторинга(dsmmonitord)

Предоставляет привелигированный доступ к некоторым сервисамфайловой системы для компонент TSM, вызываемых обычными пользователями

Осуществляет контроль уровня свободного пространства на файловой системе. При необходимости запускает процедуру автоматической миграции.

Выполняет пересылку файлов на сервер. Вместо посланного на сервер файла помещает ярлык на локальную файловую систему.

Выполняет синхронизацию данных, находящихся на сервере, стекущим состоянием данных на локальной файловой системе

Восстанавливает ошибочно удаленные ярлыки к мигрированнымфайлам

Автоматическая миграция при росте объема данных

60

70

80

90

100

110

120

130

140

150

160

170

180

190

200

210

50

40

30

верхний порог

нижний порог

При достижении верхнего порога занятости, запускается автоматическаямиграция данных, пока уровень занятости файловой системы не станет равнымзаданному нижнему порогу

Ур

ове

нь з

аня

тост

и л

ока

льн

ой

фа

йл

ово

й с

ист

ем

ы в

% о

т е

е о

бъ

ем

а

время

Данные на локальном хранилище

Данные на TSM сервере

Верхний порог занятости установлен в 90%, нижний в 70%

Механизм миграции файла

Файл до миграции

Файл после миграции

TSM сервер

dsmmigrate/dsmautomig

ярлык(~4K)

пустая область (sparse)

атрибуты DMAPI

данные

данные

ID

…

…

…

Использование DMAPI в TSM

10Лет

Приложение пользователя

TSM for Space Management

Извлечение файла из сервера

read()Возврат из read()

User - пространство

Kernel - пространство

ИнициализацияDMAPI

Ожиданиесобытия

Запись отсутствующихблоков файла

Пользовательский процесс приостановлен

ГенерациясобытияDMAPI

Ответ на событие

Логическая структура Juelich Storage Cluster (JUST)

4 TSM

Server

P5-55A

Force 10 E1200

208 Ports (10GigE)Management Server

P5-520

/work /arch /home8 x 36 TB

96 TB

96 TB288 TB

Объемы ежедневно мигрируемых данных на /arch

0

500

1000

1500

2000

2500

Ян

вар

ь

Ма

рт

Ма

й

Ию

ль

Се

нтя

бр

ь

Но

яб

рь

Ян

вар

ь

Ма

рт

Ма

й

Ию

ль

Се

нтя

бр

ь

Но

яб

рь

Ян

вар

ь

Ма

рт

Ма

й

Ию

ль

Се

нтя

бр

ь

Но

яб

рь

Ян

вар

ь

Ма

рт

Ма

й

Ию

ль

Се

нтя

бр

ь

Gb

Миграция Возврат

2007200620052004

Управление свободным пространством на файловой системе в UNIX и Linux

Дмитрий Трубачр.т. : +375 17 2173384e-mail : dtrubach@iba.by

спасибо за внимание