sef trubach v1.2
DESCRIPTION
TRANSCRIPT
Управление свободным пространством на файловой
системе в UNIX и LinuxДмитрий Трубач. IBA
Изменение ценности данных различных типов
со временем. Ц
енно
сть
дан
ны
х/ча
стот
а о
бра
щен
ий
0
20
40
60
80
100
7Дней
14 21 28 3 Мес.6 9 1
Год5
Лет10ЛетДней День Дней Мес. Мес.
Источник: Enterprise Storage Group
MPEG
Документы
Коды программ
Базы данных
Иерархическая организация хранилищ данных
Наиболее часто используемые данные
Данные требуютсявремя от времени
Данные, возможно, никогда не потребуются, но хранить их нужно
Сто
им
ость
за
Mb
Бы
стро
дей
стви
е
Схема работы TSM for Space Management
Цен
ност
ь д
анн
ых/
част
ота
об
ращ
ений
0
20
40
60
80
100
7Дней
14 21 28 3 Мес.6 9 1
Год5
Лет10ЛетДней День Дней Мес. Мес.
Источник: Enterprise Storage Group
Возврат файлов
Миграция файлов
.
.
.
Сервер с установленным TSM клиентом
Заполненность хранилища данных
Пользователи
TSM сервер
Хранилище данных
Компоненты TSM Ц
енно
сть
дан
ны
х/ча
стот
а о
бра
щен
ий
Мес.6 9 1
Год5
Лет10ЛетМес.
Источник: Enterprise Storage Group
Демон сканирования(dsmscoutd)
Демон привилегированного доступа
(dsmrootd)
Демон возврата(dsmrecalld)
Реконциляция(dsmreconcile)
Миграция(dsmmigrate,dsmautomig)
Восстановление после удаления
(dsmmigundelete)
Следит за событиями чтения/записи файлов на управляемой файловой системе. Осуществляет возврат файлов с сервера
Осуществляет сканирование файловой системы для поиска наиболее подходящих кандидатов для миграции
Демон мониторинга(dsmmonitord)
Предоставляет привелигированный доступ к некоторым сервисамфайловой системы для компонент TSM, вызываемых обычными пользователями
Осуществляет контроль уровня свободного пространства на файловой системе. При необходимости запускает процедуру автоматической миграции.
Выполняет пересылку файлов на сервер. Вместо посланного на сервер файла помещает ярлык на локальную файловую систему.
Выполняет синхронизацию данных, находящихся на сервере, стекущим состоянием данных на локальной файловой системе
Восстанавливает ошибочно удаленные ярлыки к мигрированнымфайлам
Автоматическая миграция при росте объема данных
60
70
80
90
100
110
120
130
140
150
160
170
180
190
200
210
50
40
30
верхний порог
нижний порог
При достижении верхнего порога занятости, запускается автоматическаямиграция данных, пока уровень занятости файловой системы не станет равнымзаданному нижнему порогу
Ур
ове
нь з
аня
тост
и л
ока
льн
ой
фа
йл
ово
й с
ист
ем
ы в
% о
т е
е о
бъ
ем
а
время
Данные на локальном хранилище
Данные на TSM сервере
Верхний порог занятости установлен в 90%, нижний в 70%
Механизм миграции файла
Файл до миграции
Файл после миграции
TSM сервер
dsmmigrate/dsmautomig
ярлык(~4K)
пустая область (sparse)
атрибуты DMAPI
данные
данные
ID
…
…
…
Использование DMAPI в TSM
10Лет
Приложение пользователя
TSM for Space Management
Извлечение файла из сервера
read()Возврат из read()
User - пространство
Kernel - пространство
ИнициализацияDMAPI
Ожиданиесобытия
Запись отсутствующихблоков файла
Пользовательский процесс приостановлен
ГенерациясобытияDMAPI
Ответ на событие
Логическая структура Juelich Storage Cluster (JUST)
4 TSM
Server
P5-55A
Force 10 E1200
208 Ports (10GigE)Management Server
P5-520
/work /arch /home8 x 36 TB
96 TB
96 TB288 TB
Объемы ежедневно мигрируемых данных на /arch
0
500
1000
1500
2000
2500
Ян
вар
ь
Ма
рт
Ма
й
Ию
ль
Се
нтя
бр
ь
Но
яб
рь
Ян
вар
ь
Ма
рт
Ма
й
Ию
ль
Се
нтя
бр
ь
Но
яб
рь
Ян
вар
ь
Ма
рт
Ма
й
Ию
ль
Се
нтя
бр
ь
Но
яб
рь
Ян
вар
ь
Ма
рт
Ма
й
Ию
ль
Се
нтя
бр
ь
Gb
Миграция Возврат
2007200620052004
Управление свободным пространством на файловой системе в UNIX и Linux
Дмитрий Трубачр.т. : +375 17 2173384e-mail : [email protected]
спасибо за внимание