Денис Сагайдак

OFS207

Управление миллионами документов и терабайтами данных - управление контентом на платформе SharePoint

Денис СагайдакMicrosoft

Михаил БондаревскийMicrosoft

Содержание

Управление информацией – подход MicrosoftВозможности SharePoint по управлению большими объемами данныхПример создания большого хранилища документовТехнические детали и рекомендации по реализации хранилищ данных

Управление контентом: стратегия Microsoft

Функции поиска обеспечивают эффективную работу с информацией

Социальные сети

и совместная работа

Традиционные средства

управления контентом

Базовые возможности управления корпоративным контентом

Дополнительные возможности управления корпоративным контентом

Партнерские решения

Архивация электронной

почты*

Управление рабочими

процессами

Управление выходными

данными документов

Управление мульти-

медийным контентом

Управление веб-контентом

Управление записями

Управление документами

Юридически значимый документооборот и ЭЦП

Потоковый ввод и сканирование

Управление транзакционным

контентом

Управление бизнес-процессами

Управление физическими записями

Система управления корпоративным информационным содержимым SharePoint

* Архивация электронной почты обеспечивается Exchange

Возможности SharePoint 2010 для управления большими объемами данных

Таксономии и фолксономииНавигация на основе метаданныхНаборы документовПостоянные уникальные идентификаторы документовОрганизатор контентаВстроенная поддержка удаленных хранилищ больших двоичных объектовУправление записями на местеВеб-приложения Office Web Applicationsи многое другое….

Один день из жизни… ECM на SharePoint

Этапы работы с контентом

Партнерские решения

Организатор контента

Архив

Набор Документов

Рабочие процессы

SharePoint Server

Центр сканирования

Обработка,верификация,

добавление метаданных

Категоризация,Таксономия,

Идентификаторы документов

Перемещение в архив

Центр документов,

Поиск,МетаданныеФолксономия

1 2

76 5

4

3

Политики,Протокол

согласования,IRM,

Аудит

ЗаявкиInfoPath 1а

Первичное получение документов

Первичное получение документов

Партнерские решения

Организатор контента

Архив

Набор Документов

Рабочие процессы

SharePoint Server

Центр сканирования

Обработка,верификация,

добавление метаданных

Категоризация,Таксономия,

Идентификаторы документов

Перемещение в архив

Центр документов,

Поиск,МетаданныеФолксономия

1 2

76 5

4

3

Политики,Протокол

согласования,IRM,

Аудит

ЗаявкиInfoPath 1а

Демонстрация

Получение документов

Михаил Бондаревский

Рекомендации (Электронные формы)

Максимально используйте возможности электронных формИспользование InfoPath Designer позволит быстро разработать сложный шаблон форму с бизнес-правиламиInfoPath Form Services предоставит возможность пользователю заполнять формы через браузерИспользуйте возможности партнерских решений для обработки бумажных форм

Организатор контента,Категоризация, Таксономия,Наборы документов

Организатор контента

Партнерские решения

Организатор контента

Архив

Набор Документов

Рабочие процессы

SharePoint Server

Центр сканирования

Обработка,верификация,

добавление метаданных

Категоризация,Таксономия,

Идентификаторы документов

Перемещение в архив

Центр документов,

Поиск,МетаданныеФолксономия

1 2

76 5

4

3

Политики,Протокол

согласования,IRM,

Аудит

ЗаявкиInfoPath 1а

Организатор контента (Content Organizer)

Обычно пользователям требуется четко представлять структуру сайта / библиотеки, чтобы знать, куда сохранять документыБлагодаря усовершенствованной маршрутизации пользователи передают документы на сайт

Правила маршрутизации определяют место сохранения документаПравила маршрутизации задаются администраторами сайтов

Возможность автоматической отправки документов в центр записей по расписанию

Наборы документов

Каждый набор документов содержит:Список разрешенных в нем типов контентаКонтент по умолчанию, автоматически добавляемый в набор

Можно создавать общие столбцы (определенные в типе контента набора документов), которые применяются ко всему содержимому набораНачальная страница является домашней страницей наборов документов

Настраиваемая веб-часть «Страница» отображает свойства документа

Уникальный идентификатор документа (Document ID)

Новая возможность семейства сайтов: служба ИД документовДобавляет ко всем документам в семействе сайтов уникальные идентификаторыЭти уникальные ИД позволяют получать документы независимо от их текущего и будущего расположенияhttp://<sitecollectionurl>/_layouts/DocIdRedir.aspx?ID=MFSHF5F7ZUF5-1-1

Термины, ключевые слова, тегиТермины

Приложение-служба (хранилище терминов) » Группы » Наборы терминов » Термины

Регионы » Города » Редмонд

Организация хранилища терминов и терминыПлоский или иерархический списокКаждому термину могут быть сопоставлены пользовательские свойстваУстранение противоречий, повторное использование, слияние и исключение терминов

Ключевые словаПростой текст без перечисляемых источниковАналогичны тегам, но без корпоративных характеристик (синонимов, переводов, иерархии и др.)

Теги

Демонстрация

Организатор контента,Категоризация, Таксономия,Наборы документовМихаил Бондаревский

РекомендацииКлассификация

используйте качественный корпоративный справочник, привлекайте экспертов; старайтесь не использовать очень глубокую вложенность, начните с 2-3 уровней

Организатор контентамаксимально автоматизируйте размещение документов; не забудьте включить это опцию на адресуемом сайте

Идентификатор документа – привяжите к вашему делопроизводству (используйте вашу номенклатуру)Наборы документов – используйте понятные определения

Рабочие процессы,Аудит,Политики

Рабочие процессы

Партнерские решения

Организатор контента

Архив

Набор Документов

Рабочие процессы

SharePoint Server

Центр сканирования

Обработка,верификация,

добавление метаданных

Категоризация,Таксономия,

Идентификаторы документов

Перемещение в архив

Центр документов,

Поиск,МетаданныеФолксономия

1 2

76 5

4

3

Политики,Протокол

согласования,IRM,

Аудит

ЗаявкиInfoPath 1а

Демонстрация

Рабочие процессы,Аудит,ПолитикиМихаил Бондаревский

Рекомендации

Используйте политики вместо создания мини-рабочих процессов или написания своих обработчиков событийИспользуйте стандартные рабочие процессы (они достаточно мощные их надо просто настроить)Помните о WikiLeaks – используйте IRMАудит – ваша служба безопасности будет довольна

Поиск, как основной инструмент доступа к документам

Центр документов

Партнерские решения

Организатор контента

Архив

Набор Документов

Рабочие процессы

SharePoint Server

Центр сканирования

Обработка,верификация,

добавление метаданных

Категоризация,Таксономия,

Идентификаторы документов

Перемещение в архив

Центр документов,

Поиск,МетаданныеФолксономия

1 2

76 5

4

3

Политики,Протокол

согласования,IRM,

Аудит

ЗаявкиInfoPath 1а

OFS206 Построение поисковых приложений на основе FAST Search Server for SharePoint

Рекомендации

Максимально используйте поиск и поисковый API вместо написания своих web-частей фильтрации, сортировки и представленияУдобный пользовательский интерфейс

Панель-отчет статуса заявокПоследние заявкиТекущий статус активных заявок

Центр поискаИндивидуальные закладки поиска для каждого подразделения, с различными параметрами

МетаданныеЗаполняются редкоПозволяют находить необходимую информацию (учитываются в рэнкинге, правах доступа, рекомендациях, т.д.)

Организация архива

Организация архива

Партнерские решения

Организатор контента

Архив

Набор Документов

Рабочие процессы

SharePoint Server

Центр сканирования

Обработка,верификация,

добавление метаданных

Категоризация,Таксономия,

Идентификаторы документов

Перемещение в архив

Центр документов,

Поиск,МетаданныеФолксономия

1 2

76 5

4

3

Политики,Протокол

согласования,IRM,

Аудит

ЗаявкиInfoPath 1а

Демонстрация

Организация архива

Михаил Бондаревский

Рекомендации

«Актуальные» документы – давностью до Х месяцев хранить на локальном SQL Server с использованием SAN«Архивные» документы – используйте Remote Blob Storage (RBS)

Бесшовное подключение к облачному хранилищу или любому недорогому решению по хранениюЕдиный интерфейс для доступа к «Актуальным» и «Архивным» даннымAzure – обеспечивает необходимый уровень обслуживания связанный с высокой доступностью и восстановлением после сбоевИспользование возможностей аппаратной дедубликации Возможность горизонтального масштабирования слоя доступа к данным

Рекомендуемые ограничения

При правильном подходе SharePoint может масштабироваться под любые ваши требования

Новые рекомендации и ограничения выпущены в Июле 2011

Рекомендуется хранить до 4 Тб в одной контентной базы

Используйте несколько контентных баз вместо одной большой

Ограничение на 60 Миллионов записей в одной контентной базеДля архива (доступ только на чтение) ограничений нет

Видео

Демонстрация масштабируемости и отказоустойчивости SharePoint Server 2010

Пример хранилища на 120 Миллионов документов (30Тб)

http://go.microsoft.com/fwlink/?LinkId=229493

Data/Storage

Document Center Farm

PACNEC02(Hyper-V-HOST)

Physical64xLP

1TB RAMHosting Hyper-V,

FAST Admin

LAB

LAB

TWO1GB NIC

TWO1GB NIC

TWO1GB NIC

SPDC01Physical

4xLP4GB RAM

Domain Controller, DNS

PACNEC01(SQL-HOST)

Physical80xLP (Westmere)

1TB RAMHosting SQL Server,

FAST Document Processors

EMC SAN 2LUN Configuration / Database Distribution

FC HBA (8GB) – EMC SAN 2FC HBA (8GB) – EMC SAN 2

FC HBA (8GB) – VNX5700

FC HBA (8GB) – VNX5700

EMC VNX5700 SAN LUN Configuration / Database Distribution

LEGENDS

Service DBsService DBs MMS SAMMS SA SS SASS SA SP CASP CA SP ConfigSP Config Content DBs TranLogContent DBs TranLog SP01SP01 SP02SP02

Content DBs 1Content DBs 1 SP01SP01 SP02SP02 Content DBs 2Content DBs 2

Service DBs TranLogService DBs TranLog MMS SAMMS SA SS SASS SA SP CASP CA SP ConfigSP Config U&H SAU&H SA

SP01SP01 SP02SP02

Content DBs 3Content DBs 3 SP01SP01 SP02SP02 Content DBs 4Content DBs 4 SP01SP01 SP02SP02

TempDBTempDB TempDBTempDB TDB 2TDB 2 TDB 3TDB 3 TDB 4TDB 4

TempDB LogTempDB Log TempDBTempDB

Crawl/Admin DBCrawl/Admin DB FAST CrawlFAST Crawl FAST AdminFAST Admin FAST ContentFAST Content FAST Query AdminFAST Query Admin

FAST Data Dir1FAST Data Dir1

FAST Data Dir3FAST Data Dir3 FAST Data Dir4FAST Data Dir4

FAST Data Dir2FAST Data Dir2

Usage & Health SAUsage & Health SA UH StgUH Stg

TDB 5TDB 5 TDB 6TDB 6 TDB 7TDB 7 TDB 8TDB 8

UH RptUH Rpt

PACNEC01:Logical Unit NumberDrive Assignment

1F:

3H:

5J:

7L:

9N:

11P:

2G:

4I:

6K:

8M:

10O:

12F:

14H:

13G:

16I:

BulkBulk

15T:

VMsVMs

17K: SwapSwap SwapSwap SwapSwap SwapSwap SwapSwap

PACNEC02:Logical Unit NumberDrive Assignment

Backup (1)Backup (1) DB Backups

MMS, Usage & Health, Secure Store SA’s, Crawler

4xVP 16GB RAM

Web Front-end (SP & FAST)

App-1(CA)

App-2(Services)

FAST Service & Admin

4xVP 16GB RAM

FAST-SSA-1(SSA)

FAST-SSA-2(SSA)

WFE-1WFE-1 WFE-2WFE-2 WFE-3WFE-3

WFE-4WFE-4 WFE-5WFE-5 WFE-6WFE-6

FAST Index-Search

4xVP 16GB RAM

FAST-IS1 FAST-IS2

FAST-IS3 FAST-IS4

Test Rig

4xVP 8GB RAM

Controller

Agents (6)

4xVP 8GB RAMDoccenter2.lab:81

4xVP 8GB RAMDoccenter1.lab

Master Data FileMaster Data File

Secondary Data FileSecondary Data File

Log FileLog File

VHD Swap FileVHD Swap File

Logical Unit Number (LUN)Logical Unit Number (LUN)

FAST Index File

MS Word Document

MS Excel Document

MS PowerPoint Document

HTML File

Файловый архив или SharePoint?

Используйте SharePoint:

Вам нужен контроль версийПользователи совместно работают над документамиВам нужна гибкая модель безопасностиВсе пользователи имеют доступ к SharePointФайлы описываются с использованием метаданныхВам необходимо соответствовать правилам, которые нельзя выполнить с файловыми папками

Используйте файловые папки:

Файлы представляют собой архивы, дампы данных или резервные копии или редко изменяютсяВам необходима строгая модель безопасностиРазмещаемые файлы используют клиент-серверный профиль доступа Необходимо локальное размещение файловДля хранения исполняемых файлов .exe , scripts, и т.д..

Итоги

SharePoint 2010 позволяет реализовать ECM решение, соответствующее практически любому количеству пользователей, объему информации и темпу их роста.Предлагаемые подходы максимально использует стандартную функциональность SharePoint 2010 и не требует значительных инвестиций в доработку:

Использование InfoPath форм позволяет быстро разработать сложную форму на основе стандартной xml-схемы клиента и опубликовать ее на портале.Использование таксономии и навигации по метаданным позволяет организовать эффективную навигацию в библиотеках документов и возможность уточнения результатов поиска. Использование организатора контента позволяет организовать эффективное хранение документов автоматически распределяя их в соответствии с правилами.

Сессии по теме

OFS206 Построение поисковых приложений на основе FAST Search Server for SharePointOFS214 Вы внедрили SharePoint – что теперь?OFS215 Корпоративный поиск в SharePoint 2010OFS302 Использование собственных InfoPath-шаблонов для построения форм OFS312 Оптимизация и тюнинг производительности SharePoint 2010ARC205 Как реализовать интранет-портал на SharePoint 2010 для 100000+ сотрудников

Ресурсы

Scale Test Report for Very Large-Scale Document RepositoriesTop 10 SQL 2012 “Denali” Enhancements for SharePoint Install and configure RBS (SharePoint Server 2010)Data Storage Changes for SharePoint 2010 SharePoint Server 2010 capacity management: Software boundaries and limitsFILESTREAM Storage in SQL Server 2008

Обратная связь

Уважаемые участники!Ваше мнение очень важно для нас!В блокноте, который находится в инфопаке участника, вы найдете анкету для оценки докладовПожалуйста, оцените доклад и сдайте анкету при выходе из зала модераторуДля участия в конкурсе заполненных анкет, отметьте в анкете номер, который указан на вашем бейдже

Спасибо!

Вопросы

OFS207Денис Сагайдак

Консультант по бизнес-решениямdenis@microsoft.com

Михаил БондаревскийАрхитектор Технологического центра Майкрософтa-mibon@microsoft.com

Вы сможете задать вопросы докладчику в зоне Microsoft в зале №17 в течение часа после завершения этой сессии