Новейшие серверные решения от fujitsu и как они позволяют...

FUJITSU

BCDC 2014

St-Petersburg

04.12.2014

Новейшие серверные решения от Fujitsu и как они позволяют экономить

Fujitsu Россия и СНГ

План выступления

• Новая линейка серверов M1 и процессоры E5-26xx v3

• Возможности интегрированных решений Fujitsu

• Высоконадежные сервера PRIMEQUEST

• Кластерные решения на CX

• Q&A

О компании Fujitsu

Лидер

Японского

рынка

Компания Fujitsu является №1 на японском рынке и занимает четвертое место в мире. Обширные инвестиции в разработку

Многолетний

Опыт

производства

Лидер

надежности

Cерверы Fujitsu PRIMERGY на базе процессоров Intel® Xeon® производятся уже 20 лет и являются лидерами по производительности в тестах VMware VMmark , SAP, TPC-E.

Широкий портфель решений на рынке x86. Серверы производятся только в Германии.

Системы с супервысоким уровнем надежности, чтобы обеспечить непрерывность бизнес-процессов заказчика. Вычислительные системы, которые изначально проектируются, разрабатываются и производятся с учетом этих требований – высочайший уровень качества, позволяющий избегать сбоев в работе оборудования

Fujitsu x86 Platform

© FUJITSU LIMITED 2014 5

Семейство PRIMERGY Семейство PRIMEQUEST

• Семейство серверов стандартной архитектуры

• Дизайн для обеспечения максимальной надежности

• Самая высокая в отрасли плотность вычислений (на unit

монтажной стойки)

• Самый широкий модельный ряд в отрасли

• Высокая энергоэффективность

• Made in Germany

• Уникальные серверы с дизайном Mainframe на базе

платформы x86

• Выдающиеся показатели по отказоустойчивости,

недоступные ранее на x86

• Производительность уровня Hi-End RISC/UNIX

• Непревзойденная эффективность

• Наличие аппаратных разделов

• Made in Japan

Рабочие лошадки

PRIMERGY RX 100S8

PRIMERGY TX150

Недорогие расширяемые напольные серверы для небольших инфраструктур

Стандарт для ЦОД: универсальные мощные и энерго-эффективные

стоечные серверы

PRIMERGY RX300S8

PRIMERGY RX 350S8

PRIMERGY RX 4770M1

PRIMERGY TX2540

PRIMERGY TX300S8

PRIMERGY RX 2520M1

PRIMERGY RX 200S8

FUJITSU Server PRIMERGY Integrated Solution Products

Шасси

CX400 CX420

Система Cluster-In-Box которая может служить основой для

отказоустойчивой инфраструктуры

Серверные ноды

CX2550 CX2570

Шасси для систем высокой плотности VMware EVO RAIL

Платформа для облачной инфраструктуры и высоко производительных кластеров

Низкая стоимость владения(цена за виртуальную машину)

Снижение затрат на охлаждение и энергопотребление

Высокая плотность размещения

Двухсокетный сервер с

возможностью установки

полноразмерных карт PCI, до 2 шт в шасси

Двух сокетный сервер, с возможностью установки

до 4 штук в шасси

Copyright 2014 FUJITSU LIMITED

VMware EVO:RAIL все необходимы продукты

EVO:RAIL управление разворачивание и обновление vSphere Enterprise Plus Edition включая ESXi для серверов VMware Virtual SAN для систем хранения vCenter Server vCenter Log Insight (протокол реального времени для управления и анализа)

ROBO Virtual Private Cloud VDI General Purpose

Enterprise Corporate

Intel® Xeon® E5-2600 v3 processors

Best combination of performance, built-in capabilities and cost-effectiveness

1.5 TB RAM with 2,133 MHz speed (DDR4)

22 nm manufacturing process

Accelerate ‘in-memory’ solutions

Improved energy efficiency

Boost your general computing performance up to 38%

Intel® Xeon® E5 v3 processors with 36 cores and 45 MB cache

Performance that adapts to spikes in your workload

Intel® Turbo Boost Technology 2.0

Achieve higher throughput in technical computing

Intel® Advanced Vector Extensions 2 (AVX2)

Up to 45MB Shared Cache

Intel Xeon Processor E5-2600 v3

Integrated PCI Express 3.0

Up to 40 lanes per socket

4 channels of up to DDR4 2,133 MHz memory

DDR4

DDR4

DDR4

DDR4

Fujitsu DynamicLoM technology

Systemboard with typical LoM

Embedded 4-port

1 Gbit/s NIC

Systemboard with DynamicLoM technology

Dynamic LoM

CPU

CPU RAM

RAM CPU

CPU RAM

RAM

2x 1 Gbit/s

4x 1 Gbit/s

2x 10 Gbit/s

SFP+

2x 10 Gbit/s 10Base-T*

More flexibility, scalable for future needs and lower total-cost-of-ownership

Flexible external connectivity with different interface cards

‒ With release: 2x / 4x 1 Gbit/s and 2x 10 Gbit/s

‒ Future: 4x 10 Gbit/s and 1x 40 Gbit/s

Flexible cost structure pay as you grow

Market-leading feature set

‒ Universal Multi-Channel with up to 8 physical functions per port

‒ Fibre Channel over Ethernet (FCoE), iSCSI, also with full-offload

‒ RDMA over Converged Ethernet (RoCE) best suited for data center tasks

‒ Single Root I/O Virtualization (SR-IOV) and support for NVGRE and VXLAN leave precious resources free in virtualized environments

*available 11/2014

Новое наименование серверов

© FUJITSU LIMITED 2014 11

Segment Current New naming

Micro server MX130 S* -

Tower server TX100 S* TX1310 M1

1300 TX120 S* TX1320 M1

1500 TX140 S* TX1330 M1

2500 TX150 S* -

TX200 S* TX2540 M1

TX300 S* TX2560 M1

Rack server RX100 S* RX1330 M1

1300 RX180 S* (New) RX2520 M1

2500 RX200 S* RX2530 M1

4500 RX300 S* RX2540 M1

4700 RX350 S* RX2560 M1

RX500 S* -

RX600 S* RX4770 M1

Segment Current New naming

Blade server BX920 S* BX2560 M1

2500 BX924 S* BX2580 M1

Multi node server CX250 S* CX2550 M1

2500 CX270 S* CX2570 M1

Chassis Current New

BX Blade BX900 S* BX900 M1

BX400 S* BX400 M1

CX Multinode CX400 S* CX400 M1

Segment Current New naming

Micro server MX130 S* -

Tower server TX100 S* TX1310 M1

1300 TX120 S* TX1320 M1

1500 TX140 S* TX1330 M1

2500 TX150 S* -

TX200 S* TX2540 M1

TX300 S* TX2560 M1

Rack server RX100 S* RX1330 M1

1300 RX180 S* (New) RX2520 M1

2500 RX200 S* RX2530 M1

4500 RX300 S* RX2540 M1

4700 RX350 S* RX2560 M1

RX500 S* -

RX600 S* RX4770 M1

Segment Current New naming

Blade server BX920 S* BX2560 M1

2500 BX924 S* BX2580 M1

Multi node server CX250 S* CX2550 M1

2500 CX270 S* CX2570 M1

Chassis Current New

BX Blade BX900 S* BX900 M1

BX400 S* BX400 M1

CX Multinode CX400 S* CX400 M1

Как выбирать новое поколение серверов

© FUJITSU LIMITED 2014 12

Item PRIMERGY RX300 S8 PRIMERGY RX2540 M1

Chipset Intel® C600 with QPI Intel® C610 with QPI

Processor 2x Intel® Xeon® E5-2600 v2 max 130W

with HT + TB, 4-/6-/8/10/12-Core

2x Intel® Xeon® E5-2600 v3 max 145W

with HT + TB, 4/6/8/10/12/14/16/18-Core

Main memory UDIMM on special release only / RDIMM / LRDIMM

Max. 1536 GB DDR3 RDIMM, new 64 GB LRDIMM

4x 3 DIMMs / CPU, max 1866 MHz

RDIMM / LRDIMM

Max. 768 GB DDR4 LRDIMM, 64 GB LRDIMM delayed*

4x 3 DIMMs / CPU, max 2133 MHz

Administration Int. CSS, LSD option, iRMC S4 LSD option for 2.5” only*, iRMC S4

Fans redundant 4+1 hot-plug fans, lowered noise level 4+1 hot-plug fans, lowered noise level

PSU 1(+1) hot-plug, 800W 94% platinum or 96% titanium, 450W 94% platinum,

mod. PSU concept, PowerSafeGuard

1(+1) hot-plug, 800W 94% platinum or 96% titanium, 450W 94% platinum,

1200W 94% platinum, mod. PSU concept, PowerSafeGuard

I/O low profile (lp) or full height (fh)

7x lp PCIe Gen3: 2 x16, 3 x8, 1 x8 for mod. LAN, 1 x8 for mod. RAID

(internal)

6x lp PCIe Gen3 (3 PCIe x8, 3 PCIe x16), 4x fh + 4x lp with riser opt., hereof

1 x8 mod.RAID, additional x8 DynamicLoM interface

SAS

Boot devices

SAS 3.0 option, 12Gbit/s, Cougar4 2G Cache, SSD only

4x SATA on-board with SAS option, UFM

SAS 3.0, 12Gbit/s standard

4x SATA on-board, UFM, SATA-DOM

Max. # HDD (SAS, SATA, SSD)

2.5“: 4x, 8x, 12x or 16x (modular) or module with LTO drive

3.5”: 6x only

2.5”: 8x,16x or 24x plus 4x rear option*, 8x/16x with LTO/ODD*

2.5”: 4x/8x PCIe SSD SFF*

3.5”: 4x, 8x or 12x, no ODD for 12x

Connectors Rear VGA, front VGA option

USB2.0: 4x rear, 2x front

LAN: 2 rear + 1 man, 1 front service

Rear VGA, front VGA option**

USB: 4x rear (hereof 2xUSB3.0), 2x front USB3.0**

LAN: 1x service + DynamicLoM, 2/4 ports, 1/10Gb with RJ45/SFP+

Others Cool-safe™ Advanced Thermal Design Cool-safe© Advanced Thermal Design

** 24x 2.5” or 12x 3.5” version: 1x USB2.0 only and no front VGA option * from 2/2015

RX2540 – до 28 дисков в 2U

BX2560 M1 I System Arrangement

2 x 2.5-inch hot-plug storage drive bays SAS/ SATA HDD, and SAS/ SATA/ PCIe SSD

1 - 2 x CPU Intel® Xeon® processor E5-2600 v3 product family

DIMMs CPU #1 DDR4 (up to 2,133 MHz), RDIMMs, or LRDIMMs, operating at 1.2V

SAS 12G RAID HDD Module w/o Cache (PRAID CM400i) w/ 1 GB Cache (PRAID EM400i) optional Flash Backup Unit (FBU)

UFM

Mezzanine Card #1

Mezzanine Card #2

TPM

SAS-PROM

DIMMs CPU #2 DDR4 (up to 2,133 MHz), RDIMMs, or LRDIMMs, operating at 1.2V

microSD

SATADOM

CAPEX, OPEX?

IDC: “для современной ИТ-платформы, 30% общих затрат приходится на приобретение оборудования. Неправильный баланс , трудозатрат на настройку, сопровождение, обновление, изменение конфигурации, приводит в конечном счете к выводу из эксплуатации оборудования”.

Forrester: “это организации тратят 70-80% от их общего ИТ-бюджета на обслуживание текущих операций”

16

CAPEX, OPEX?

Стоимость

15 рублей 200 рублей

Количество часов работы в сутки

5 часов

Цена за киловатт

5 рублей

Мощность потребления

5 Ватт 75 Ватт

Итоговая стоимость в год 246 рублей 700 рублей

Что мешает запустить, настроить и обслуживать инфраструктуру?

Многие проекты не укладываются в сроки

Человеческий фактор, ошибки

Требования к знанию всей инфраструктуры

Высокие эксплуатационные затраты

Множество окон управления

Медленное выделение ресурсов

Высокие требования к обслуживанию

Каждый компонент требует обновления(патчи и драйвера)

Необходимость тестирования обновлений на интеграцию со всеми компонентами.

Software & Hardware Layers

Application Layer

Management Layer

Operating System

Hypervisor Layer

Hardware

ERP

Database Server

Cloud Service Mgmt.

Storage Management

Server Management

I/O Virtualization

VMware Virtual Center

MS System Center VMM

Mgmt. server

Blade Server

Blade Chassis

Switches

Storage

Har

dwar

e

W2k3, W2k8, W2k12

RHEL, SLES OS

VMware, Hyper-V, …

Управление Инфраструктурой

Сейчас

? Множество людей вовлечено в процесс. Не всегда

хорошая координация.

Много ручных действий

Результат

Слишком долго выделяются ресурсы

Завтра

? Интегрированная инфраструктура объединяет

сеть, серверы и системы хранения

Сервисы самообслуживания

Результат

Меньше людей вовлечено в процесс

Быстро выделяются ресурсы

Высокая операционная эффективность

Управление Инфраструктурой

PRIMERGY

3rd-party x86 Servers

VMware vSphere

MS Hyper-V

KVM, Xen, XenServer

Oracle VM

Resource Orchestrator

PRIMEQUEST

SPARC Enterprise

ETERNUS 3rd-party storage

VirtualServers

Управление Инфраструктурой

FUJITSU Integrated System Cloud Ready Blocks

Infrastructure management

Virtualization/Cloud management

Server, Storage, Network

Enterprise Model

ToR switches • Fujitsu Network Switch

CFX2000 10/40Gb (dual)

Compute nodes • Fujitsu Server

PRIMERGY

Storage nodes • Fujitsu Storage

ETERNUS

Infrastructure management software

• Fujitsu Software ServerView Suite

Автоматизация действий

от инфраструктуры

до приложений

Открытые

стандарты

Глубокая интеграция оборудования и програмного обеспечения

Эффективное

управление

жизненным циклом

инфраструктуры

Готовность к облачным

средам

Безопасность

Свойства FUJITSU Integrated System Cloud Ready Blocks

Консолидация управления

Инвентаризация и аудит

Управление обновлениями

Охлаждение Cool-safe® Advanced Thermal Design

Standard

Extended Temperature

Возможность работы серверов при высоких средних температурах

Широкий температурный диапазон эксплуатации

Реализовано для многих компонентов PRIMERGY RX & CX серверов, ETERNUS систем хранения, коммутаторов

Отсутствие ограничений (выбор CPU, объема памяти и т.д.)

Cool-safe® Advanced Thermal Design помогает экономить

До 27% экономии на охлаждении

Снижение расходов на строительство дата центров

Для серверных – можно использовать комнаты без охлаждения

Wh

at is

it?

Ben

efit

s

Идеальная платформа для виртуализации

10U высочайшая плотность в индустрии 18 лезвий

Полностью отказоустойчивый дизайн: блоки питания, управления, сетевая инфраструктура ввода\вывода

18 серверов x 2 CPUs x 18 Ядер = 648 ядер в 10U

Объем ОЗУ до 1 Тб в каждом блейд сервере

Ввод\вывод каждый из серверов имеет до 3 сетевых карт

Масштабирование Защита инвестиций Эффективность

Охлаждение Cool-safe® Advanced Thermal Design

FUJITSU – синоним для “Mission Critical”

Самый старый в мире компьютер, который до сих пор работает FACOM 128B, выпущен в1959

1974: первый мейнфрейм – система FACOM M-190

1976: Поставка мейнфрейма AMDAHL 470V/6 в NASA

2002: Выпуск GS21 600, самого быстрого в мире мейнфрейма

2004: PRIMEPOWER- первый в мире UNIX-сервер, основанный на 90-нм технологии

2005: PRIMEQUEST, - самый мощный IA-64 сервер для критически важных вычислений

2007: Выпуск Solaris/SPARC Enterprise servers SES

2012: PRIMEQUEST 1000 Series: Сервер для критически важных приложений на x86

2014: PRIMEQUEST 2000 Series

Позиционирование PRIMEQUEST и UNIX

PRIMEQUEST – наименьшая цена среди серверов класса Enterprise при таком же уровне надежности

Уровень надежности «обычного х86 сервера» и надежность PRIMEQUEST – совершенно разные вещи

Product-Market Mapping

General PC server

Cost-efficiency

Reliability

IBM Power System/ HP Superdome-2

PQ single server

Advanced x86 platform with enhanced RAS features

Efficient and flexible x86 server platform

Unity of x86 efficiency & flexibility with mission critical high availability

PRIMEQUEST 2800B

PRIMEQUEST 2x00E

Standard x86

Hig

h a

vail

ab

ilit

y

Standard RAS features

SDDC, ECC, redundant fans and power supply

Standard RAS features

SDDC, ECC, redundant fans and power supply

Advanced RAS features Intra-socket memory mirroring, MCA, PCIe live recovery, DDDC

Standard RAS features

SDDC, ECC, redundant fans and power supply

Advanced RAS features

Intra-socket memory mirroring, MCA, PCI live recovery

Mission-Critical RAS features: Dynamic Reconfiguration, Reserved SB, Flexible IO

Redundant MMB, hot-plug PCIe

PRIMEQUEST – What is PRIMEQUEST ? PRIMEQUEST Mission Critical Availability Features

PRIMEQUEST 2800E2 8x Intel E7

HP Superdome2 Intel Itanium

IBM Power Systemm POWER 7

Fujitsu/Oracle SPARC M Class

IBM x3850 DELL R910 HP DL980

Management processor (Redundant)

System clock (Redundant)

Memory Mirroring

CPU Error detection/ correction

Component level Redundant & Hot-plug

System Boards (CPU/RAM) PSU,fans, disks, PCI

System Board, PCI

Online maintenance

Flexible I/O Redirection

Hardware Partitions Electrical Isolation

System Board Recovery (Automated)

Analysis Engine not redundant

logical partitions

/w GPSM: hot-add Blade

/w Live Partition Mobility

only for Hypervisor code

PRIMEQUEST – Mission Critical RAS Features ? Comparison to UNIX/RISC & Standard x86

Fujitsu PRIMEQUEST

Надежность уровня мейнфрейма для Linux и Windows

Критически важные

приложения

Масштабируемые

базы данных

Аналитика в

реальном времени

Сценарии использования

Консолидация

серверных

мощностей Динамическая платформа для современного ЦОДа 8x Intel Xeon процессоров E7-8800 v2 До 12TB памяти и 120 ядер Новый уровень надежности и динамичности –

возможность реконфигурирования аппаратной части системы без перезагрузки

PRIMEQUEST –лучший выбор для SAP HANA

Высокоскоростные in-memory базы данных, системы реального времени и аналитики

Возможность масштабирования от S до XXL

Продуктив, разработка и аналитика на одном сервере

Высокая надежность – использование системной платы горячей замены

Динамическое реконфигурирование под управлением RedHat 7.0

PRIMEQUEST 2x00B/E Сценарий использования для SAP HANA

Mem

ory

CPU

ERR

Mirror

Application

Mem

ory

CPU

Application

ERR

removed

ERR

Динамическое добавление

резервной SB в раздел

Динамическое удаление сломанного модуля из раздела

Изъятие дефектного модуля

Зеркалирование памяти защищает приложение от сбоя

1

Обнаружена аппаратная ошибка

2

3

4

Нормальный режим

spared

Mirror

Application Application

Результаты тестирования OLTP Oracle 10g tpm

IBM Power Systems Power 750, POWER7+, 4000 MHz, 2 MB SLC (8-core 80M TLC per DCM)

3,995,403

PQ2800E (PRIMEQUEST-2800E, Xeon E7-8890 v2, 2800 MHz, 3.75 MB SLC (15-core 37.5M TLC)

9,400,000

PQ2800E (PRIMEQUEST-2800E, Xeon E7-8893 v2, 3400 MHz, 1.5MB SLC (6-core 37.5M TLC)

5,076,000

Коэффициент при лицензирование Oracle

IBM Power Systems (Power7) Core factor 1.0

PQ2800E (Intel Xeon E7) Core factor 0.5

Oracle Enterprise Edition на PRIMEQUEST и IBM Power Systems

30

Лицензии за сравнимую производительность

Power Systems 32 cores x1 (Enterprise Edition) ・・・ ca 1.587M USD

PQ2800E 48 cores x 0,5 (Enterprise Edition) ・・・ ca 1.190M USD

Пример лицензирования Oracle DB

FUJITSU Server PRIMERGY Scale-out Systems Products

Шасси

CX400 CX420

Система Cluster-In-Box которая может служить основой для

отказоустойчивой инфраструктуры

Серверные ноды

CX2550 CX2570

Шасси для систем высокой плотности

Платформа для облачной инфраструктуры и высоко производительных кластеров

Низкая стоимость владения

Снижение затрат на охлаждение и энергопотребление

Высокая плотность размещения

Двухсокетный сервер с

возможностью установки

полноразмерных карт PCI, до 2 шт в шасси

Двух сокетный сервер, с возможностью установки

до 4 штук в шасси

PRIMERGY CX420 S1 — серверный кластер с двумя узлами

PRIMERGY CX420 S1 обеспечивает высокую готовность для приложений и данных

Кластерный сервер с интегрированными общими накопителями не нуждается в SAN.

Решение HA для малого и среднего бизнеса, основанное на Windows Server 2012, стало

доступным и простым для приобретения

Все уместилось в стойку высотой 2U

2 серверных узла (с новейшими процессорами Intel Xeon E5-2600)

До 12 общих дисковых накопителей с горячей заменой

(суммарная емкость 48 ТБ)

Общие БП с резервированием + вентиляторы

Специально разработано для ограниченного бюджета Совместно используемые компоненты уменьшают капитальные затраты

«Бескорпусные» серверные узлы половинной ширины из нашей линейки

высокопроизводительных серверов PRIMERGY CX400 экономят бюджет и энергию

Поддержание работоспособности не требует особых ИТ-навыков Эффективно использует новые возможности высокой готовности, обеспечиваемые Windows Server 2012

Гибкая конфигурируемая платформа поддерживает разнообразные сценарии высокой готовности/отказоустойчивости

Высокая готовность (HA), не требующая высокой квалификации ИТ-персонала и высоких затрат

FUJITSU © 2013 г. Все права защищены.

CX420 S1 — вид спереди

CX420 S1 — вид сзади

Major components of FUJITSU Integrated System Appliance for VMware EVO: RAIL

Software for the new edge Compute, Network and Storage

virtualization with vSphere and VSAN Central management with vCenter and

vCenter Log Insight VMware Support & Services (SnS)

One smart enclosure with 4 nodes, each node with: 2 CPUs E5-2620v2 192 GB RAM 1.866MHz 1x 400GB SSD, 1x 300GB SAS

and 3x 1.2TB SAS Hot Plug 2x 10GBit/s Ethernet Connectivity

FUJITSU Server PRIMERGY CX400

2x 10Gbit/s

2x 10Gbit/s

2x 10Gbit/s

2x 10Gbit/s

Eth

ern

et C

onn

ecti

vity

(LA

N)

Fujitsu x86 Platform

© FUJITSU LIMITED 2014 35

Семейство PRIMERGY Семейство PRIMEQUEST

• Семейство серверов стандартной архитектуры

• Дизайн для обеспечения максимальной надежности

• Самая высокая в отрасли плотность вычислений (на unit

монтажной стойки)

• Самый широкий модельный ряд в отрасли

• Высокая энергоэффективность

• Made in Germany

• Уникальные серверы с дизайном Mainframe на базе

платформы x86

• Выдающиеся показатели по отказоустойчивости,

недоступные ранее на x86

• Производительность уровня Hi-End RISC/UNIX

• Непревзойденная эффективность

• Наличие аппаратных разделов

• Made in Japan

Выводы

Как мы помогаем Вам экономить на ИТ

1. Энергоэффективные сервера с Advanced Thermal Design

2. Возможность выбора встроенной сети DynamicLoM (2x1G,4x1G, 2x10G)

3. Виртуализация сети Emulex Universal Multi-Channel с поддержкой до 8 виртуальных функций на порт

4. Новые сервера M1 на базе E5-26xx v3 – до 36 ядер на процессор, выше производительность каждого сервера

5. Интегрированные решения: все управляется из одного места, простое масштабирование стандартными блоками

6. Высокопроизводительные сервера PRIMEQUEST, мейнфрейм на базе x86: надежность и отказоустойчивость за меньшие деньги + экономия на лицензиях

Ближайшие мероприятия

Приглашаем вас зарегистрироваться и посетить вебинар: «Решения для 1С – взгляд Fujitsu»

Дата: 11 декабря 2014 г. Время: с 13:00 до 14:00 (MSK). Наш эксперт: Евгений Тарелкин, менеджер по маркетингу PRIMERGY.

Ссылка для регистрации: https://fujitsu-ts.webex.com/fujitsu-ts/onstage/g.php?MTID=e3a0a9c6890f8a95a5e62259ec13d9985

Полезные ссылки

Текст выступления С.Мацоцкого “Новая ИТ-реальность.Вызовы и возможности”(IBS) – http://www.ibs.ru/media/our-analytics/novaya-it-realnost-vyzovy-i-vozmozhnosti/

Vmware EVO RAIL - http://www.vmware.com/products/evorail

Генератор QR-кодов – http://qrcoder.ru/

Презентации Fujitsu Russia - http://www.slideshare.net/Fujitsu_Russia

Thank you for listening