transferencia de archivos digitales con soluciones aspera resolviendo los desafíos de casos...
TRANSCRIPT
Transferencia de archivos digitales con soluciones Aspera
Resolviendo los desafíos de casos típicos de ingesta, distribución, y automatización en la transferencia de archivos digitales
Dr. Ing. Diego Dugatkin
VP Product Management, Aspera Inc.
Quién es Aspera?
• Empresa líder en el movimiento de grandes archivos y datos a través de redes WAN– Con sede central en Emeryville, California (área de San Francisco, costa oeste de EE.UU.)– Oficinas europeas en Francia, y personal local en el Reino Unido, en Asia, y en Centro y Este de EE.UU.– Partners y distribuidores en Latinoamérica, en Argentina, Chile y Brasil.– Rentable desde su creación en 2004, sigue siendo de propiedad privada y liderada por sus fundadores.
• Creadores del protocolo fasp para transporte de grandes volúmenes de datos en alta velocidad
– Desarrollado desde un principio, con tecnología propia patentada, para transporte de datos en masa o “a granel”.
• Solución únicamente de software, que reemplaza a FTP, HTTP, SCP, RSYNC, CIFS, NFS.• Supera a todas las soluciones de hardware y software de ‘aceleración WAN’.• Primer lugar en el ránking de referencia del rendimiento de transferencia de datos sobre WAN.
– Permite trabajar con enormes volúmenes de datos, de todo tipo.• Ampliamente adoptado en todo el mundo en numerosas industrias.• Más de 10,000 licencias instaladas en servers y endpoints.• 1200 clientes en todo el mundo.• Terabytes transferidos a diario!
El “Big Data Movement Challenge”
El movimiento rápido y eficiente, y el almacenamiento de archivos de gran tamaño a través de redes WAN, se han convertido en un requisito escencial.
Otras tecnologías actuales no proporcionan el nivel de rendimiento necesario.
Media & Entertainment Big-Data: Big & Getting Bigger
Una sóla producción de cine digital puede ocupar entre 800K–1M 2K/4K frames
Qué pasó con mi ancho de banda?
100 Mbps200ms RTT0.01% de pérdida de paquetes
Capacidad nominal de la WAN es 100 Mbps
Mayor tasa efectiva promedio de TCP ~ 7 Mbps
Donde están mis otros 93 Mbps?
A razón de 7 Mbps: 10GB tradarían 3 hs200GB tradarían 2.5 días
A razón de 7 Mbps: 10GB tradarían 3 hs200GB tradarían 2.5 días
ParísParísBuenos AiresBuenos Aires
WANWAN
Capacidad nominal de la WAN es 100 Mbps• Mayor tasa efectiva promedio de TCP ~ 7 Mbps• Ancho de banda deseado: ~99 Mbps (mejoría x14 veces!)• ROI: costo de no utilizar los 93 Mbps perdidos…
Mismo escenario WAN, con transporte Aspera fasp
ParísParísBuenos AiresBuenos Aires
WANWAN
100 Mbps200ms RTT0.01% de pérdida de paquetes
FTP vs fasp™ comparación de tiempos de transferencia
Los tiempos de transferencia con Aspera se acortan linealmente a medida que sube el ancho de banda, independientemente de la pérdida de paquetes o latencia de la red.
Costa-a-costa en USA: sumar 1 a 5% -- Intercontinental: sumar 1 a 10% -- Satélite;sumar 1 a 10%
Los tiempos de transferencia de TCP están limitados por el porcentaje de perdida de paquetes y por la latencia o “delay” (la distancia de red), pero no por el ancho de banda!
Customer Performance ResultsFrom To OS Link type Capacity Target FTP/HTTP fasp Increase
Burbank, CA Burbank, CA Linux to Linux LAN 10 Gbps 2 Gbps 400 Mbps 1.2 Gbps 3x
San Diego, CA East Coast US Linux to Linux Private Link 1 Gbps 500 Mbps 5 Mbps 488 Mbps 98x
Ashburn, VA Los Angeles, CA Linux to Linux Public Internet Unknown 250 Mbps 1.8 Mbps 218 Mbps 121x
Washington, DC New Zealand Win to Win Public Internet 100 Mbps 100 Mbps 500 Kbps** (160ms/2%) 92 Mbps 184x
Burbank, CA London, UK Linux to Win Public Internet 100 Mbps 100 Mbps 1.5 Mbps** (150ms/0.5%) 97 Mbps 65x
Los Angeles, CA Tulsa, OK Win to Win Public Internet 100 Mbps 100 Mbps 12 Mbps 95 Mbps 8x
Philippines New Jersey Win to Win Public Internet 100 Mbps 80 Mbps 650 Kbps** (170ms/2%) 78 Mbps 122x
Garden Grove, CA Los Angeles, CA Linux to Linux Fractional OC-3 100 Mbps 100 Mbps 20 Mbps 95 Mbps 4x
New York, NY Cupertino, CA Mac to Mac DS-3 to Internet 45 Mbps 45 Mbps 1.45 Mbps 44 Mbps 30x
New Zealand Los Angeles, CA Linux to Win DS-3 to Internet 45 Mbps 42 Mbps 1.5 Mbps** (150ms/0.5%) 41 Mbps 27x
Glendale, CA Montreal, Canada Win to Win DS-3 to Internet 45 Mbps 45 Mbps 2.2 Mbps** (100ms/0.5%) 42 Mbps 19x
Glendale, CA Hong Kong, China Linux to Linux DS-3 to Internet 45 Mbps 45 Mbps 0.52 Mbps** (300ms/1%) 39 Mbps 75x
Glendale, CA Denham, UK Win to Win DS-3 to Internet 45 Mbps 32 Mbps 1.5 Mbps** (150ms/0.5%) 31 Mbps 21x
Toronto, Canada Torino, Italy Win to Win Private Link 30 Mbps 30 Mbps 1 Mbps 28 Mbps 28x
Burbank, CA Baton Rouge, LA Mac to Mac DS-3 to Internet 30 Mbps 30 Mbps 3.2 Mbps** (70ms/1%) 28 Mbps 9x
* The target rate is the transfer rate given to an Aspera client. fasp attempts to maintain this rate in both fixed and adaptive rate modes and will not exceed this cap. In some tests the target rate was set to less than the actual link capacity.
** FTP measurement not taken or unavailable. FTP throughput estimated using the standard TCP Rate Equation, assuming a typical average round‐trip delay and packet loss rate. Actual FTP throughput varies with network load, which increases loss and round‐trip time.
Problema central – TCP no fué diseñado para mover datos de forma masiva en redes WAN
TCP tiene cuellos de botella conocidos
• La latencia y pérdida de paquetes limitan el ancho de banda neto disponible
• Estas limtaciones fundamentales son parte de TCP y están incorporadas originariamente en su diseño
– Establece una ‘ventana de congestión’, para limitar la cantidad de datos en tránsito.– Utiliza un mecanismo llamado ‘incremento aditivo / decremento multiplicativo’ (additive increase/ multiplicative decrease)– Linealmente incrementa la ventana (“transfer rate”) hasta que que ocurre un timeout, que interpreta como signo de congestión o pérdida.
• Atención con los efectos catastróficos de la pérdida de paquetes
– Internet, transmisiones inalámbricas vía satelite, por via celular o WiFi tienen distintos niveles de pérdida y de variación del rendimiento.
– No hay un “Internet SLA” (Service Level Agreement), es decir: la congestión on-line cambia en tiempo real (según el horario, etc)
TCP es un protocolo de transporte de datos, bidireccional y confiable
• Es la base de muchos protocolos de aplicación: FTP, HTTP, NFS, CIFS, SCP, RSYNC
• Todo debe ser enviado secuencialmente (innecesario cuando se copian archivos grandes)
Problema central – TCP es inadecuado para transportar datos de gran tamaño sobre redes WAN
Máximo ancho de banda posible con TCP
• TCP tiene bajo rendimiento en transferencias sobre WAN (Wide Area Networks)
• TCP tiene bajo rendimiento en redes con pérdida de paquetes
– Internet– Vía Satélite
• TCP es el transporte de base de FTP, HTTP y otras aplicaciones comunes de transferencia de archivos
Máximo ancho de banda posible con TCPAncho de banda con Aspera fasp
Solución – Aspera fasp resuelve el transporte masivo de datos
Solución para la transferencia rápida de archivos• Efectivo en redes complejas, con ‘delay’ & ‘loss’ • Muy bajo “overhead”: < 0.1%, bajo 30% de packet loss!
Optima eficiencia en el uso del ancho de banda• Uso total de ancho de banda “commodity” disponible en
Internet• Altamente eficiente, con control realtime del ancho de
banda, evita la congestión (WAN, LAN, Disk)• Logra eficiencias extraordinarias tanto con grandes
archivos como con grupos de archivos pequeños
El resultado: Aspera fasp permite
• Transferencias hasta miles de veces mas rápidas que FTP• Tiempos precisos y predecibles en la transferencia de
archivos• Reglas de control “end-to-end” sobre las prioridades de
transferencia y la velocidad• Completo monitoreo, notificación y reporte
fasp – la solución ideal para el transporte digital de datos
• Solución de transferencia de archivos basado puramente en Software
• Máxima velocidad de transferencia – utilización total de ancho de banda designado
• Excepcional control del ancho de banda y escalabilidad de administración
• Seguridad y confiabilidad total
• Arquitectura flexible, simple, liviana y abierta
• Completo soporte de todas las plataformas y sistemas operativos convencionales
Línea de Productos de SoftwareFuncionalidad y escenarios de implementación
Entorno de software Aspera fasp
Entorno de software Aspera fasp
Entorno de software Aspera fasp
Entorno de software Aspera fasp
Entorno de software Aspera fasp
Entorno de software Aspera fasp
Big-Data – Accesible universalmente, provista globalmente por Aspera
Soporte Universal de Sistemas Operativos
Soporte Universal de Navegadores / Browsers
Soporte Universal de Sistemas Móviles
Caso 1: Ingesta o subida de archivos
File Ingest
Desafíos generales para la Ingesta o Subida de Archivos
• Velocidad
– Transferencias Digitales actuales pueden resultar lentas a pesar de tener conexiones razonables
– El envío de tapes o discos es lento y caro. En ciertos casos, los tapes son difíciles de conseguir.
• Eficiencia
– El software típico común de transferencia no utiliza toda la capacidad del ancho d banda disponible.
• Confiabilidad
– Si una transferencia falla, típicamente tiene que ser recomenzada, desde el principio!...
• Seguridad
– Muchos mecanismos de transferencia no ofrecen seguridad y encriptado nativo, diseñado dentro de la solución.
• Automatización
– Las soluciones comunes no ofrecen automatización.
Solución para la Ingesta de Archivos: Aspera Connect Server
• Server universal para transferencia de archivos, con interface web
– Subida y bajada de datos usando el Aspera Connect web browser plug-in, que es gratuito y viene con instalación automática
• Fácil (y mejor) reemplazo de servidores FTP– Capacidad de upload y download, para archivos o directorios de
cualquier tipo y tamaño– Permite hacer pausa y volver a comenzar, retomando transferencias
desde la pausa o el punto de falla en casos de problemas de red
• Opciones de integración– Interface Web modificable, cambiando la imágen o marca– Puede integrarse a portales web existentes
• Licencias, uso y despliegue– Licencias por niveles, basadas en la capacidad o ancho de banda– Soporte completo en Unix, Linux, Windows, Mac, Solaris, Isilon
OneFS– Configuraciones también en High-Availability
(redundancia/seguridad)
Aspera Connect Server
• Fácil reemplazo de servidores FTP
• Utiliza el protocolo fasp, logrando transferencias rápidas y seguras, en ambas direcciones, desde y hacia el servidor
• Acceso ilimitado a clientes web, a través del web-browser plug-in gratuito de Aspera
• Fácil de integrar a portales-web existentes, y de incorporar con marca propia (usando la tecnología de Aspera dentro de su sistema)
Caso 2: Distribución de archivos de persona a persona(s)
Person-to-Person File Delivery
Desafíos en la distribución de archivos de persona a persona(s)
• Métodos típicos para la distribución de archivos:
– Correo o courier privado
• Demasiado lento para transferencias de larga distancia
• Excesivamente costoso
– FTP or HTTP
• Inseguros
• No tienen la capacidad de hacer pausa y reanudar la transferencia
• Bajo rendimiento en redes WAN, debido a TCP
– Servicios de distribución online, vía Internet
• Típicamente limitan el tamaño de los archivos
• Bajo rendimiento en redes WAN, debido a TCP
Distribución de archivos persona-a-persona : Aspera faspex™
• Solución para la distribución global de archivos– Intercambio de archivos de persona-a-persona coordinado por projectos– Distribución de paquetes para colaboración frecuente o envíos ocasionales– Permite enviar archivos a destinatarios ad-hoc, fuera de la organización
• Easy-to-use web-based interface– Notificación vía email integrada para los destinatarios
• Ejemplos de uso y aplicación– Workflows de producción, revisión y aprobación de video– Intercambio colaborativo de materiales de producción y de marketing,
especialmente para equipos distribuidos– Intercambio global de archivos de persona-a-persona dentro de
la empresa
• Licencias, uso y despliegue– Licencias por niveles, basadas en la capacidad o ancho de banda y
el número de usuarios activos simultáneos– Soporte completo en Linux y Windows (Server), y también:
• Linux, Mac y Windows (Aspera Connect browser plug-in)• Mac y Windows (Aspera Cargo Downloader desktop widget)
– Disponible en configuración de High-availability (active/passive)
Servidor Aspera faspex
• Metodología de transferencia “persona-a-persona”
• Colaboración periódica o para entregas ocasionales de paquetes de archivos
• Instalación automática del cliente (utiliza el Aspera Conect “plug-in” para cualquier navegador)
• Notificaciones por correo electrónico a los remitentes y destinatarios del paquete
Caso 3: Envío automatizado de archivos
File Delivery with Automation
Automatización del envío de archivos con Aspera: Muchas opciones!
• Aspera Enterprise Server, Point-to-Point and Aspera Client
– Automatización con HotFolders
• Aspera Cargo
– Bajada automática de paquetes Faspex
• Aspera Management Console
– Transferencias pre-programadas, de Servidor a Servidor, según un “schedule”
• Utilizando Aspera vía línea de comando y usando “scripts” que invocan el “Command Line”
– Haciendo un “schedule” de transferencias automáticas directamente desde la línea de comando en Unix o en Windows
– Incorporando las capacidades de transferencia de Aspera en “scripts” de secuencias de comandos (Shell scripts etc.)
Otros usos y productos de Aspera
Otras capacidades y productos de Aspera
• Management / Gestión
– Monitoring, notification, reporting and configuration
• Integration
– SDK, multi-platform support
• Aspera Mobile
– Aspera software libraries in SDK form, for integration with 3rd party mobile applications. iPhone and Android uploader apps.
• Aspera Multicast
– Transferencias punto-a-multipunto sobre IP-multicast
• Aspera Orchestrator
– Workflow automation
• Cloud
– Aspera On Demand para Amazon Web Services
Muchas Gracias!
Para más información y para comenzar con su pruebas piloto con Aspera, por favor contáctese con nuestros representatntes:
En Argentina: (+54-11) 5218-8000Contacto: [email protected]
Aspera, sede central:+1 510-849-2386 ext. 232Contacto: Ms. Joelle [email protected]
Aspera Sync - OverviewScalable, multidirectional asynchronous file replication
Introducing Aspera Sync
• Overview– Aspera Sync is purpose-built for highly scalable, multidirectional asynchronous file replication over WANs
• Scales performance over any WAN, up to 1000x faster than rsync– Scales performance on WAN over any distance
• Increase bandwidth to increase performance– Scale performance for large and diverse data sets
• Initial sync: 10-1000X speed of rsync to synchronize files first time• Continuous: 10X speed of rsync to synchronize new files over WANs
– Smart directory actions• Honors moves, renames, deletes
• Storage agnostic– Runs on industry-standard OS (Linux today)– Mount any block storage (SCSI, iSCSI, FC, SAS) or file storage (NFS, SMB2)
• Secure by Federal Standards– Matches security standards set by government—addressed in all Aspera products– Certifications
Synchronizing Big Data over the Longhaul
Aspera Sync – 201 Level
Multidirectional Synchronization
Trends
• Big Data Explosion– 90% of data today file-based or unstructured– Mix of file sizes—but larger and larger files the norm
• Diversity of IP Networks—Media, Bandwidth Rates, and Conditions– Variable bandwidth rates (slow to super-fast)– Bandwidth rates increasing—costs decreasing– Network media remains diverse (terrestrial, satellite, wireless) – Conditions vary—all networks prone to degradation over distance.
• Data Freighting Challenges—moving Big Data over WANs– Over distance, conditions degrade– Contemporary TCP acceleration solutions not designed for big data replication.
Sync Challenges
• Replicating over Distance (Wide Area Networks)– Traditional replication (using TCP) fails or slows over distance– Poor network performance often the bottleneck to replication– Traditional replication approaches like rsync fail
• Unreliable• Don’t scale• Don’t perform
• Larger data sets comprised of bulk files, “big data”– In the terabytes, not gigabytes– Files are unstructured– Diversity of file sizes
• Large files• Mix of large and small files
• File System Integration (Lack of Efficiency)– Avoiding file system scans – Replicating files through change notification
Conventional Replication - Costly Workarounds
• TCP Acceleration Appliances– Solves a different problem– Good for some applications (mainly structured data such as databases)– Not designed for moving big data across the network (files, in bulk)
• Storage Compression– Resource intensive—and don’t save much
• Native in file system (e.g., NetApp SnapMirror)• File-based compression and deduplication
• Caching (e.g., CDNs)– Move data closer to users– Costly, hard to manage– By nature more “out of sync”
• Replicate less data– Reduces traffic—and productivity
• Don’t replicate– Jeopardizes productivity and the business.
Scalable file synchronization for Big Data
Aspera Sync
Introducing Aspera Sync
• Overview– Aspera Sync is purpose-built for highly scalable, multidirectional asynchronous file replication over WANs
• Scales performance over any WAN, up to 1000x faster than rsync– Scales performance on WAN over any distance
• Increase bandwidth to increase performance– Supports large and diverse data sets
• 10-1000X speed of rsync to synchronize files first time• 10X speed of rsync to synchronize new files over WANs
– Avoid unnecessary replication• Honors moves, renames, deletes
• Storage agnostic– Runs on industry-standard OS (Linux today)– Mount any block storage (SCSI, iSCSI, FC, SAS) or file storage (NFS, SMB2)
• Secure by Federal Standards– Matches security standards set by government—addressed in all Aspera products– Certifications (addressed later in the presentation)
Aspera Sync Other Capabilities
• High speed, multi-directional synchronization of remote files and directories
– solving the fundamental problems of rsync for large data
• Full-mesh synchronization
– One-to-one, one-to-many, and full-mesh synchronization
– Multi-mode• One-time sync• Continuous sync
• Designed for today’s extremely large data
– Millions of files, multi-terabyte data sets
• Management console for configuration, management and reporting
• Licensing and deployment
– Command line binary and admin tool for Linux
– Additional platforms to become available in 2011
– Add-on license option to Aspera servers and Aspera Point-to-point
Use cases for Aspera Sync
Scenario 1: One-way Sync (Unidirectional)
• Use Case1: Disaster Protection– Storage agnostic– Variables depending on data set size
• Recovery points• Recovery times
Data MovementData Movement
Primary Site Remote Site
• Use Case 2: Offsite Archiving– Multi-vendor storage – Alternative to tape
Scenario 2: Two-way Sync (Bidirectional)
Data MovementData Movement
• Use Case1: Distributed Workflow– Concurrent writers
• Both sites create and replicate– Fully transparent
• Move, rename, delete
• Use Case 2: Disaster Readiness– Non-disruptive to users– Alternative to offsite backup– Workflow / scenario agnostic
Site 1 Site 2
Scenario 3: Multidirectional (N-way) Replication
Topologies:
•Hub and Spoke– Replicate from single source to multiple
endpoints
•Branching Tree– Replicate from parent to child nodes– Source (origin) replicates to downstream
targets
Use Cases:
•Content Distribution Network (CDN)– Distribute files to downstream caching points
•Remote Office File Replication– Replicate from central to remote offices
Scenario 4: Collaborative Workflows
• Use case 1: Distributed Workflow– Multiple users or workgroups
have read-only access to common source
• Use case 2: Collaborative Workflow– Multiple users or workgroups
have read-write access to a common source pool
Scenario 5: Cloud Ingest and Distribution
• Use case 1: Ingest (Upload/Download)– User Aspera clients to upload into AWS– Uses Aspera On-Demand offering
• Use Case 2: Direct Distribution inside AWS– Distribute data directly to S3 – Parallel http IO for faster throughput– Parallel http IO for increased IO
Performance ResultsAspera Sync vs Rsync
Aspera Sync vs. rsync
• Fastest possible resolution of file system changes
– Compares changes to local state (file snapshot), saving costly WAN chattiness of rsync
– File system notification where available
– Quick to detect changes in scan-mode
– Quick restart after system down
• Move, rename detection locally
– Huge savings not retransferring after “move”
• fasp transport for maximum speed
– overcoming TCP bottlenecks
• Multi-directional (not unidirectional)
Aspera Sync Performance Benchmarks – First Time
Performance Comparison Synchronizing Many Small Files (Average size 100 KB) over WAN of 100 ms / 1%
Performance Comparison Synchronizing Large Files (Average Size 100MB) over WAN of 100 ms / 1%
Aspera Sync Performance Benchmarks – Change Files
Synchronization time after adding 31,056 files to 1 million small files (100 KB each) over WAN of 100ms/1%
Synchronization time after adding new files to set of large files (100 MB each) over WAN of 100ms/1%
Applications: 2K/4K Global Freighting
Applications: 2K/4K Global Freighting (faspframes)
• Native 2K/4K frame transport software• Designed for 10Gbps WANs• Millions of frame files• 60 min of footage (1 TB) transferred globally in under 20 minutes ! • 8 Gbps at 200 ms / 2%
faspframes – Ultra Simple, Ultra Fast s/w for 2K/4K Transfers
Aspera faspframes Transfer Times
10 Gbps Global WANs
Distance Speed Transfer Time for 1 TB (~60 min Film)
LA-NY (100 ms / 1%) 8.1 Gbps 18.1 minutes
LA-London (200 ms/2%) 7.9 Gbps 18.6 minutes
LA-Mumbai (300ms/5%) 6.3 Gbps 23.3 minutes
Compare To
HW Appliance for 2K/4K Transfers – Highest Capacity Model
Distance Speed Transfer Time for 1 TB (~60 min of Film)
LA-NY (100 ms / 1%) 3.6 Gbps 42 minutes
LA-London (200 ms/2%) No data ??
LA-Mumbai (300ms/5%) No data ??
faspframes – Ultra Simple, Ultra Fast s/w for 2K/4K Transfers
What is it?• An ultra-simple software tool for ultra-fast (fully reliable) transfers of 2K/4K frame files• Max speed in-order transfer of 2K/4K frame files over WAN (any distance, any bandwidth)• Available for users of Aspera Point-to-Point and Server
Advantages?• Software application only integrates easily with any workflow• No clunky brute force hardware appliances to integrate• Full 10 Gbps performance; 2X the best speeds published by appliances• Comprehensive bandwidth management and congestion control• Seamlessly integrates with Aspera transfer and management tools
Platforms?• Linux 32/64-bit• Other platforms coming