Webinar: Ask the Architect - Servicios de Storage de AWS
-
Upload
amazon-web-services-latam -
Category
Technology
-
view
787 -
download
3
Transcript of Webinar: Ask the Architect - Servicios de Storage de AWS
Ask the Architect Storage services Ivan Salazar, Enterprise Solutions Architect [email protected] @ivansalazarc Jul, 2016
ü ¿Cuáles son las principales diferencias entre los servicios de almacenamiento?
ü ¿Cuáles son los criterios para decidir qué tipo de solución de Storage debo utilizar?
• Objetos, Archivos, Bloques, Backups en ambientes híbridos
• Temperatura y ciclo de vida de la información • Presupuesto • Latencia y conectividad • Funcionalidad adicional
File Block Object Hybrid integrated storage
Choice in storage
Amazon EFS
Amazon EBS
Amazon EC2 Instance storage
Amazon S3
Amazon Glacier
AWS Storage Gateway
Selecting the Right Object Storage Class
S3
S3-IA
Glacier
Lifecycle
Available S3: 99.99%
S3-IA: 99.9%
Performant Low Latency
High Throughput
Secure SSE, client
encryption, IAM integration
Event Notifications SQS, SNS, and
Lambda
Versioning Keep multiple
copies automatically
Cross Region Replication
Common Namespace Define storage class per object
Durable 99.999999999%
Scalable Elastic capacity No preset limits
“Hot” Data Active and/or
Temporary Data
“Warm” Data Infrequently
Accessed Data
“Cold” Data Archive and
Compliance Data
ü Hola, Quiero saber los precios de almacenamiento
ü Precios o planes de pago de storage
• El modelo de pago es por GB/Mes • Pago prorrateado al tiempo utilizado en el mes • El precio varía de acuerdo a la región • Costo por transferencia de datos • Solicitudes, VGW appliance • Tiered
Amazon EFS
Amazon EBS
Amazon EC2 Instance storage
Amazon S3
Amazon Glacier
AWS Storage Gateway
Ejemplos de precios en us-east-1
* Precios en USD por GB por mes
Ejemplos de precios en us-east-1
$ 0.30 $ 0.100 $ 0.125 $ 0.045 $ 0.025 $ 0.095
$ 0.0 $ 0.0300 $ 0.0125 $ 0.007
$ 0.030 $ 0.095 $ 0.007
* Precios en USD por GB por mes
Amazon EBS General Purpose SSD (gp2) volumes • $0.10 per GB-month of provisioned storage Amazon EBS Provisioned IOPS SSD (io1) volumes • $0.125 per GB-month of provisioned storage • $0.065 per provisioned IOPS-month Amazon EBS Throughput Optimized HDD (st1) volumes • $0.045 per GB-month of provisioned storage Amazon EBS Cold HDD (sc1) volumes • $0.025 per GB-month of provisioned storage Amazon EBS Snapshots to Amazon S3 • $0.095 per GB-month of data stored
S3
S3-IA
Glacier
Lifecycle
Available S3: 99.99%
S3-IA: 99.9%
Performant Low Latency
High Throughput ≥ 30 Days ≥ 128K
≥ 90 Days
Durable 99.999999999%
Scalable Elastic capacity No preset limits
> 0K $0.007/GB per month
$0.0125/GB per month
“Hot” Data Active and/or
Temporary Data
“Warm” Data Infrequently
Accessed Data
“Cold” Data Archive and
Compliance Data
≥ 0 Days > 0K ~$0.03/GB per month
3 – 5 Hrs
$0.01/GB retrieval
$0.01/GB retrieval < 5%
ü ¿Se puede automatizar pasar un archivo s3 a Glacier según la fecha de creación de los archivos?
ü ¿Cómo se puede establecer un proceso automático de backup por temporalidad desde S3 a Glacier?
• Lifecycle rules • Para buckets con versioning también • https://docs.aws.amazon.com/AmazonS3/latest/UG/LifecycleConfiguration.html
ü ¿Cómo podemos utilizar S3 como si furea un disco atachado a una instancia? o en sud efecto, algún servicio que nos permita atachar un gran volumen sin ser necesariamente un disco?
ü ¿Es posible montar un bucket en un filesystem linux ?
• S3 es storage de Objetos por HTTP, no bloques • EFS se puede montar y el pago es por uso • Fuse S3FS • SoftNas Cloud NAS
ü ¿Puedo migrar el servicio de s3 a otra cuenta en la misma region por medio de alguna herramienta?
• Dependiendo del volúmen y tamaño de los archivos • S3DistCp, copia en paralelo con Hadoop • Comando S3 Sync/CP (CLI), en paralelo • Marketplace • https://docs.aws.amazon.com/cli/latest/reference/s3/sync.html • https://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/
UsingEMR_s3distcp.html
ü ¿Cómo copiar backup grande que pese 30 GB de una instancia ec2 a un repositorio s3?
• Dentro de la misma región 10 Gbps (CLI) • S3 multipart upload • Tsunami, Aspera, Signiant • EBS Snapshots • https://docs.aws.amazon.com/AmazonS3/latest/dev/uploadobjusingmpu.html
ü ¿Cómo funciona el cobro de almacenamiento para respados?
ü ¿Cual es la manera más barata y performante de hacer snapshots de EBS y mantener una copia completa del EBS por semana/mes ?
• $ 0.095 / GB / Mes • Backups incrementales • S3 para backups
Internet
AWS Cloud
EBS Snapshots
EC2 Availability Zone
EC2
Amazon S3
EBS
EC2 EC2
EBS EBS EBS EBS EBS EBS Snapshot
EBS Snapshot
EBS Snapshot
EBS Snapshot
EBS Snapshot
Create Snapshot
Clone From Snapshot
EBS Volume
How Do Snapshots Work? Time
Snapshot 1 Snapshot 2 Snapshot 3
S3
Block 1 Block 2 Block 3 Block 4
Chunk 1 Chunk 2 Chunk 3 Chunk 4
X
ü Dejando de lado el hecho de que EFS es la única forma de compartir archivos a través de instancias de AWS, qué otros factores son útiles al decidir entre si usar EBS o EFS para el almacenamiento de datos en una aplicación en la nube?
• EFS no es la única opción: GlusterFS, SoftNas, NetApp, Panzura, DFS, S3
• EBS es 1:1 por instancia EC2, bloques, pago por GB provisionado, latencia, encripción
• EFS File system de archivos, pago por uso • EFS redundancia Multiple AZ, throughtput, administrado
ü ¿Como seria la puesta en marcha de un autoscale de servicios web con el servicio de almacenamiento Amazon Elastic File System?
• EC2 user data: Shell • EC2 instance metadata • Mount EFS File system on launch
• https://docs.aws.amazon.com/efs/latest/ug/mounting-fs.html • https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-instance-
metadata.html
$sudoyum-yinstallnfs-u0ls$sudomount-tnfs4-overs=4.1$(curl-sh;p://169.254.169.254/latest/meta-data/placement/availability-zone).file-system-id.efs.aws-region.amazonaws.com:/~/efs-mount-point
ü ¿ Cómo puedo incluir nuevos volúmenes a un EC2 computer y qué costo tiene?
• Crear un nuevo volumen EBS desde la consola • Attach volume a EC2 • Formatear con un FS y montar • El costo depende del tamaño y tipo del volumen • Costo prorateado por mes • https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ebs-attaching-volume.html
ü ¿Cómo funciona el servicio de AWS Storage Gateway?
• On-premise software appliance • Cloud Backup a S3 • Volume Gateways
• Gateway Cached Volumes • Gateway Stored Volumes
• Gateway VTL
ü ¿Cómo puedo cotizar el espacio real que se llevará mi aplicación y el costó mensual del incremento de subir y descargar información actualmente tengo 250 GB y al mes subimos y descargamos al rededor de 100 MB?
• Simple! Con la simple monthly calculator • https://calculator.s3.amazonaws.com/index.html