Amazon Redshift - Guía de desarrollador de base de datos · Amazon Redshift Guía de desarrollador...

Amazon RedshiftGua de desarrollador de base de datos

Versin de API 2012-01-12

Amazon Redshift Gua de desarrollador de base de datos

Amazon Redshift: Gua de desarrollador de base de datosCopyright 2018 Amazon Web Services, Inc. and/or its affiliates. All rights reserved.

Amazon's trademarks and trade dress may not be used in connection with any product or service that is not Amazon's, in any mannerthat is likely to cause confusion among customers, or in any manner that disparages or discredits Amazon. All other trademarks notowned by Amazon are the property of their respective owners, who may or may not be affiliated with, connected to, or sponsored byAmazon.


Table of ContentsBienvenido ......................................................................................................................................... 1

Es la primera vez que usa Amazon Redshift? ............................................................................... 1Es usted un desarrollador de bases de datos? .............................................................................. 2Requisitos previos ...................................................................................................................... 3

Informacin general del sistema de Amazon Redshift ............................................................................... 4Arquitectura del sistema de data warehouse ................................................................................... 4Desempeo ............................................................................................................................... 7

Procesamiento masivo en paralelo ....................................................................................... 7Almacenamiento de datos en columnas ................................................................................ 7Compresin de datos ......................................................................................................... 7Optimizador de consultas ..................................................................................................... 8Almacenamiento en cach de los resultados ......................................................................... 8Cdigo compilado ............................................................................................................... 9

Almacenamiento en columnas ...................................................................................................... 9Arquitectura interna y operacin del sistema ................................................................................. 11Administracin de la carga de trabajo .......................................................................................... 11Utilizacin de Amazon Redshift con otros servicios ........................................................................ 12

Transferencia de datos entre Amazon Redshift y Amazon S3 .................................................. 12Uso de Amazon Redshift con Amazon DynamoDB ................................................................. 12Importacin de datos de hosts remotos por SSH ................................................................... 12Automatizacin de las cargas de datos con AWS Data Pipeline ............................................... 13Migracin de datos mediante AWS Database Migration Service (AWS DMS) .............................. 13

Introduccin al uso de bases de datos ................................................................................................. 14Paso1: Creacin de una base de datos ....................................................................................... 14Paso2: Creacin de un usuario de base de datos ......................................................................... 15

Eliminacin de un usuario de base de datos ......................................................................... 15Paso3: Creacin de una tabla de base de datos ........................................................................... 15

Insercin de filas de datos en una tabla ............................................................................... 16Seleccin de datos de una tabla ......................................................................................... 16

Paso 4: Carga de datos de ejemplo ............................................................................................ 17Paso5: Consulta de las tablas de sistema ................................................................................... 17

Vista de una lista de los nombres de las tablas ..................................................................... 18Vista de usuarios de base de datos ..................................................................................... 18Vista de consultas recientes ............................................................................................... 19Determinacin del ID de proceso de una consulta en ejecucin ................................................ 19

Paso6: Cancelacin de una consulta .......................................................................................... 19Cancelacin de una consulta desde otra sesin .................................................................... 21Cancelacin de una consulta mediante la cola de super usuario ............................................... 21

Paso7: Eliminacin de recursos ................................................................................................. 21Prcticas recomendadas de Amazon Redshift ....................................................................................... 23

Prcticas recomendadas para el diseo de tablas .......................................................................... 23Realice el curso sobre ajuste del diseo de tablas ................................................................. 24Eleccin de claves de ordenacin recomendadas .................................................................. 24Eleccin de modos de distribucin recomendados ................................................................. 24Uso de compresin automtica ........................................................................................... 25Definicin de restricciones .................................................................................................. 26Uso del menor tamao posible de columna .......................................................................... 26Uso de tipos de datos de fecha/hora para columnas de fecha .................................................. 26

Prcticas recomendadas para la carga de datos ............................................................................ 26Realice el curso de carga de datos ..................................................................................... 27Realice el curso sobre ajuste del diseo de tablas ................................................................. 27Uso del comando COPY para cargar datos .......................................................................... 27Uso de un nico comando COPY ........................................................................................ 27Divisin de los datos de carga en archivos mltiples .............................................................. 27

Versin de API 2012-01-12iii


Compresin de los archivos de datos .................................................................................. 28Uso de un archivo de manifiesto ......................................................................................... 28Control de los archivos de datos antes y despus de una carga ............................................... 28Uso de una insercin de filas mltiples ................................................................................ 28Uso de una insercin masiva .............................................................................................. 29Carga de datos en orden de clave de ordenacin .................................................................. 29Carga de datos en bloques secuenciales ............................................................................. 29Uso de tablas de series temporales ..................................................................................... 29Uso de una tabla provisional para realizar una fusin ............................................................. 30Programacin de perodos de mantenimiento ........................................................................ 30

Prcticas recomendadas para el diseo de consultas ..................................................................... 30Tutorial: Ajuste del diseo de tablas .................................................................................................... 33

Requisitos previos ..................................................................................................................... 33Pasos ...................................................................................................................................... 33Paso1: Creacin de un conjunto de datos de prueba ..................................................................... 33

Creacin de un conjunto de datos de prueba ........................................................................ 34Paso siguiente .................................................................................................................. 37

Paso2: Cmo establecer una referencia ...................................................................................... 37Prueba de desempeo del sistema para establecer una referencia ........................................... 38Paso siguiente .................................................................................................................. 40

Paso3: Seleccin de las claves de ordenacin ............................................................................. 41Seleccin de las claves de ordenacin ................................................................................. 41Paso siguiente .................................................................................................................. 42

Paso4: Seleccin de los estilos de distribucin ............................................................................. 42Estilos de distribucin ........................................................................................................ 42Seleccin de los estilos de distribucin ................................................................................ 43Paso siguiente .................................................................................................................. 45

Paso5: Revisin de las codificaciones de compresin .................................................................... 45Revisin de las codificaciones de compresin ....................................................................... 45Paso siguiente .................................................................................................................. 48

Paso6: Cmo volver a crear el conjunto de datos de prueba ........................................................... 48Cmo volver a crear el conjunto de datos de prueba .............................................................. 48Paso siguiente .................................................................................................................. 51

Paso7: Repeticin de la prueba de desempeo del sistema despus de los ajustes ............................ 51Repeticin de la prueba de desempeo del sistema despus de los ajustes ............................... 51Paso siguiente .................................................................................................................. 55

Paso8: Evaluacin de los resultados ........................................................................................... 55Paso siguiente .................................................................................................................. 56

Paso9: Eliminacin de recursos ................................................................................................. 57Paso siguiente .................................................................................................................. 57

Resumen ................................................................................................................................. 57Paso siguiente .................................................................................................................. 58

Tutorial: Carga de datos desde Amazon S3 .......................................................................................... 59Requisitos previos ..................................................................................................................... 59Informacin general ................................................................................................................... 59Pasos ...................................................................................................................................... 60Paso 1: Lanzamiento de un clster ............................................................................................. 60

Paso siguiente .................................................................................................................. 61Paso 2: Descarga de los archivos de datos .................................................................................. 61

Paso siguiente .................................................................................................................. 62Paso 3: Carga de los archivos en un bucket de Amazon S3 ............................................................ 62

...................................................................................................................................... 62Paso siguiente .................................................................................................................. 63

Paso 4: Creacin de las tablas de muestra ................................................................................... 63Paso siguiente .................................................................................................................. 65

Paso 5: Ejecucin de los comandos COPY .................................................................................. 66Sintaxis del comando COPY ............................................................................................... 66

Versin de API 2012-01-12iv


Carga de las tablas SSB ................................................................................................... 67Paso 6: Limpieza y anlisis de la base de datos ........................................................................... 78

Paso siguiente .................................................................................................................. 78Paso7: Eliminacin de recursos ................................................................................................. 78

Siguiente ......................................................................................................................... 79Resumen ................................................................................................................................. 79

Paso siguiente .................................................................................................................. 79Tutorial: Configuracin de colas de WLM para mejorar el procesamiento de consultas ................................. 80

Informacin general ................................................................................................................... 80Requisitos previos ............................................................................................................. 80Secciones ........................................................................................................................ 80

Seccin 1: Comportamiento del procesamiento de la cola predeterminada ......................................... 81Paso1: Creacin de la vista WLM_QUEUE_STATE_VW ......................................................... 81Paso2: Creacin de la vista WLM_QUERY_STATE_VW ......................................................... 82Paso3: Ejecucin de consultas de prueba ............................................................................ 83

Seccin 2: Modificacin de la configuracin de la cola de consultas de WLM ...................................... 85Paso1: Creacin de un grupo de parmetros ....................................................................... 85Paso2: Configuracin de WLM ........................................................................................... 85Paso3: Asociacin del grupo de parmetros con el clster ..................................................... 87

Seccin 3: Direccionamiento de consultas a las colas en funcin de los grupos de usuarios y deconsultas ................................................................................................................................. 89

Paso1: Vista de la configuracin de la cola de consultas en la base de datos ............................. 89Paso2: Ejecucin de una consulta mediante la cola de grupo de consultas ................................ 90Paso3: Creacin de un usuario y un grupo de base de datos .................................................. 91Paso4: Ejecucin de una consulta mediante la cola de grupo de usuarios ................................. 91

Seccin 4: Utilizacin de wlm_query_slot_count para anular de forma temporal el nivel de concurrenciaen una cola ............................................................................................................................. 92

Paso1: Anulacin del nivel de concurrencia mediante wlm_query_slot_count .............................. 93Paso2: Ejecucin de consultas de sesiones diferentes ........................................................... 94

Seccin 5: Limpieza de los recursos ............................................................................................ 94Administracin de la seguridad de bases de datos ................................................................................. 95

Informacin general acerca de la seguridad de Amazon Redshift ..................................................... 95Privilegios predeterminados del usuario de la base de datos ........................................................... 96Super usuarios ......................................................................................................................... 96Usuarios .................................................................................................................................. 97

Creacin, modificacin y eliminacin de usuarios ................................................................... 97Grupos .................................................................................................................................... 98

Creacin, modificacin y eliminacin de grupos ..................................................................... 98Esquemas ................................................................................................................................ 98

Creacin, modificacin y eliminacin de esquemas ................................................................ 99Ruta de bsqueda ............................................................................................................ 99Privilegios basados en esquemas ........................................................................................ 99

Ejemplo del control de acceso de usuarios y grupos ..................................................................... 100Diseo de tablas ............................................................................................................................. 102

Seleccin de un tipo de compresin de columnas ........................................................................ 102Codificaciones de compresin ........................................................................................... 103Prueba de las codificaciones de compresin ....................................................................... 109Ejemplo: Seleccin de codificaciones de compresin para la tabla CUSTOMER ........................ 112

Seleccin de un estilo de distribucin de datos ............................................................................ 114Conceptos de distribucin de datos ................................................................................... 114Estilos de distribucin ...................................................................................................... 115Visualizacin de los estilos de distribucin .......................................................................... 115Evaluacin de los patrones de consulta .............................................................................. 116Designacin de estilos de distribucin ................................................................................ 116Evaluacin del plan de consulta ........................................................................................ 117Ejemplo de plan de consulta ............................................................................................. 119Ejemplos de distribucin ................................................................................................... 123

Versin de API 2012-01-12v


Seleccin de claves de ordenacin ............................................................................................ 125Clave de ordenacin compuesta ........................................................................................ 126Clave de ordenacin intercalada ........................................................................................ 126Comparacin de estilos de ordenacin ............................................................................... 127

Definicin de restricciones ........................................................................................................ 130Anlisis del diseo de tablas .................................................................................................... 131

Uso de Amazon Redshift Spectrum para consultar datos externos .......................................................... 133Informacin general de Amazon Redshift Spectrum ...................................................................... 133

Regiones de Amazon Redshift Spectrum ............................................................................ 134Consideraciones sobre Amazon Redshift Spectrum .............................................................. 134

Introduccin a Amazon Redshift Spectrum .................................................................................. 135Requisitos previos ........................................................................................................... 135Pasos ............................................................................................................................ 135Paso 1. Crear un rol de IAM ............................................................................................. 135Paso2: Asociar el rol de IAM a su clster .......................................................................... 136Paso3: Crear un esquema externo y una tabla externa ........................................................ 137Paso4: Consultar sus datos en Amazon S3 ........................................................................ 137

Polticas de IAM para Amazon Redshift Spectrum ........................................................................ 139Permisos de Amazon S3 .................................................................................................. 140Permisos de Amazon S3 entre cuentas .............................................................................. 140Concesin o restriccin del acceso mediante Redshift Spectrum ............................................. 141Permisos mnimos ........................................................................................................... 142Encadenamiento de roles de IAM ...................................................................................... 143

Creacin de archivos de datos para consultas en Amazon Redshift Spectrum ................................... 143Creacin de esquemas externos ............................................................................................... 145

Trabajo con catlogos externos ......................................................................................... 146Creacin de tablas externas ..................................................................................................... 151

Pseudocolumnas ............................................................................................................. 153Particin de tablas externas de Redshift Spectrum ............................................................... 153

Mejora del desempeo de las consultas en Amazon Redshift Spectrum ........................................... 156Monitorizacin de mtricas ....................................................................................................... 158Solucin de problemas de consultas .......................................................................................... 159

Cantidad de reintentos superada ....................................................................................... 159Falta de devolucin de filas para una tabla particionada ........................................................ 160Error de no autorizacin ................................................................................................... 160Formatos de datos incompatibles ...................................................................................... 160Error de sintaxis al usar el DDL de Hive en Amazon Redshift ................................................. 160Permiso para crear tablas temporales ................................................................................ 161

Carga de datos ............................................................................................................................... 162Uso de COPY para cargar datos ............................................................................................... 162

Credenciales y permisos de acceso ................................................................................... 163Preparacin de los datos de entrada .................................................................................. 165Carga de datos desde Amazon S3 .................................................................................... 165Carga de datos desde Amazon EMR ................................................................................. 175Carga de datos desde hosts remotos ................................................................................. 179Carga desde Amazon DynamoDB ..................................................................................... 185Comprobacin de carga correcta de datos .......................................................................... 188Validacin de datos de entrada ......................................................................................... 188Compresin automtica .................................................................................................... 188Optimizacin para tablas angostas ..................................................................................... 191Valores predeterminados .................................................................................................. 191Solucin de problemas ..................................................................................................... 191

Actualizacin con DML ............................................................................................................. 196Actualizacin e insercin .......................................................................................................... 196

Mtodo de fusin1: Reemplazar filas existentes .................................................................. 197Mtodo de fusin2: Especificar una lista de columnas .......................................................... 197Creacin de una tabla provisional temporal ......................................................................... 197

Versin de API 2012-01-12vi


Realizacin de una operacin de fusin al reemplazar filas existentes ..................................... 198Realizacin de una operacin de fusin al especificar una lista de columnas ............................ 199Ejemplos de fusin .......................................................................................................... 200

Realizacin de una copia profunda ............................................................................................ 202Anlisis de tablas .................................................................................................................... 204

Historial del comando ANALYZE ....................................................................................... 207Anlisis automtico .......................................................................................................... 208

Limpieza de tablas .................................................................................................................. 208Frecuencia de ejecucin de VACUUM ................................................................................ 209Fase de ordenacin y fase de fusin ................................................................................. 209Umbral de limpieza ......................................................................................................... 210Tipos de limpieza ............................................................................................................ 210Administracin de los tiempos de limpieza .......................................................................... 211Error de lmite de columna superado durante la limpieza ....................................................... 217

Administracin de operaciones de escritura simultneas ............................................................... 219Aislamiento serializable .................................................................................................... 220Operaciones de lectura y escritura y de escritura ................................................................. 221Ejemplos de escritura simultnea ...................................................................................... 222

Descarga de datos .......................................................................................................................... 224Descarga de datos en Amazon S3 ............................................................................................ 224Descarga de archivos de datos cifrados ..................................................................................... 227Descarga de datos en formato de ancho fijo o delimitado .............................................................. 228Volver a cargar datos descargados ............................................................................................ 229

Creacin de funciones definidas por el usuario .................................................................................... 231Privilegios y seguridad de las UDF ............................................................................................ 231Creacin de una UDF de SQL escalar ....................................................................................... 232

Ejemplo de una funcin SQL escalar ................................................................................. 232Creacin de una UDF de Python escalar .................................................................................... 232

Ejemplo de una UDF escalar de Python ............................................................................. 233Tipos de datos de UDF de Python ..................................................................................... 233Tipo de datos ANYELEMENT ........................................................................................... 234Compatibilidad con el lenguaje Python ............................................................................... 234Restricciones de las UDF ................................................................................................. 237

Dar nombre a las UDF ............................................................................................................ 238Sobrecarga de los nombres de funcin .............................................................................. 238Prevencin de conflictos al dar nombre a las UDF ............................................................... 238

Registro de errores y advertencias ............................................................................................ 239Ajuste del desempeo de las consultas .............................................................................................. 240

Procesamiento de consultas ..................................................................................................... 240Flujo de trabajo de planificacin y ejecucin de consultas ...................................................... 240Revisin de los pasos del plan de consulta ......................................................................... 242Plan de consulta ............................................................................................................. 243Factores que afectan al desempeo de las consultas ........................................................... 249

Anlisis y mejora de las consultas ............................................................................................. 250Flujo de trabajo de anlisis de consultas ............................................................................ 251Revisin de alertas de consultas ....................................................................................... 251Anlisis del plan de consulta ............................................................................................. 253Anlisis del resumen de consultas ..................................................................................... 254Mejora del desempeo de consultas .................................................................................. 259Consultas de diagnstico para el ajuste de consultas ........................................................... 262

Solucin de problemas de consultas .......................................................................................... 265Falla en la conexin ........................................................................................................ 265Falta de respuesta de la consulta ...................................................................................... 266Tiempo de ejecucin de consulta demasiado largo ............................................................... 267Falla en la carga ............................................................................................................. 267Tiempo de carga excesivo ................................................................................................ 268Datos de carga incorrectos ............................................................................................... 268

Versin de API 2012-01-12vii


Configuracin del parmetro de tamao de bsqueda de la JDBC .......................................... 268Implementacin de Workload Management ......................................................................................... 270

Definicin de colas de consultas ............................................................................................... 270Nivel de concurrencia ...................................................................................................... 271Grupos de usuarios ......................................................................................................... 272Grupos de consultas ........................................................................................................ 273Comodines ..................................................................................................................... 273Porcentaje de memoria de WLM por utilizar ........................................................................ 273Tiempo de espera de WLM .............................................................................................. 273Reglas de monitorizacin de consultas ............................................................................... 274

Salto de cola de consultas de WLM ........................................................................................... 274Salto de cola por un tiempo de espera de WLM .................................................................. 274Consultas reasignadas o reiniciadas por un tiempo de espera de WLM. ................................... 275Transferencia de cola con la accin de salto de QMR ........................................................... 275Consultas reasignadas o reiniciadas por una accin de salto de QMR ..................................... 275Resumen de salto de cola de consultas de WLM ................................................................. 276

Short Query Acceleration .......................................................................................................... 277Tiempo mximo de ejecucin de SQA ................................................................................ 278Monitorizacin de SQA .................................................................................................... 278

Modificacin de la configuracin de WLM ................................................................................... 279Reglas de asignacin de colas de WLM ..................................................................................... 279

Ejemplo de asignaciones de colas ..................................................................................... 281Asignacin de consultas a las colas ........................................................................................... 282

Asignacin de consultas a las colas en funcin de los grupos de usuarios ................................ 282Asignacin de una consulta a un grupo de consultas ............................................................ 282Asignacin de consultas a la cola de super usuario .............................................................. 283

Propiedades dinmicas y estticas ............................................................................................ 283Asignacin de memoria dinmica de WLM .......................................................................... 284Ejemplo de WLM dinmica ............................................................................................... 284

Reglas de monitorizacin de consultas ....................................................................................... 286Definicin de una regla de monitorizacin de consultas ......................................................... 286Mtricas de monitorizacin de consultas ............................................................................. 287Plantillas de reglas de monitorizacin de consultas ............................................................... 289Tablas y vistas de sistema para reglas de monitorizacin de consultas .................................... 290

Tablas y vistas de sistema de WLM ........................................................................................... 291Referencia de la SQL ...................................................................................................................... 293

Amazon Redshift SQL ............................................................................................................. 293Funciones SQL admitidas en el nodo principal ..................................................................... 293Amazon Redshift y PostgreSQL ........................................................................................ 294

Uso de SQL ........................................................................................................................... 299Convenciones de referencia de SQL .................................................................................. 300Elementos bsicos .......................................................................................................... 300Expresiones .................................................................................................................... 325Condiciones .................................................................................................................... 328

Comandos SQL ...................................................................................................................... 346ABORT .......................................................................................................................... 347ALTER DATABASE ......................................................................................................... 349ALTER DEFAULT PRIVILEGES ........................................................................................ 350ALTER GROUP .............................................................................................................. 352ALTER SCHEMA ............................................................................................................ 353ALTER TABLE ................................................................................................................ 354ALTER TABLE APPEND .................................................................................................. 362ALTER USER ................................................................................................................. 366ANALYZE ...................................................................................................................... 370ANALYZE COMPRESSION .............................................................................................. 372BEGIN ........................................................................................................................... 373CANCEL ........................................................................................................................ 375

Versin de API 2012-01-12viii


CLOSE .......................................................................................................................... 377COMMENT ..................................................................................................................... 377COMMIT ........................................................................................................................ 379COPY ............................................................................................................................ 379CREATE DATABASE ...................................................................................................... 439CREATE EXTERNAL SCHEMA ........................................................................................ 441CREATE EXTERNAL TABLE ............................................................................................ 444CREATE FUNCTION ....................................................................................................... 455CREATE GROUP ............................................................................................................ 459CREATE LIBRARY .......................................................................................................... 459CREATE SCHEMA .......................................................................................................... 462CREATE TABLE ............................................................................................................. 463CREATE TABLE AS ........................................................................................................ 475CREATE USER .............................................................................................................. 483CREATE VIEW ............................................................................................................... 487DEALLOCATE ................................................................................................................ 489DECLARE ...................................................................................................................... 490DELETE ........................................................................................................................ 493DROP DATABASE .......................................................................................................... 494DROP FUNCTION ........................................................................................................... 495DROP GROUP ............................................................................................................... 496DROP LIBRARY ............................................................................................................. 497DROP SCHEMA ............................................................................................................. 497DROP TABLE ................................................................................................................. 498DROP USER .................................................................................................................. 500DROP VIEW .................................................................................................................. 502END .............................................................................................................................. 503EXECUTE ...................................................................................................................... 504EXPLAIN ....................................................................................................................... 505FETCH .......................................................................................................................... 509GRANT .......................................................................................................................... 511INSERT ......................................................................................................................... 515LOCK ............................................................................................................................ 520PREPARE ...................................................................................................................... 520RESET .......................................................................................................................... 522REVOKE ........................................................................................................................ 523ROLLBACK .................................................................................................................... 526SELECT ........................................................................................................................ 527SELECT INTO ................................................................................................................ 557SET .............................................................................................................................. 557SET SESSION AUTHORIZATION ...................................................................................... 560SET SESSION CHARACTERISTICS .................................................................................. 561SHOW ........................................................................................................................... 561START TRANSACTION ................................................................................................... 562TRUNCATE .................................................................................................................... 562UNLOAD ........................................................................................................................ 563UPDATE ........................................................................................................................ 576VACUUM ....................................................................................................................... 581

Referencia de funciones SQL ................................................................................................... 584Funciones especficas del nodo principal ............................................................................ 585Funciones especficas del nodo de computacin .................................................................. 586Funciones de agregacin ................................................................................................. 587Funciones de agregacin bit a bit ...................................................................................... 603Funciones de ventana ...................................................................................................... 608Expresiones condicionales ................................................................................................ 654Funciones de fecha y hora ............................................................................................... 663Funciones matemticas .................................................................................................... 700

Versin de API 2012-01-12ix


Funciones de cadena ...................................................................................................... 724Funciones JSON ............................................................................................................. 762Funciones de formato de tipo de datos ............................................................................... 768Funciones de administracin del sistema ............................................................................ 778Funciones de informacin del sistema ................................................................................ 782

Palabras reservadas ................................................................................................................ 795Referencia de las tablas de sistema .................................................................................................. 798

Tablas y vistas de sistema ....................................................................................................... 798Tipos de tablas y vistas de sistema ........................................................................................... 798Visibilidad de datos en las tablas y vistas de sistema ................................................................... 799

Filtrado de consultas generadas por el sistema .................................................................... 799Tablas STL para registro .......................................................................................................... 800

STL_AGGR .................................................................................................................... 801STL_ALERT_EVENT_LOG ................................................................................................ 803STL_ANALYZE ............................................................................................................... 805STL_BCAST ................................................................................................................... 806STL_COMMIT_STATS ..................................................................................................... 807STL_CONNECTION_LOG ................................................................................................. 808STL_DDLTEXT ............................................................................................................... 810STL_DELETE ................................................................................................................. 811STL_DIST ...................................................................................................................... 813STL_ERROR .................................................................................................................. 815STL_EXPLAIN ................................................................................................................ 816STL_FILE_SCAN ............................................................................................................. 818STL_HASH ..................................................................................................................... 819STL_HASHJOIN .............................................................................................................. 820STL_INSERT .................................................................................................................. 822STL_LIMIT ..................................................................................................................... 823STL_LOAD_COMMITS ..................................................................................................... 825STL_LOAD_ERRORS ...................................................................................................... 827STL_LOADERROR_DETAIL .............................................................................................. 829STL_MERGE .................................................................................................................. 830STL_MERGEJOIN ........................................................................................................... 831STL_NESTLOOP ............................................................................................................. 833STL_PARSE ................................................................................................................... 834STL_PLAN_INFO ............................................................................................................ 835STL_PROJECT ............................................................................................................... 837STL_QUERY .................................................................................................................. 838STL_QUERY_METRICS ................................................................................................... 840STL_QUERYTEXT ........................................................................................................... 843STL_REPLACEMENTS .................................................................................................... 844STL_RESTARTED_SESSIONS ......................................................................................... 846STL_RETURN ................................................................................................................ 846STL_S3CLIENT ............................................................................................................... 848STL_S3CLIENT_ERROR .................................................................................................. 849STL_SAVE ..................................................................................................................... 851STL_SCAN ..................................................................................................................... 852STL_SESSIONS .............................................................................................................. 854STL_SORT ..................................................................................................................... 855STL_SSHCLIENT_ERROR ............................................................................................... 856STL_STREAM_SEGS ...................................................................................................... 857STL_TR_CONFLICT ........................................................................................................ 858STL_UNDONE ................................................................................................................ 859STL_UNIQUE ................................................................................................................. 859STL_UNLOAD_LOG ........................................................................................................ 861STL_USERLOG .............................................................................................................. 862STL_UTILITYTEXT .......................................................................................................... 863

Versin de API 2012-01-12x


STL_VACUUM ................................................................................................................ 865STL_WINDOW ................................................................................................................ 868STL_WLM_ERROR ......................................................................................................... 869STL_WLM_RULE_ACTION ............................................................................................... 869STL_WLM_QUERY .......................................................................................................... 870

Tablas STV para datos de snapshots ......................................................................................... 872STV_ACTIVE_CURSORS ................................................................................................. 873STV_BLOCKLIST ............................................................................................................ 873STV_CURSOR_CONFIGURATION .................................................................................... 876STV_EXEC_STATE ......................................................................................................... 877STV_INFLIGHT ............................................................................................................... 878STV_LOAD_STATE ......................................................................................................... 879STV_LOCKS ................................................................................................................... 880STV_PARTITIONS ........................................................................................................... 881STV_QUERY_METRICS ................................................................................................... 883STV_RECENTS .............................................................................................................. 887STV_SESSIONS ............................................................................................................. 888STV_SLICES .................................................................................................................. 889STV_STARTUP_RECOVERY_STATE ................................................................................ 890STV_TBL_PERM ............................................................................................................. 890STV_TBL_TRANS ........................................................................................................... 892STV_WLM_QMR_CONFIG ................................................................................................ 894STV_WLM_CLASSIFICATION_CONFIG .............................................................................. 894STV_WLM_QUERY_QUEUE_STATE ................................................................................. 895STV_WLM_QUERY_STATE .............................................................................................. 896STV_WLM_QUERY_TASK_STATE .................................................................................... 898STV_WLM_SERVICE_CLASS_CONFIG .............................................................................. 899STV_WLM_SERVICE_CLASS_STATE ................................................................................ 901

Vistas de sistema .................................................................................................................... 901SVV_COLUMNS ............................................................................................................. 902SVL_COMPILE ............................................................................................................... 904SVV_DISKUSAGE ........................................................................................................... 905SVV_EXTERNAL_COLUMNS ............................................................................................ 907SVV_EXTERNAL_DATABASES ......................................................................................... 907SVV_EXTERNAL_PARTITIONS ......................................................................................... 908SVV_EXTERNAL_SCHEMAS ............................................................................................ 909SVV_EXTERNAL_TABLES ............................................................................................... 909SVV_INTERLEAVED_COLUMNS ....................................................................................... 910SVL_QERROR ................................................................................................................ 911SVL_QLOG .................................................................................................................... 911SVV_QUERY_INFLIGHT .................................................................................................. 913SVL_QUERY_QUEUE_INFO ............................................................................................. 914SVL_QUERY_METRICS ................................................................................................... 915SVL_QUERY_METRICS_SUMMARY .................................................................................. 916SVL_QUERY_REPORT .................................................................................................... 918SVV_QUERY_STATE ...................................................................................................... 920SVL_QUERY_SUMMARY ................................................................................................. 922SVL_S3LOG ................................................................................................................... 924SVL_S3PARTITION ......................................................................................................... 925SVL_S3QUERY .............................................................................................................. 926SVL_S3QUERY_SUMMARY ............................................................................................. 928SVL_STATEMENTTEXT ................................................................................................... 930SVV_TABLES ................................................................................................................. 931SVV_TABLE_INFO .......................................................................................................... 931SVV_TRANSACTIONS ..................................................................................................... 934SVL_UDF_LOG ............................................................................................................... 935SVV_VACUUM_PROGRESS ............................................................................................. 937

Versin de API 2012-01-12xi


SVV_VACUUM_SUMMARY .............................................................................................. 938SVL_VACUUM_PERCENTAGE ......................................................................................... 939

Tablas de catlogos de sistema ................................................................................................ 940PG_DEFAULT_ACL ......................................................................................................... 940PG_EXTERNAL_SCHEMA ................................................................................................ 942PG_LIBRARY ................................................................................................................. 943PG_STATISTIC_INDICATOR ............................................................................................ 943PG_TABLE_DEF ............................................................................................................. 944Consulta de las tablas de catlogos ................................................................................... 946

Referencia de la configuracin .......................................................................................................... 951Modificacin de la configuracin del servidor ............................................................................... 951analyze_threshold_percent ........................................................................................................ 952

Valores (predeterminados en negrita) ................................................................................. 952Descripcin .................................................................................................................... 952Ejemplos ........................................................................................................................ 952

datestyle ................................................................................................................................ 952Valores (predeterminados en negrita) ................................................................................. 952Descripcin .................................................................................................................... 952Ejemplo ......................................................................................................................... 952

describe_field_name_in_uppercase ............................................................................................. 953Valores (predeterminados en negrita) ................................................................................. 953Descripcin .................................................................................................................... 952Ejemplo ......................................................................................................................... 952

enable_result_cache_for_session ............................................................................................... 953Valores (predeterminados en negrita) ................................................................................. 953Descripcin .................................................................................................................... 952

extra_float_digits ...................................................................................................................... 953Valores (predeterminados en negrita) ................................................................................. 953Descripcin .................................................................................................................... 954

max_cursor_result_set_size ....................................................................................................... 954Valores (predeterminados en negrita) ................................................................................. 954Descripcin .................................................................................................................... 954

query_group ........................................................................................................................... 954Valores (predeterminados en negrita) ................................................................................. 954Descripcin .................................................................................................................... 954

search_path ............................................................................................................................ 955Valores (predeterminados en negrita) ................................................................................. 955Descripcin .................................................................................................................... 955Ejemplo ......................................................................................................................... 955

statement_timeout ................................................................................................................... 956Valores (predeterminados en negrita) ................................................................................. 956Descripcin .................................................................................................................... 956Ejemplo ......................................................................................................................... 956

timezone ................................................................................................................................ 957Valores (predeterminados en negrita) ................................................................................. 957Sintaxis .......................................................................................................................... 957Descripcin .................................................................................................................... 957Formatos de zonas horarias ............................................................................................. 957Ejemplos ........................................................................................................................ 959

wlm_query_slot_count .............................................................................................................. 959Valores (predeterminados en negrita) ................................................................................. 959Descripcin .................................................................................................................... 959Ejemplos ........................................................................................................................ 960

Base de datos de muestra ............................................................................................................... 961Tabla CATEGORY .................................................................................................................. 962Tabla DATE ........................................................................................................................... 962Tabla EVENT ......................................................................................................................... 963

Versin de API 2012-01-12xii


Tabla VENUE ......................................................................................................................... 963Tabla USERS ......................................................................................................................... 964Tabla LISTING ........................................................................................................................ 964Tabla SALES .......................................................................................................................... 965

Nombre y abreviaturas de zonas horarias ........................................................................................... 966Nombres de zonas horarias ...................................................................................................... 966Abreviaturas de zonas horarias ................................................................................................. 975

Historial de revisin ......................................................................................................................... 979

Versin de API 2012-01-12xiii

Amazon Redshift Gua de desarrollador de base de datosEs la primera vez que usa Amazon Redshift?

BienvenidoTemas

Es la primera vez que usa Amazon Redshift? (p. 1) Es usted un desarrollador de bases de datos? (p. 2) Requisitos previos (p. 3)

Esta es la Amazon Redshift Database Developer Guide.

Amazon Redshift es un servicio de almacn de datos completamente administrado, empresarial y de variospetabytes.

Esta gua se centra en el uso de Amazon Redshift para crear y administrar un data warehouse. Sitrabaja con bases de datos como diseador, desarrollador de software o administrador, le proporciona lainformacin que necesita para disear, desarrollar, hacer consultas y mantener el data warehouse.

Es la primera vez que usa Amazon Redshift?Si est utilizando Amazon Redshift por primera vez, le recomendamos que comience leyendo lassiguientes secciones.

Aspectos destacados del servicio y precios: En la pgina de detalles del producto se proporcionan lapropuesta de valor, los aspectos destacados del servicio y los precios de Amazon Redshift.

Introduccin: Esta Introduccin a Amazon Redshift incluye un ejemplo que le ensea los procesos decreacin de clsteres de data warehouse de Amazon Redshift, creacin de tablas de base de datos,carga de datos y prueba de consultas.

Despus de completar la gua de introduccin, le recomendamos explorar una de las siguientes guas:

Amazon Redshift Cluster Management Guide: En la gua de administracin de clsteres se muestra lamanera de crear y administrar clsteres de Amazon Redshift.

Si es desarrollador de aplicaciones, puede usar la API de consulta de Amazon Redshift para administrarlos clsteres mediante programacin. Adems, las bibliotecas SDK de AWS que integran la API deAmazon Redshift subyacente pueden ayudar a simplificar las tareas de programacin. Si prefiereadministrar los clsteres de forma ms interactiva, puede utilizar la consola de Amazon Redshift y lainterfaz de lnea de comandos de AWS (CLI de AWS). Para obtener ms informacin acerca de la API yCLI, consulte los siguientes manuales: Referencia de la API Referencia de la CLI

Amazon Redshift Database Developer Guide (este documento): Si es desarrollador de bases de datos,la gua para desarrolladores de bases de datos le explica la manera de disear, desarrollar, hacerconsultas y mantener las bases de datos que componen el data warehouse.

Si est en proceso de pasar de otro sistema de base de datos relacional o una aplicacin de datawarehouse a Amazon Redshift, debe tener en cuenta las diferencias importantes en cuanto a cmo


https://aws.amazon.com/redshift/http://docs.aws.amazon.com/redshift/latest/gsg/http://docs.aws.amazon.com/redshift/latest/mgmt/http://docs.aws.amazon.com/redshift/latest/APIReference/http://docs.aws.amazon.com/cli/latest/reference/redshift/

Amazon Redshift Gua de desarrollador de base de datosEs usted un desarrollador de bases de datos?

se implementa Amazon Redshift. Para ver un resumen de las consideraciones ms importantes paradisear tablas y cargar datos, consulte Prcticas recomendadas de Amazon Redshift para el diseo detablas (p. 23) y Prcticas recomendadas para la carga de datos (p. 26). Amazon Redshift estbasado en PostgreSQL 8.0.2. Para ver una lista detallada de las diferencias entre Amazon Redshift yPostgreSQL, consulte Amazon Redshift y PostgreSQL (p. 294).

Es usted un desarrollador de bases de datos?Si usted es un usuario de bases de datos, diseador de bases de datos, desarrollador de bases de datos oadministrador de bases de datos, la siguiente tabla lo ayudar a encontrar lo que est buscando.

Si desea Recomendamos

Comenzar a utilizarAmazon Redshiftrpidamente

Siga estos pasos que aparecen en Introduccin a Amazon Redshift paraimplementar un clster, conectarse a una base de datos y probar algunasconsultas.

Cuando est listo para desarrollar la base de datos, cargue datos en tablas yescriba consultas para manipular datos en el data warehouse. Regrese a laGua para desarrolladores de bases de datos.

Obtener informacinacerca de laarquitectura del datawarehouse de AmazonRedshift.

En Informacin general del sistema de Amazon Redshift (p. 4) seproporciona informacin general acerca de la arquitectura interna de AmazonRedshift.

Si desea informacin ms exhaustiva acerca del servicio web de AmazonRedshift, dirjase a la pgina de detalles de productos de Amazon Redshift.

Crear bases de datos,tablas, usuarios y otrosobjetos de la base dedatos.

Introduccin al uso de bases de datos (p. 14) es una introduccin rpida alos aspectos bsicos del desarrollo SQL,

Amazon Redshift SQL (p. 293) tiene la sintaxis y ejemplos para funciones ycomandos SQL de Amazon Redshift y otros elementos SQL.

Prcticas recomendadas de Amazon Redshift para el diseo detablas (p. 23) proporciona un resumen de nuestras recomendacionespara elegir claves de ordenacin, claves de distribucin y codificaciones decompresin.

Aprender a diseartablas para lograr undesempeo ptimo.

En Diseo de tablas (p. 102) se detallan consideraciones para aplicarcompresin a datos de columnas de tablas y para elegir claves de distribuciny ordenacin.

Cargar datos. Carga de datos (p. 162) explica los procedimientos para cargar grandesconjuntos de datos desde tablas de Amazon DynamoDB o desde archivos sinformato almacenados en buckets de Amazon S3.

Prcticas recomendadas para la carga de datos (p. 26) proporcionasugerencias para cargar los datos de manera rpida y eficiente.

Administrar la seguridadde usuarios, grupos ybases de datos.

Administracin de la seguridad de bases de datos (p. 95) cubre los temasde seguridad de bases de datos.

Monitorear y optimizar eldesempeo del sistema.

En Referencia de las tablas de sistema (p. 798) se detallan las vistas ytablas del sistema en las que puede enviar consultas por el estado de la basede datos y monitorear consultas y procesos.


http://docs.aws.amazon.com/redshift/latest/gsg/https://aws.amazon.com/redshift/

Amazon Redshift Gua de desarrollador de base de datosRequisitos previos

Si desea RecomendamosTambin debe consultar Amazon Redshift Cluster Management Guide paraobtener informacin acerca de cmo utilizar la consola de administracinde AWS para comprobar el estado del sistema, monitorear las mtricas yrestaurar y realizar copias de seguridad de los clsteres.

Analizar y notificarinformacin deconjuntos de datos muygrandes.

Muchos proveedores de software populares certifican a Amazon Redshiftcon sus ofertas para permitirle continuar utilizando las herramientas que usahoy en da. Para obtener ms informacin, consulte la pgina de socios deAmazon Redshift.

En Referencia de la SQL (p. 293) se encuentran todos los detalles de loscomandos, las funciones y las expresiones SQL compatibles con AmazonRedshift.

Requisitos previosDebe completar estas tareas antes de utilizar esta gua.

Instalar un cliente SQL. Lanzar un clster de Amazon Redshift. Conectar el cliente SQL a la base de datos maestra del clster.

Para obtener instrucciones paso a paso, consulte Introduccin a Amazon Redshift.

Tambin debe saber cmo utilizar el cliente SQL y debe contar con los conocimientos fundamentales dellenguaje SQL.


http://docs.aws.amazon.com/redshift/latest/mgmt/https://aws.amazon.com/redshift/partners/https://aws.amazon.com/redshift/partners/http://docs.aws.amazon.com/redshift/latest/gsg/

Amazon Redshift Gua de desarrollador de base de datosArquitectura del sistema de data warehouse

Informacin general del sistema deAmazon Redshift

Temas Arquitectura del sistema de data warehouse (p. 4) Desempeo (p. 7) Almacenamiento en columnas (p. 9) Arquitectura interna y operacin del sistema (p. 11) Administracin de la carga de trabajo (p. 11) Utilizacin de Amazon Redshift con otros servicios (p. 12)

Un data warehouse para Amazon Redshift es un sistema de administracin y consultas de bases de datosrelacionales de clase enterprise.

Amazon Redshift admite las conexiones de clientes con muchos tipos de aplicaciones, incluidas lasherramientas de anlisis, datos, informes e business intelligence (BI, inteligencia empresarial).

Cuando ejecuta consultas de anlisis, est recuperando, comparando y evaluando grandes cantidades dedatos en operaciones de varias fases para producir un resultado final.

Amazon Redshift consigue un almacenamiento eficiente y un desempeo ptimo de las consultasmediante la combinacin del procesamiento paralelo de forma masiva, el almacenamiento de datos encolumnas y los esquemas de codificacin para la compresin de datos dirigidos muy eficientes. En estaseccin se presenta una introduccin a la arquitectura del sistema de Amazon Redshift.

Arquitectura del sistema de data warehouseEn esta seccin se introducen los elementos de la arquitectura de data warehouse de Amazon Redshiftcomo se muestran en el siguiente grfico.



Aplicaciones cliente

Amazon Redshift se integra con varias herramientas de carga de datos y ETL (extraccin, transformaciny carga) y con herramientas de anlisis, minera de datos e informes de inteligencia empresarial (BI).Amazon Redshift se basa en el PostgreSQL estndar del sector, por lo que la mayora de las aplicacionesde cliente SQL funcionarn solo con cambios mnimos. Para obtener ms informacin acerca delas importantes diferencias entre Amazon Redshift SQL y PostgreSQL, consulte Amazon Redshift yPostgreSQL (p. 294).

Conexiones

Amazon Redshift se comunica con las aplicaciones cliente mediante los controladores PostgreSQL JDBCy ODBC estndar del sector. Para obtener ms informacin, consulte JDBC y ODBC de Amazon Redshift yPostgreSQL (p. 295).

Clsteres

El componente principal de la infraestructura de un data warehouse de Amazon Redshift es un clster.

Un clster se compone de uno o ms nodos de computacin. Si un clster se aprovisiona con dos o msnodos de computacin, un nodo principal adicional coordina los nodos de computacin y gestiona lacomunicacin externa. La aplicacin cliente interacta de forma directa solo con el nodo principal. Losnodos de computacin son transparentes para las aplicaciones externas.

Nodo principal

El nodo principal administra las comunicaciones con los programas de clientes y todas las comunicacionescon los nodos de computacin. Analiza y desarrolla los planes de ejecucin para realizar las operacionesde bases de datos, en particular, la serie de pasos necesarios para obtener resultados de consultascomplejas. Segn el plan de ejecucin, el nodo principal compila un cdigo, lo distribuye a los nodos decomputacin y les asigna una parte de los datos a cada uno.

El nodo principal distribuye instrucciones SQL a los nodos de computacin solo cuando una consultahace referencia a tablas que se encuentran almacenadas en los nodos de computacin. Todas lasotras consultas se ejecutan exclusivamente en el nodo principal. Amazon Redshift est diseado paraimplementar determinadas funciones SQL solo en el nodo principal. Una consulta que utiliza cualquierade estas funciones devolver un mensaje de error si hace referencia a tablas que residen en los



nodos de computacin. Para obtener ms informacin, consulte Funciones SQL admitidas en el nodoprincipal (p. 293).

Nodos de computacin

El nodo principal compila un cdigo para los elementos individuales del plan de ejecucin y lo asigna alos nodos de computacin individuales. Los nodos de computacin ejecutan el cdigo compilado y envanresultados intermedios de vuelta al nodo principal para la agregacin final.

Cada nodo de computacin tiene su propia CPU dedicada, memoria y almacenamiento en disco integrado,que se determinan por el tipo de nodo. A medida que la carga de trabajo crece, puede aumentar lacapacidad de computacin y almacenamiento de un clster aumentando el nmero de nodos, actualizandoel tipo de nodo o ambas.

Amazon Redshift proporciona dos tipos de nodos: nodos de almacenamiento denso y nodos decomputacin de alta densidad. Cada nodo proporciona dos opciones de almacenamiento. Puede comenzarcon un solo nodo de 160GB y ampliarlo a varios nodos de 16TB para admitir un petabyte de datos o ms.

Para obtener una explicacin ms detallada de los nodos y clsteres de data warehouse, consulteArquitectura interna y operacin del sistema (p. 11).

Sectores del nodo

Un nodo de computacin est particionado en sectores. A cada sector se le asigna una parte de lamemoria y del espacio en disco del nodo, donde se procesa una parte de la carga de trabajo asignadaal nodo. El nodo principal administra los datos de distribucin a los sectores y les reparte la carga detrabajo de cualquier consulta u otra operacin de base de datos. A continuacin, los sectores funcionan enparalelo para completar la operacin.

El nmero de sectores por nodo est determinado por el tamao de nodo del clster. Para obtener msinformacin acerca del nmero de sectores para cada tamao de nodo, visite Acerca de clsteres y nodosen la Amazon Redshift Cluster Management Guide.

Cuando crea una tabla, opcionalmente puede especificar una columna como la clave de distribucin.Cuando se carga la tabla con los datos, las filas se distribuyen a los sectores del nodo de acuerdo con laclave de distribucin que se defina para una tabla. La eleccin de una buena clave de distribucin permiteque Amazon Redshift utilice el procesamiento paralelo para cargar datos y ejecutar consultas de formaeficiente. Para obtener ms informacin acerca de una clave de distribucin, consulte Eleccin de modosde distribucin recomendados (p. 24).

Red interna

Amazon Redshift aprovecha las conexiones de ancho de banda alto, la gran proximidad y los protocolos decomunicacin personalizados para proporcionar una comunicacin de red privada de muy alta velocidadentre el nodo principal y los nodos de computacin. Los nodos de computacin se ejecutan en una redaislada independiente a las que las aplicaciones cliente nunca obtienen acceso directamente.

Bases de datos

Un clster contiene una o varias bases de datos. Los datos de usuario se almacenan en los nodos decomputacin. El cliente SQL se comunica con el nodo principal y este coordina la ejecucin de consultascon los nodos de computacin.

Amazon Redshift es un sistema de administracin de bases de datos relacionales (RDBMS), por lo que escompatible con otras aplicaciones RDBMS. Aunque proporciona la misma funcionalidad que un RDBMStpico, incluidas las funciones de online transaction processing (OLTP, procesamiento de transaccionesonline) como insertar y eliminar datos, Amazon Redshift est optimizado para realizar informes y anlisisde alto desempeo de conjuntos de datos muy grandes.

Amazon Redshift se basa en PostgreSQL 8.0.2. Amazon Redshift y PostgreSQL tienen una cantidadde diferencias muy importantes que debe tener en cuenta cuando disea y desarrolla aplicaciones de


http://docs.aws.amazon.com/redshift/latest/mgmt/working-with-

Amazon Redshift - Guía de desarrollador de base de datos · Amazon Redshift Guía de desarrollador...

Documents

Transcript of Amazon Redshift - Guía de desarrollador de base de datos · Amazon Redshift Guía de desarrollador...