Zero Data Loss Recovery Appliance - Oracle...•Big Data SQL •Big Data Preparation •Database...

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

简化IT推动创新： Oracle云计算 + 大数据服务成就IT商业价值娄恒甲骨文公司高级技术经理 2016.12.28 重庆

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

IT双模时代: 稳定不创新

混合云战略（私有云+公有云）

• 业务连续性、可用性保护 • 最大性能、水平扩展能力 • 零数据丢失

• 资源弹性 • 不可预测业务负载支持

• 敏捷开发、数据合作和业务创新

私有云

公有云


私有云公有云相同架构

相同产品

相同技能

相同标准

保证业务连续、稳定、扩展： RAC、In-Memory、ADG、 MAA、 Exadata、ZDLRA

加速业务创新：应用VM上云、应用胶囊、Docker、Sandbox、IoT、Mobile、Social

企业混合云战略：稳定不创新最佳平衡点

截止到2017年，将会有超过80%的企业会采纳混合云模式部署，大幅推动组织变革和业务创新 --IDC FutureScape: Worldwide Cloud 2016 Predictions

3 1

2 透明移动负载、统一化管理

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 4

企业混合云选择：完整性

SaaS IaaS PaaS


数据库层面应用层面大数据与分析数据保护

企业混合云选择：私有云、公有云、混合云

Database Backup Service Big Data Cloud Service IaaS Compute Cloud Exadata-as-a-Service

Oracle Hybrid Cloud


云部署的第三种形态：Cloud@Customer 完全兼容、混合云、自由选择

软件许可证

您自己选择硬件

您自己花精力管理

订阅服务

由Oracle管理

订阅服务

由Oracle管理

运行在您的防火墙后面

网络效率更快，成本更低

本地部署私有云 Oracle 公有云 ***发布***

Cloud@Customer

C C

应用和数据的便携性


完整性: 计算服务--Compute Cloud Services

Ravello Container

Service (Docker) Engineered

Systems IaaS Dedicated Compute

General Purpose Compute

Bare Metal

Public Cloud

Compute Multiple OS

Multiple Hypervisors

Docker Containers

On-Premise


完整性: PaaS服务完整的数据管理

• Database • NoSQL Database • Big Data • Big Data SQL

• Big Data Preparation • Database Backup • Exadata

智能的IT运维管理

• IT Analytics • Log Analytics • Application Performance Monitoring

可靠的身份认证管理

• Identity

内容协同 & 社交网络支持

• Social • Sites

• Documents

全面的应用开发与部署

• Java • Application Container

(Node, Java SE)

• Application Builder • Developer • Mobile

多层次的企业集成

• Integration • SOA • API Manager • Process

• Internet of Things • GoldenGate

丰富的业务分析

• Data Visualization • Business Intelligence • Big Data Discovery

• Big Data Preparation • Internet of Things


相同的标准

相同的架构

相同的软件

相同的技能

企业级混合云的关键原则：开放不兼容

私有云公有云

保证应用： • 可以“按需”部署在私有云或公有云 • 可以“按需”从私有云迁移到公有云 • 可以“按需”从公有云迁移到私有云 • 可以“按需”分布式部署在“私有云+公有云”


混合云的关键能力1：平移上云

1 2

On-Premise Database Oracle Cloud Database

极致体验: 2步上云


混合云的关键能力2：统一管理

本地和Oralce云的单一视图

Oracle Cloud On-premises

Assets

Oracle云和本地之间的复制或者负载迁移

Oracle Cloud On-premises

Assets

对于本地和公有云单一的管理工具 100%重用企业现有的管理体系和最佳实践


开放性：混合云的基础 1. 虚拟化：无缝平滑移动

2. 中间件：无缝平滑移动

3. 数据库：无缝平滑移动

WebLogic Java Service

Java App

Oracle Database Service

Infrastructure Compute & Storage Service

虚拟化 Database

WebLogic Java Server

Java App

Oracle Database

虚拟化 Database

Oracle 公有云企业自有数据中心

4. 异构数据迁移

5. 企业端直接部署Oracle云服务

6. 统一资源监控和管理

企业虚拟数据中心

1 2 3

6

非Oracle Database

4

5

转移: 无需更改代码!


开放性：迁移开发测试环境到云端

Cloud-Based Container Database On-Premises Container Database

GL OE AP GL

Master

GL (Dev2)

GL (Dev1)


Database as a Service

Hadoop as a Service

3rd Party Cloud

开放性：Oracle GoldenGate Cloud Service 本地数据中心与公有云之间或不同公有云之间的数据交换和集成

GoldenGate Cloud Service

Real-time Data Replication Service in Oracle Cloud via Subscription or Hourly basis

Key Benefits

Changed Data delivery is more effective than batch processes

No Data Loss reliable and proven core GG technology

Realtime Data always up to the moment replication & visibility

3rd Party Cloud

Migrate from Amazon any database from AWS RDS

Deliver to 3rd Party Clouds from on-premise databases

On Premise

Database Cloud Service

Exadata Cloud Service

Big Data Cloud Service

GGCS

GGCS

RDS GoldenGate

GoldenGate


客户Cloud发展路径？ V2C（Virtual Cloud）

− 数据中心高成本 CapEx

− 昂贵的License成本

− 硬件采购部署周期长

− 有限的资源能力

− 不易于扩展

客户数据中心+ VMware

− 昂贵的License成本

− 缺乏跨区域支持

− 业务低谷时，资源浪费

数据中心虚拟化

公有云 (AWS, Google, Azure)

− 无法运行VMware/KVM 应用

− 迁移工作量大

− 不支持L2层网络

− 不同的版本、不同的操作体验

1 迁移上云“单程票”

+ 支持VMware / KVMs 应用

+ 无迁移

+ 支持L2 网络

+ 按需使用

+ 无限制的能力

+ 易于复制

2 平移上云“双程票”


V2C的挑战和应对

• 最佳V2C方案 –工作量小

–无迁移

–零风险

–易扩展

–可回退

迁移

扩展

回归

• 迁移工作量大？ • 变更带来的运行风险？

• 业务扩展后，是否可以平滑扩展？

• 是否可以平滑移回客户数据中心？


• 公有云V2V技术（例如：AWS import）只能解决一小部分VM迁移的问题，依然还有大量的迁移工作量：

• L2层网络兼容问题：AWS等公有云的网络设计不在On-Premise 运行VM的下层网络是完全丌同的网络结构。

– L2层网络功能丌能支持：静态 IPs, DHCP服务, DNS服务, 丌同的子网, 网卡的MAC地址设置,多个VLAN, 端口镜像, 防火墙和 Load balancer

– 所有网络兼容性问题需要应用层适应性修改

• Vmware格式转换：需要把Vmware格式转换为公有云格式

• Ravello 采用一种全新的方法可以把VM应用Life and Shift到公有云环境中。

• Ravello通过Nested Virtualization技术（嵌套虚拟化）和SDN技术，可以让Vmware和KVM丌需要任何修改的情况下来运行负载。

– 支持L2和L3层网络配置

– 丌需要修改VM格式可运行

– 丌需要修改VM配置

– 支持Root权限

– 丌需要Vmware License

该选择怎样的V2C技术路线？迁移 vs 平移

1 迁移上云“单程票” 2 平移上云“双程票”


Oracle Ravello = 本地能力+ 公有云能力

客户数据中心 + VMware

公有云 (AWS, Azure, Google)

Oracle Ravello

运行Vmware虚机支持不支持支持

2层网络能力支持不支持支持

扩展性受限制高扩展高扩展

环境快速克隆和复制无克隆快速克隆快速克隆

跨地域不支持支持支持

按需使用不支持支持支持

自动化API 非常有限丰富的API 丰富的API

成本 $$$ $ $

0 1 2


Ravello：嵌套虚拟化，把Vmware平移入云

公有云

客户数据中心

把Vmware、KVM无修改迁移上云

Ravello （把公有云虚拟化）


Ravello 平移虚拟机上云 1- 上传VM 2- 创建应用 3- 网络自动发现 4- 发布上云

• 使用Ravello工具导入VM虚拟机，丌需修改任何虚机配置

• 拖拉方式创建所需的应用环境

• 自劢获得网络配置 • 5分钟内轻松发布上云


Ravello：分钟级轻松组装虚机到云上应用

AWS Google Compute

客户数据中心 Ravello （再公有云上替代虚拟化应用）

企业Vmware无修改迁移上云

轻松实现私有云昂贵虚拟化平台到公有云的迁移


企业级：丌是所有应用都可以迁移到公有云中

与后端mainframes, databases, ERPs等需要近乎零的低延迟链接

专用的基础设施可以提供更低的延迟

低延迟

要遵循合规性、法律和隐私方面的要求

敏感数据本地保存

其它安全规范

数据主权

对关键业务系统要保持100%可控

有自己的防火墙、负载均衡器、硬件VPN等

非常高的SLAs要求

控制权

在本地运行云

按需在公有云或本地私有云中运行

无论公有云还是私有云，要有相同的体验

自主选择


OCM：把Oracle公有云搬回家

客户数据中心

防火墙

OCM 公有云

全新选择：公有云部署在客户数据中心

把Oracle公有云中最优秀的PaaS和IaaS服务引擎引入到客户企业内部，部署运行

相同标准、相同服务、统一管理使得应用在本地部署和云端可以无缝迁移，简化迁移过程

解决客户针对系统控制，应用管控，网络性能和数据安全性的要求

把公有云部署到企业内部，解决企业数据本地化问题!

Hardware

• Server

• Storage

•Network

IaaS

•Compute

•Block Storage

•Object Storage

•Virtual Network

PaaS (订阅)

•Database

• Java

• Integration

•…

• ...


OCM：快速建立完整的云堆栈，云资源池+云管理

专属云平台

虚拟资源

服务器

存储

PaaS资源池

数据库云

JAVA

服务目录

资源/服务监控

资源编排及供应

服务质量

配置管理

服务运营

多组户和自服务管理

云运营管理平台

资源池网络

IaaS资源池

Integration

……

Exadata

大数据


OCM：IaaS+PaaS超融合

Oracle IaaS

Oracle PaaS

标准的硬件配置 •服务器

•内置存储

•高速网络设备

标准的硬件配置

•弹性计算服务

•块存储不对象存储

•网络服务

Oracle IaaS

• 数据库云服务（DBCS）

• 中间件云服务（JCS）

• 集成云服务（ICS）

•SOA服务（SOACS）

• 移劢化服务（MCS)

Oracle PaaS

工程化系统组成

服务能力


超融合：IaaS+PaaS 拓扑关系

Oracle Confidential – Internal 26


OCM最佳混合云平台

Oracle Cloud Machine


企业级：管理运维云OMC

Oracle Confidential – Internal/Restricted/Highly Restricted 28


OMC--日志分析 2015-05-10T12:59:52.212: INFO: OrderApp-3212: Order type: Failed, cust: 933373, order: 3997396, region: APAC <May 10, 2015 12:59:50 PM PST> <Error> <Server> <BEA-002608> <The Listen Thread closed because of an error> java.sql.SQLException: Closed Connection at oracle.jdbc.driver.SQLStateMapping.newSQLException(SQLStateMapping.java:70) at processOrders.acme.com(SubmitOrder.java:112) 150510 12:59:45 [ERROR] /usr/sbin/mysqld: Incorrect key file for table '/tmp/#sql_21b2_0.MYI'; try to repair it 150510 12:59:46 [ERROR] Got an error from unknown thread, storage/myisam/mi_write.c:223 150510 12:59:46 [ERROR] /usr/sbin/mysqld: Sort aborted: Error writing file '/tmp/MYK74Kpi' (Errcode: 28) May 10, 2015 22:04:29 myhost.acme.com: router dnsprobe[276]: dns query failed May 10, 2015 22:04:30 myhost.acme.com: router dnsprobe[276]: Primary DNS server Is Down... Switching To Secondary DNS server May 10, 2015 22:04:30 myhost.acme.com: router dnsprobe[276]: Switching Back To Primary DNS server

Order Number

Error Message

Time Stamp

Host Name

Error Message

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted 30

Oracle私有云：成熟、性能、扩展、可靠、管理


Oracle工程系统大家族

高性能 │ 高可用│ 低成本

SuperCluster Private Cloud

Appliance

Exadata Zero Data Loss Recovery

Appliance

Exalogic Elastic Cloud

Database Appliance

Exalytics Big Data Appliance

31


问题描述

数据之殇：技术标准化缺乏 “车同轨、书同文、行同伦”

• 200+ NoSQL • 1000+ Hadoop Projects

技术架构标准化 1

数据与业务衔接 2

问题

决策和行动力 3


技术架构问题举例

33


应对之道: Oracle Bigdata-标准化技术架构

34 34

平台标准化：高性能、易扩展开发标准化：SQL接口、利旧原有应用

集成标准化：简化数据集成安全标准化：企业级数据安全策略


应对之道: Oracle Bigdata-标准化技术架构

35 35

平台标准化：高性能、易扩展开发标准化：SQL接口、利旧原有应用

集成标准化：简化数据集成安全标准化：企业级数据安全策略


Oracle大数据一体机 Bigdata SQL，实现大规模并发SQL查询，横跨Oracle、 Hadoop和NoSQL

Oracle Database 12c

卸载查询到Exadata存储服务器

小数据集快速返回

Hadoop & NoSQL

卸载查询到数据节点

SQL

数据子集 data

subset

SQL


同时支持：行存储和列存储同时支持在线交易和分析

Column

Format

OLTP

Row

Format

Analytic

s

Sales Sales

Sales


数据之殇：业务快速需求 VS 数据探索和准备的缓慢

问题描述 80%精力花在数据探索和数据准备



问题


预算数据


应对之道: BigData Discovery-快速业务洞察力

发现浏览转换探索分享


数据之殇：数据是历史反映（KPI） VS 数据是未来的导航（预测）

问题描述依靠人的经验往往差强人意

“在未来的社会中，不能正确预测趋势将导致企业100%的失败” —Peter F．Drucker

“数据非常之多而且具有战略重要性，但是真正缺少的是从数据中提取价值的能力” —Hal. Varian（Google首席经济学家）



问题


http://www.google.com/url?sa=i&rct=j&q=&esrc=s&frm=1&source=images&cd=&cad=rja&uact=8&ved=0CAQQjRw&url=http://authorjenniferchase.com/2012/01/14/bullseye-1-star-book-reviews/&ei=Nh2fU9avJsqMqAbjuIDICg&psig=AFQjCNGRJ78NocW6RNOEt1XTgb1CQO9RHw&ust=1403023030669200


OBIEE

Oracle Database Enterprise Edition

应对之道：Advanced Analytics-做自己的AlphaGo 让数据来做决策

Oracle Advanced Analytics - Database Option SQL Data Mining & Analytic Functions + R Integration

可扩展、分布式、幵行、库内机器学习

SQL Developer/ Oracle Data Miner

Applications

R Client

数据不业务分析师 R 程序员业务分析师、决策者应用用户用户

平台

Oracle Database 12c

Hadoop

ORAAH 并行分布式算法

Oracle Cloud


Sources

业务系统

渠道

CRM

ERP

社交互联网

主数据数据探索实验室

数据挖掘机器学习

数据探索数据发现

Oracle大数据平台参考架构

数据仓库

访问与汇总层

星型模型，立方体，衍生数据，汇总数据，分析结果

数据

基础层

集成化的主题模型与数

据

商业智能 / 数据可视化

信息模型

业务导向模型，通过数据映射成为报表和分析结

果

报表仪表盘

即席分析与查询

BI 服务

数据整合与数据质量消息队列批量抽取数据转换数据质量实时整合任务调度

元数据管理模型数据追溯业务数据字典

数据传输数据访问整合点元数据定义

规则

数据湖

数据水库

数据从源端抽取，基本不做转换，保持与源端相同存储格式，包含历叱数

据

ODS

与源系统保持近实时数据同步，一体

化模型

实时

批量数据流

流处理 /

事件处理

数据采集数据存储数据发现数据可视化决策支持数据流

Exadata

1

Big Data Appliance (Hadoop)

2 Big Data SQL

3

BDD/AA

4

OGG

5


Exadata:最佳的数据库运行平台

Advanced Security, Label Security, Database Vault

Multitenant

Active Data Guard

Partitioning

Advanced Compression

Real Application Testing

OLAP, Analytics, Spatial and Graph

Management Packs

Real Application Clusters

In Memory DB InfiniBand Fabric

Columnar Flash Cache

HCC

10:1

I/O I/O I/O

Smart Flash Cache, Smart Flash Log

Hybrid Columnar Compression

I/O Resource Management

Exafusion Direct-to-Wire Protocol

Offload SQL to Storage

Network Resource Management

In-Memory Fault Tolerance

All Exadata Machine Innovations

All Oracle Database

Innovations

PCI Flash

1


Exadata:某移动大数据平台全世界压力最大的关系型数据仓库大数据分析平台

44

某移劢共享平台现网数据加载量高达每天102T，相当于20个国家图书馆的信息的总合。同样的数据量，阿里采购3200台服务器，总投资数亿元，功耗是某移劢的119倍。

随着4G业务的增长，某移劢共享平台的数据量将增至每天158T（到2015年底），系统压力巨大！

数据加载量102 TB/天，扫描数据量6PB/天

硬件配置：

两台半配Exadata， 256核CPU，总内存3TB

功耗8.4KW

数据加载量90 TB/天，扫描数据量7.5PB/天

硬件配置：

3,200台服务器，30,000核CPU，总内存100TB

功耗1000KW

某移动网络数据共享平台（现网）阿里Hadoop2013年大数据平台

1


DBA：高性能、高集成度的Hadoop平台高性价比的高性能 Hadoop 一体机

2


Oracle BDA：Perfect Balance 数据倾斜问题

China

BE

NL

Lux

总运行时间


Oracle BDA：Perfect Balance 消除数据倾斜

China

BE

NL

Lux

原来运行时间

C1

C2

C3

节省时间


大数据机BDA性能比较

0

5

10

大数据机自制Hadoop 集

群

时间

（小

时）

0

5

10

大数据机基于云的

Hadoop

时间

（小

时）

处理大批量转换作业的速度比定制的

20 节点 Hadoop 集群快 6 倍

标记和解析文本文档的速度比 30 节点 Hadoop 集群快 2.5 倍


Exadata 企业应用/数据仓库

统一的数据资源池

Big Data Appliance 分布式大数据平台

新型数据业务数据

15TB / hour 10x Faster

Big Data SQL：全数据集成框架助力企业级数据获取和组织，集成和管理

Oracle Big Data Connectors

Hadoop

Oracle R

Oracle NoSQL DB

Oracle数据库

内存选项/多租户

高级分析

地理和图形选件 Oracle Big Data SQL

OGG ODI

OGG ODI

X86 服务器

X86 服务器

X86 服务器

Copy to Hadoop/ Oracle Table Access for Hadoop and Spark

3


NoSQL DB

根据驾驶员身份信息，一条语句查询其自然信息，培训和从业信息，驾驶记录，车辆行驶记录，相关社交网络和投诉建议等，组织数据，结合数据挖掘对驾驶员安全驾驶进行预测和评估。

Hadoop

HDFS2

YARN

Batch (MapReduce)

Other (Search)

(In-Mem)

Big data SQL Plug In

社交网络数据

GPRS数据图片

统一数据访问Oracle Big Data SQL

Oracle 数据库

驾驶员

售票

管理

运政

驾驶员画像

•利用数据库安全，实现数据统一安全管控

•性能优化：并行，存储索引，本地数据过滤，最小化数据移动

•丰富的SQL支持，利用现有技能 •同时查询大数据和关系型数据

视频

Oracle Big Data SQL


BDD :企业级大数据探索

51

航空公司在移动APP中优先增加哪些功能来吸引用户，提高活跃度，提升用户体

验？？？？

发现： • 收集相关社交网络数据到大数据平台

• 浏览大数据平台相关数据集，找到社交网络数据，CRM，飞行等数据

• 必要时用户自服务上传数据到平台 • 浏览数据集分布和使用情况

转换：

• 对数据进行必要的加工，例如从城市信息中提取地理位置，提取内容关键字等

• 通过关联字段建立数据集之间的连接，例如基于邮箱/手机连接社交网络数据和CRM数据，基于身份证连接CRM和飞行数据等

浏览：

• 查看各个数据集各个字段的数据分布情况

• 体察数据质量

• 灵活选择多个维度对数据可视化，不需要事先建模

探索： • 建立项目，自定义各种展示图表 • 通过关键字进行过滤，找到市场热点

或者感兴趣的话题 • 从各个维度对记录进行下钻，聚焦在

特定用户群 • 删除过滤条件进行上卷，发现数据相

关性

4

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted 52

实时大数据平台架构

计费/营帐系统

GoldenGate 资源管理系统

CRM系统

生产系统的相应ADG备库

Hadoop

大数据平台(Hive/HDFS/Flume)

NoSQL

专题应用(待上线)

•实时投递结构化业务数据到到Hadoop平台，整合结构化与非结构化数据，利用Hadoop平台海量数据并行处理优势，实现企业大数据平台战略；

•将业务系统的增量数据以JSON/XML/文本格式实时输出到NoSQL数据库，实现流式数据处理或实时计算

实时大数据应用

5


Oracle企业级大数据解决方案的优势

企业级端到端的全数据解决方案

业界应用最广泛的商业化Hadoop平台和关系型数据库保持开放性，技术领先，众多案例实证

优化简单的全数据统一查询，重用已有的基于SQL的经验，不需要过多开发囊括所有大数据环境的预测分析性能卓越的整体解决方案

可互通互换的混合云架构大数据平台里总体拥有成本最低只需数周而非数月即可获得回报

数据挖掘 OAA

数据发现 BDD

数据池数据仓库

数据源

数据应用商业智能 BIEE

Oracle Database

Oracle Industry Models

Oracle Advanced

Analytics

Oracle Spatial & Graph

自建 / BDA

Hadoop

Oracle NoSQL DB

Oracle R

Oracle数据库

内存选项/多租户

Oracle高级分析

地理和图形选件

自建 / Exadata

Oracle Big Data Connectors

ODI OGG OEP

集成

灾备

安全

管

理

Big Data SQL

53


Oracle云战略：全面、混合云、开放、安全

54

通过Oracle Cloud为全球客户和合作伙伴供应

最先进的基础设施云服务、技术平台云服务、

业务应用软件云服务和数据云服务

Zero Data Loss Recovery Appliance - Oracle...•Big Data SQL •Big Data Preparation •Database...

Documents

Transcript of Zero Data Loss Recovery Appliance - Oracle...•Big Data SQL •Big Data Preparation •Database...