การจัดการและติดตั้งระบบ Hyper-converged...
Transcript of การจัดการและติดตั้งระบบ Hyper-converged...
การจัดการและติดตั้งระบบ Hyper-converged infrastructure ด้วย Open Source
วนัท่ี 20 กรกฎาคม 2561 เจตนนัต เจือจนัทร และ กาญจนา สุกปลัง่ส านกัคอมพิวเตอร มหาวิทยาลยับูรพา
การอบรมเชิงปฏิบติัการ (Workshop) WUNCA 37thระหวา่งวนัท่ี 18 – 20 กรกฎาคม 2561
ณ มหาวิทยาลยัราชภฏันครสวรรค จงัหวดันครสวรรค
Topic
•Introduction•Deploying Virtual Environment and Ceph Hyper-converged•Multi Node Virtual Environment and Ceph Hyper-converged•Additional Steps on the Hyper-converged deployment•Maintenance and Upgrading Resources•Troubleshooting
Introduction
•ระบบ Hyper-converged infrastructure แบบโอเพนซอร ส สามารถใช้งานทดแทนระบบแบบมี license ไดอ้ยา่งหมาะสม เพียงพอกบัการใช้งานใน Campus Network ได ้•HCI คือ การรวมเอา Server + Storage + Storage Network
Introduction
•ประโยชน ของ Hyper-converged infrastructure•มีประโยชน อยา่งยิง่ส าหรับการปรับใชง้านท่ีมีความตอ้งการโครงสร้างพ้ืนฐานระดบัท่ีสูงข้ึน แต่มีงบประมาณท่ีจ ากดั ส าหรับการใชง้านแบบ distributed ท่ีท างานบนสภาพแวดลอ้มส านกังานและสาขาระยะไกล หรือ ส าหรับ virtual private clouds และ public clouds
Introduction: Hyper-converged infrastructure ข้อดี• ความสามารถในการขยายตวั compute, network และ storage (เช่น ปรับขนาดเซิร ฟเวอร และพื้นท่ีจดัเกบ็ขอ้มูลไดร้วดเร็ว)
• Low cost: ตน้ทุนต ่า เป็นโอเพนซอร ส สามารถใชเ้ป็นโครงสร้าง compute/storage ได้• Data protection and efficiency: มีการรวมบริการต่าง เช่น การส ารองขอ้มูล การกูคื้น
Simplicity: ความเรียบง่าย การก าหนดค่าใชง้านและการบริหารแบบรวมศูนย • Open Source: มีความเป็นโอเพนซอร ส สามารถแกไ้ข ดดัแปลง source code ได้
Open source Hyper-Convergence
•Proxmox VE•Compute, network and storage in a single solution• https://pve.proxmox.com/wiki/Hyper-converged_Infrastructure
• oVirt• builds on the powerful kernel based virtual machine (KVM hypervisor)
and on the RHEV-M management server, released by Red Hat• https://www.ovirt.org/documentation/gluster-hyperconverged/Gluster_Hyperconverged_Guide/
Proxmox VE and Hyper-Convergence
•Proxmox VE เป็น virtualization ท่ีรวม compute, storage และ networking เขา้ไวด้ว้ยกนั มี high available clusters มี backup/restore ใชใ้นส าหรับการท า disaster recovery
• มีระบบการจดัการผา่น centralized web management interface Proxmox VE จึงเป็นโอเพนซอร สส าหรับจดัการ hyper-converged infrastructure
None Hyper-converged infrastructure
Hypervisor
Host OS
Physical Server
Guest OS
App
VM
Guest OS
App
VM
SAN NAS
DAS
Co
mp
ute
NetworkSto
rage
None Converged
Hypervisor
Host OS
Physical Server
Guest OS
App
VM
Guest OS
App
VM
SAN NAS
DAS
Co
mp
ute
NetworkSto
rage
None Converged
Hypervisor
Host OS
Physical Server
Guest OS
App
VM
Guest OS
App
VM
SAN NAS
DAS
Co
mp
ute
NetworkSto
rage
None Converged
Hyper-converged infrastructure
Hypervisor
Host OS
Physical Server
Guest OS
App
VM
Guest OS
App
VM
Virtual SAN
Virtual Network
Hyper Converged
Hypervisor
Host OS
Physical Server
Guest OS
App
VM
Guest OS
App
VM
Virtual SAN
Hyper Converged
Hypervisor
Host OS
Physical Server
Guest OS
App
VM
Guest OS
App
VM
Virtual SAN
Hyper Converged
Virtual Network Virtual Network
Hyper-Convergence
• Convergent infrastructure• Software defined network (Open vSwitch / Linux Bridge)• Software defined storage (Ceph)• Software defined server (KVM / LXC)
• All datacenter components are in one chassis.
Hyper-Convergence
Compute
Network
Storage
Proxmox VE(OVS/Linux Bridge,
Ceph, KVM/LXC)
Benefits of Hyper-Convergence
•Modern servers have plenty of power therefore hardware can be reduced•Cost reduction•More flexibility
Components• Proxmox Virtual Environment
• Management platform and high availability provider• KVM/Qemu
• Full virtualization solution for Linux• LXC
• Lightweight virtualization solution for Linux• Ceph
• Distributed software defined storage• Open vSwitch
• Software defined switch
Proxmox Virtual Environment (VE)
•Proxmox VE is a platform to run virtual machines and containers. It is based on Debian Linux, and completely open source. •Kernel-based Virtual Machine (KVM) •Container-based virtualization (LXC)
Proxmox Virtual Environment (VE)
Proxmox Virtual Environment (VE)
•Server virtualization management solution•Rest-API•Web-GUI and CLI•HA-Manager / Cluster-manager•User-management•Full integration and management of all components
KVM/QEMU
•Hardware emulation•Live migration•Storage-mirroring•Device pass-through
LXC
•Native host performance•Less virtualization overhead•Fast deployment•Linux emulation only
Ceph
•Self-healing / error-detection•Snapshots•Redundant•Online expandable / shrinkable pools•Offside backups (incremental)•Block-device / Object-store / File-system
Ceph Storage•Ceph Storage เป็น distributed storage ท่ีท างานบน computer cluster ประกอบไปดว้ย node 3 ประเภท คือ•Monitor ดูแลสถานะของ cluster•OSD (Object Storage Device) อ่านเขียน ขอ้มูลตามค าสัง่•MDS (Metadata Server) ดูแลสถานะของ file hierarchy
•Ceph Storage บน cluster แต่ละ node ท าหนา้ท่ีแตกต่างกนั เพื่อการบริหารจดัการท าไดส้ะดวก การท างานถูกกระจายออกไปตามความเหมาะสม ลดความเส่ียงจากความเสียหาย และท าใหก้ารขยายขนาดท าไดง่้าย
Ceph Network
Open vSwitch
•vlan support (802.1Q)•port mirroring•bonding nics with LACP•QoS•Geneve, GRE, VXLAN, STT, and LISP tunneling
Proxmox VE
Requirements for Hyper-Convergence• CPU
• For each disk use one CPU• Enough CPU’s for KVM and Ceph
• Memory• Each TB used disk needs at least 1GB RAM per node• Enough memory for KVM and Ceph
• Network• Separate networks for Ceph, public traffic of VM’s, and cluster communication
• Do not use consumer hardware but enterprise-class HW
Deploying Virtual Environment and Ceph Hyper-converged
pve1.campus.ac.th
pve2.campus.ac.th
pve3.campus.ac.th
Cluster Network
Ceph Network
Bridge
Netw
ork 10.4.6.242/24
10.4.6.241/24
10.4.6.243/24
Nic1 (enp0s3)
Nic2 (enp0s8)
Nic2 (enp0s8)
Nic2 (enp0s8)
Nic1 (enp0s3)
Nic1 (enp0s3)
192.168.56.101/24
192.168.56.102/24
192.168.56.103/24
Linkagg(bond0) = Nic3 (enp0s9) + Nic4 (enp0s10)
Linkagg (bond0)
Linkagg (bond0)
Linkagg (bond0)
192.168.57.101/24
192.168.57.102/24
192.168.57.103/24
Multi Node Virtual Environment and Ceph Hyper-converged
•Lab 1•Lab 2•Lab 3
Additional Steps on the Hyper-converged deployment
•Lab 4
Maintenance and Upgrading Resources
•https://pve.proxmox.com/pve-docs/•https://pve.proxmox.com/wiki/Ceph_Server•https://pve.proxmox.com/wiki/Hyper-converged_Infrastructure
Troubleshooting
•https://pve.proxmox.com/wiki/Category:Troubleshooting