Распределенные системы хранения данных, особенности...
description
Transcript of Распределенные системы хранения данных, особенности...
![Page 1: Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network](https://reader036.fdocuments.us/reader036/viewer/2022081720/5490601eb4795979048b47d9/html5/thumbnails/1.jpg)
Elliptics Network
Evgeniy Polyakov
<[email protected]><[email protected]>
Distributed hash table
Key/value storage
![Page 2: Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network](https://reader036.fdocuments.us/reader036/viewer/2022081720/5490601eb4795979048b47d9/html5/thumbnails/2.jpg)
How to handle huge dataset?
Can existing solutions scale?
![Page 3: Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network](https://reader036.fdocuments.us/reader036/viewer/2022081720/5490601eb4795979048b47d9/html5/thumbnails/3.jpg)
Existing solutions
![Page 4: Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network](https://reader036.fdocuments.us/reader036/viewer/2022081720/5490601eb4795979048b47d9/html5/thumbnails/4.jpg)
Distributed hash table
Consistent hashing
Map and routing table
![Page 5: Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network](https://reader036.fdocuments.us/reader036/viewer/2022081720/5490601eb4795979048b47d9/html5/thumbnails/5.jpg)
Elliptics network architecture
Frontend
Core
Backend
![Page 6: Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network](https://reader036.fdocuments.us/reader036/viewer/2022081720/5490601eb4795979048b47d9/html5/thumbnails/6.jpg)
Frontends
![Page 7: Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network](https://reader036.fdocuments.us/reader036/viewer/2022081720/5490601eb4795979048b47d9/html5/thumbnails/7.jpg)
Frontends: HTTP
![Page 8: Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network](https://reader036.fdocuments.us/reader036/viewer/2022081720/5490601eb4795979048b47d9/html5/thumbnails/8.jpg)
Frontends: bindings
![Page 9: Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network](https://reader036.fdocuments.us/reader036/viewer/2022081720/5490601eb4795979048b47d9/html5/thumbnails/9.jpg)
Frontends: command line
![Page 10: Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network](https://reader036.fdocuments.us/reader036/viewer/2022081720/5490601eb4795979048b47d9/html5/thumbnails/10.jpg)
Frontends: POHMELFS
![Page 11: Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network](https://reader036.fdocuments.us/reader036/viewer/2022081720/5490601eb4795979048b47d9/html5/thumbnails/11.jpg)
IO backends
![Page 12: Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network](https://reader036.fdocuments.us/reader036/viewer/2022081720/5490601eb4795979048b47d9/html5/thumbnails/12.jpg)
Eblob random read performance: SAS
● 2 sas shelves (14 disks raid10 each, ext4)
● 1 Tb of data
● ~ 100 millions of objects
● Eblob: 5000 rps
● Eblob: 3500 rps within 100 ms
● Eblob: 4000 rps witin 200 ms
● Filesystem: 600 rps within 200 ms
● Filesystem: 800 rps within 300 ms
FS contains about 30 millions of objects actually
![Page 13: Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network](https://reader036.fdocuments.us/reader036/viewer/2022081720/5490601eb4795979048b47d9/html5/thumbnails/13.jpg)
Eblob random read performance: SATA
● 2 sata raids (4-disks raid10 each, ext4)
● 370 Gb of data
● 30 millions of objects
● Eblob: 1000 rps
● Eblob: 900 rps within 100-150 ms
● Filesystem: 200 rps within 200 ms
![Page 14: Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network](https://reader036.fdocuments.us/reader036/viewer/2022081720/5490601eb4795979048b47d9/html5/thumbnails/14.jpg)
Elliptics network: core
![Page 15: Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network](https://reader036.fdocuments.us/reader036/viewer/2022081720/5490601eb4795979048b47d9/html5/thumbnails/15.jpg)
IO models
Write always succeed
Multiple copy reading
Eventual consistency
![Page 16: Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network](https://reader036.fdocuments.us/reader036/viewer/2022081720/5490601eb4795979048b47d9/html5/thumbnails/16.jpg)
Future plans
![Page 17: Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network](https://reader036.fdocuments.us/reader036/viewer/2022081720/5490601eb4795979048b47d9/html5/thumbnails/17.jpg)