当前位置:首页 > 技术知识 > 正文内容

分布式存储架构详解(4大存储架构)

maynowei6个月前 (10-14)技术知识95

分布式是大型架构的基石,下面我重点详解分布式存储架构@mikechen

文章来源:mikechen.cc

分布式文件存储

分布式文件存储,是最核心的分布式存储形态,主要面向 文件读写场景

数据以文件形式存放在分布式节点上,对上层提供统一的文件系统视图。

最典型的代表,就是:HDFS(Hadoop Distributed File System)。

核心架构,如下图所示:

NameNode / Metadata Server:负责文件元数据(路径、大小、位置等)管理。

DataNode / Storage Node:存储实际文件数据块。

适合:海量文件存储、高吞吐量顺序读写、可扩展性好。


分布式对象存储

分布式对象存储:以“对象”为最小管理单元,数据和元数据一起存储。

分布式对象存储,将数据视为一个个独立的“对象”来管理,通过全局唯一的对象标识(ID)访问,常见的实现有:Ceph等。

通常采用去中心化的架构,没有单一的元数据管理节点,所有节点都可以处理请求。

适合:互联网应用、云存储、备份归档、CDN(内容分发网络)等。

尤其适合存储海量的图片、视频、日志等非结构化数据。


分布式块存储

以固定大小的块为单位,提供原始存储设备(类似磁盘分区),由上层文件系统或数据库直接管理。

客户端通过虚拟化层将这些块组合成块设备,提供类似硬盘的接口。

适用于需要高性能、低延迟的数据库、和虚拟机存储,典型实现有Ceph RBD等。


分布式键值存储

以键值对或列族为单位存储,强调低延迟、高并发读写。

典型代表有 Redis(内存 KV)、Cassandra、HBase、Dynamo、TiKV。

数据模型简单,数据被抽象为 Key 和 Value,没有复杂的关系或查询。

弹性扩展,依靠一致性哈希等算法,可以轻松地增加或减少节点,实现数据的自动迁移和负载均衡。

文章来源:mikechen.cc

相关文章

2018年度回顾:挖矿木马为什么会成为病毒木马黑产的中坚力量

一、概述根据腾讯御见威胁情报中心监测数据,2018年挖矿木马样本月产生数量在百万级别,且上半年呈现快速增长趋势,下半年上涨趋势有所减缓。由于挖矿的收益可以通过数字加密货币系统结算,使黑色产业变现链条十...

有了这份900多页的Android面试指南,你离大厂Offer还远吗?

前言对于大部分程序员来说,一线互联网是的工作经历是毕生的追求,实际上大厂对于学历的要求远远没有我们想象的那么高,近几年来,互联网公司更注重技术,所以提升自身技术水平才是斩获offer的制胜关键。一线互...

Django 官方推荐的姿势:类视图(django类视图和函数视图哪个好)

作者:HelloGitHub-追梦人物在开发网站的过程中,有一些视图函数虽然处理的对象不同,但是其大致的代码逻辑是一样的。比如一个博客和一个论坛,通常其首页都是展示一系列的文章列表或者帖子列表。对处理...

C++11 同步机制:互斥锁和条件变量

前段时间,我研究了 ROS2(Jazzy)机器人开发系统,并将官网中比较重要的教程和概念,按照自己的学习顺序翻译成了中文,进行了整理和记录。到目前为止,已经整理了20多篇文章。如果你想回顾之前的内容,...

Linux系统编程:条件变量为什么要用锁

条件变量可以解决线程同步和共享资源访问的问题,条件变量是对互斥锁的补充,它允许一个线程阻塞并等待另一个线程发送的信号,当收到信号时,阻塞的线程被唤醒并试图锁定与之相关的互斥锁。具体定义如下:等待:in...

一个快要被忘记的数据库开发岗位,但应该被尊重

数据库测试,似乎是被人遗忘的数据库职业,但依然是不错的选择。底下是我在某站找的招聘启事,就连蚂蚁金服都在积极寻找数据库测试人:要说我经历的项目,大大小小也有几十个,从 C/S, B/S, 再到 B/C...