当前位置:首页 > 技术知识 > 正文内容

分布式存储架构详解(4大存储架构)

maynowei7个月前 (10-14)技术知识109

分布式是大型架构的基石,下面我重点详解分布式存储架构@mikechen

文章来源:mikechen.cc

分布式文件存储

分布式文件存储,是最核心的分布式存储形态,主要面向 文件读写场景

数据以文件形式存放在分布式节点上,对上层提供统一的文件系统视图。

最典型的代表,就是:HDFS(Hadoop Distributed File System)。

核心架构,如下图所示:

NameNode / Metadata Server:负责文件元数据(路径、大小、位置等)管理。

DataNode / Storage Node:存储实际文件数据块。

适合:海量文件存储、高吞吐量顺序读写、可扩展性好。


分布式对象存储

分布式对象存储:以“对象”为最小管理单元,数据和元数据一起存储。

分布式对象存储,将数据视为一个个独立的“对象”来管理,通过全局唯一的对象标识(ID)访问,常见的实现有:Ceph等。

通常采用去中心化的架构,没有单一的元数据管理节点,所有节点都可以处理请求。

适合:互联网应用、云存储、备份归档、CDN(内容分发网络)等。

尤其适合存储海量的图片、视频、日志等非结构化数据。


分布式块存储

以固定大小的块为单位,提供原始存储设备(类似磁盘分区),由上层文件系统或数据库直接管理。

客户端通过虚拟化层将这些块组合成块设备,提供类似硬盘的接口。

适用于需要高性能、低延迟的数据库、和虚拟机存储,典型实现有Ceph RBD等。


分布式键值存储

以键值对或列族为单位存储,强调低延迟、高并发读写。

典型代表有 Redis(内存 KV)、Cassandra、HBase、Dynamo、TiKV。

数据模型简单,数据被抽象为 Key 和 Value,没有复杂的关系或查询。

弹性扩展,依靠一致性哈希等算法,可以轻松地增加或减少节点,实现数据的自动迁移和负载均衡。

文章来源:mikechen.cc

相关文章

事半功倍 轻松制作可交互移动原型

写在前面先讲个场景,看看有多少人躺枪,你在一个没有专职的交互设计师的公司做客户端的产品,基本上产品和交互的活儿你全承包了,当你准备好一切需要向领导和项目团队一起讲新版本的设计:做过WEB产品的老手,或...

Objective-c单例模式的正确写法「藏」

单例模式在iOS开发中可能算是最常用的模式之一了,但是由于oc本身的语言特性,想要写一个正确的单例模式相对来说比较麻烦,这里我就抛砖引玉来聊一聊iOS中单例模式的设计思路。关于单例模式更多的介绍请参考...

不需安装oracleclient连接oracle数据库方案

在Oracle官方发布ODP.net之前,我们通常使用微软的System.data.OracleClient进行Oracle数据库操作,它的缺点是必须要装Oracle客户端OracleClient,如...

PL/SQL Developer连接Oracle数据库详解

序言:oracle数据库比较难搞,好不容易安装上了,但是怎么连接呢,直接在服务器里用自带的命令行操作太繁琐,所以PL/SQL Developer客户端的好处就显而易见了,今天和大家聊聊客户端具体配置方...

Google前工程主管“入住”Oracle(google公司前台)

ZDNet至顶网服务器频道 10月11日 新闻消息:Oracle 已聘用了前 Snapchat 和 Google 工程部主管 Peter Magnusson,其主要的职责是运行一个被重新调整过的 of...

Oracle 11g安装教程完整版(oracle 11g 安装教程)

由于工作需要,将安装的经验分享给大家。第一步:首先准备安装文件包:Oralce 11.2.0.4 64bit和plsqldev1405x64如图所示:第二步:将2个文件解压到同一个目录,如图所示:第三...