当前位置:首页 > 技术知识 > 正文内容

分布式存储架构详解(4大存储架构)

maynowei5个月前 (10-14)技术知识67

分布式是大型架构的基石,下面我重点详解分布式存储架构@mikechen

文章来源:mikechen.cc

分布式文件存储

分布式文件存储,是最核心的分布式存储形态,主要面向 文件读写场景

数据以文件形式存放在分布式节点上,对上层提供统一的文件系统视图。

最典型的代表,就是:HDFS(Hadoop Distributed File System)。

核心架构,如下图所示:

NameNode / Metadata Server:负责文件元数据(路径、大小、位置等)管理。

DataNode / Storage Node:存储实际文件数据块。

适合:海量文件存储、高吞吐量顺序读写、可扩展性好。


分布式对象存储

分布式对象存储:以“对象”为最小管理单元,数据和元数据一起存储。

分布式对象存储,将数据视为一个个独立的“对象”来管理,通过全局唯一的对象标识(ID)访问,常见的实现有:Ceph等。

通常采用去中心化的架构,没有单一的元数据管理节点,所有节点都可以处理请求。

适合:互联网应用、云存储、备份归档、CDN(内容分发网络)等。

尤其适合存储海量的图片、视频、日志等非结构化数据。


分布式块存储

以固定大小的块为单位,提供原始存储设备(类似磁盘分区),由上层文件系统或数据库直接管理。

客户端通过虚拟化层将这些块组合成块设备,提供类似硬盘的接口。

适用于需要高性能、低延迟的数据库、和虚拟机存储,典型实现有Ceph RBD等。


分布式键值存储

以键值对或列族为单位存储,强调低延迟、高并发读写。

典型代表有 Redis(内存 KV)、Cassandra、HBase、Dynamo、TiKV。

数据模型简单,数据被抽象为 Key 和 Value,没有复杂的关系或查询。

弹性扩展,依靠一致性哈希等算法,可以轻松地增加或减少节点,实现数据的自动迁移和负载均衡。

文章来源:mikechen.cc

相关文章

高效办公,你值得拥有之原型工具AXURE篇

简介 Axure RP是美国Axure Software Solution公司旗舰产品,是一个专业的快速原型设计工具,让负责定义需求和规格、设计功能和界面的专家能够快速创建应用软件或Web网站的线框图...

伪装成抖音国际版Tiktok的短信蠕虫

概述近期监测到一款仿冒Tiktok的短信蠕虫,该短信蠕虫最明显的特点就是针对Android系统版本高于6.0以上的设备,由于Android版本的更新迭代,现在大部分设备已经更新到较高的版本,通过不完全...

Android监听滚动视图(监听页面滚动)

Android UI Libs之Android-ObservableScrollView1. 说明Android-ObservableScrollView,顾名思义,Android上观察滚动的视图,可...

CPU「离奇」飙到 100%!开发者挖出 Linux 内核 16 年老 Bug:这么多年竟无人发现?

【CSDN 编者按】每一次对旧设备的升级都仿佛是一场跨越时代的冒险。本文作者致力于将基于 PXA166 的 Chumby 8 设备从 Linux 2.6.28 版本升级到现代 6.x 版本,然而,在看...

C++并发同步核心-mutex深度解析:守护共享数据的关键

在多线程编程中,当多个线程需要访问和修改共享数据时,如果没有任何同步机制,就可能发生数据竞争(Data Race),导致程序行为不可预测、数据损坏甚至崩溃。C++标准库通过<mutex>头...

C++ 原子操作与锁的深度解析:为什么原子操作并非万金油?

大噶好,我是henry,今天来和大家浅浅聊一下为啥C++原子操作并非万能钥匙,原因有三,且听我娓娓道来:一、原子操作的线程安全性C++11 的 std::atomic 确实为单个变量的线程安全操作提供...