当前位置:首页 > 技术知识 > 正文内容

分布式存储架构详解(4大存储架构)

maynowei5个月前 (10-14)技术知识72

分布式是大型架构的基石,下面我重点详解分布式存储架构@mikechen

文章来源:mikechen.cc

分布式文件存储

分布式文件存储,是最核心的分布式存储形态,主要面向 文件读写场景

数据以文件形式存放在分布式节点上,对上层提供统一的文件系统视图。

最典型的代表,就是:HDFS(Hadoop Distributed File System)。

核心架构,如下图所示:

NameNode / Metadata Server:负责文件元数据(路径、大小、位置等)管理。

DataNode / Storage Node:存储实际文件数据块。

适合:海量文件存储、高吞吐量顺序读写、可扩展性好。


分布式对象存储

分布式对象存储:以“对象”为最小管理单元,数据和元数据一起存储。

分布式对象存储,将数据视为一个个独立的“对象”来管理,通过全局唯一的对象标识(ID)访问,常见的实现有:Ceph等。

通常采用去中心化的架构,没有单一的元数据管理节点,所有节点都可以处理请求。

适合:互联网应用、云存储、备份归档、CDN(内容分发网络)等。

尤其适合存储海量的图片、视频、日志等非结构化数据。


分布式块存储

以固定大小的块为单位,提供原始存储设备(类似磁盘分区),由上层文件系统或数据库直接管理。

客户端通过虚拟化层将这些块组合成块设备,提供类似硬盘的接口。

适用于需要高性能、低延迟的数据库、和虚拟机存储,典型实现有Ceph RBD等。


分布式键值存储

以键值对或列族为单位存储,强调低延迟、高并发读写。

典型代表有 Redis(内存 KV)、Cassandra、HBase、Dynamo、TiKV。

数据模型简单,数据被抽象为 Key 和 Value,没有复杂的关系或查询。

弹性扩展,依靠一致性哈希等算法,可以轻松地增加或减少节点,实现数据的自动迁移和负载均衡。

文章来源:mikechen.cc

相关文章

Axure教程:登录滑动拼图验证交互教学

滑动拼图是互联网一种新的验证形式,被广泛应用在各种网站的登录、注册、找回密码。用户可以不需要填写复杂的验证码,而是用鼠标去拖动滑块便能通过验证。下面为今日头条的滑动拼图验证,接下来将为大家讲解:一、界...

Win10系统除了移植Objective C,还要有Swift

IT之家讯Build2015大会最让人震惊的莫属微软推出工具,Win10系统可以移植安卓/iOS应用,特别是后者使用的Objective C编程语言,不过最新消息表明,微软连苹果最新的Swift移植也...

webview 渲染机制:硬件加速方式渲染的Android Web

webview 渲染是什么?webview 渲染是用于展现web页面的控件; webview 可以内嵌在移动端,实现前端的混合式开发,大多数混合式开发框架都是基于 webview 模式进行二次开发的w...

Navicat Premium 连接 Oracle 数据库

Navicat Premium是一个可多重连接的数据库管理工具,它可让你以单一程序同時连接到 MySQL、SQLite、Oracle 及 PostgreSQL 数据库,让管理不同类型的数据库更加方便。...

Java基础:反射机制(java反射机制使用场景)

一、基本概念主要是指程序可以访问、检测和修改它本身状态或行为的一种能力, 并能根据自身行为的状态和结果,调整或修改应用所描述行为的状态和相关的语义。Java 中,反射是一种强大的工具。它使您能够创建灵...

V-Ray反射光泽度渲染元素 - VRayMtlReflectGlossiness

本文提供有关反射光泽度渲染元素以及如何在合成中使用该元素的一些基本详细信息。概述反射光泽度渲染元素将图像的反射光泽度存储为灰度图像,该灰度图像表示为场景中材质设置的反射光泽度。白色区域反射光泽度最高,...