HDFS
HBase/HDFS 删除节点
线上有台服务器随时可能会挂掉，所以需要把在这个服务器上hbase的regionserver和hdfs的datanode节点移除。然后重新拿台新服务器部署接管。 之前在文章 http...
HDFS Block Replica Placement 实现原理
1. 背景Block Replica Placement——数据块复本存储策略，HDFS Namenode以此为依据选取数据块复本应存储至哪些HDFS Datanodes，策略的设...
团
团
团
Hadoop 源码学习笔记（二）：Hdfs 的启动流程分析
Hdfs 的基础架构Hdfs基础架构如上图所示。 默认情况下，Hdfs由一个Namenode和多个DataNode组成。hdfs作为一个分布式文件存储系统，他的文件路径和文件内容是...
Hadoop 源码学习笔记（四）：Hdfs 数据读写流程分析
Hdfs 的数据模型在对读写流程进行分析之前，我们需要先对 Hdfs 的数据模型有一个简单的认知。数据模型如上图所示，在 NameNode 中有一个唯一的 FSDirectory ...
Hadoop 源码学习笔记（五）：Hdfs 之 BlockManager 解析
之前的章节说过 FSDirectory 中记录了所有的文件节点信息，而具体的文件内容则被分布式的存储在各个 DataNode 上。尽管通过 FSDirectory 我们能够知道每个...
大数据集群高可用之 hdfs
hdfs如何保证高可用 从上图中我们可以看到，启动的时候，主备选举是利用 zookeeper 来实现的， hdfs namenode节点上的 ZKFailoverControll...
HDFS 架构学习总结
HDFS（Hadoop Distributed File System）是一个分布式文件存储系统，几乎是离线存储领域的标准解决方案（有能力自研的大厂列外），业内应用非常广泛。近段抽...
[译] HDFS 高可用性介绍
背景 在hadoop2.0.0之前，HDFS集群中存在NameNode单点故障的问题，只要集群中一个NameNode不可用时，整个cluster将不可用，直到nameNode被重启...
记一次 HDFS NameNode GC 调优
没有碰到过 GC 问题的人生对写 Java 的人来说是不完整的。大数据生态圈的框架大都以 JVM 系语言开发（Java Scala 为主），毕竟生态成熟嘛要啥有啥。HDFS 作为大...
一篇文章搞懂 HDFS 权限管理
小米的HDFS承载了公司内多个部门几十条业务线的几十PB数据，这些数据有些是安全级别非常高的用户隐私数据，也有被广泛被多个业务线使用的基础数据，不同的业务之间有着复杂的数据依赖。因...
团
浅析 HDFS 基本原理
随着互联网的发展，数据日益增多，增长超过了单机能够处理的上线，数据如何存储和处理成为了科技公司的难题，随着google的三篇论文的发布，大家终于找到了一个方案-分布式文件系统+Ma...
HDFS 监控运维最佳实践
本文转自 | 京东云 本期作者：李子树 京东云 应用研发部 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系...
Logstash 读取 Kafka 数据写入 HDFS 详解
强大的功能，丰富的插件，让logstash在数据处理的行列中出类拔萃通常日志数据除了要入ES提供实时展示和简单统计外，还需要写入大数据集群来提供更为深入的逻辑处理，前边几篇ELK的...
唯品会 HDFS 性能挑战和优化实践
本文以唯品会HDFS实际应用场景和问题导向触发，介绍了优化方案的局限性，分享了这些局限性的解决和实施经验。这对于技术运营较大规模的HDFS集群有一定借鉴意义。 性能挑战01HDFS...
HDFS Decommission 问题分析
本文通过更改配置及数据结构改造，快速解决HDFS Decommission缓慢问题。上篇文章回顾：记一次Open-Falcon-Graph频繁OOM问题排查//背景//c3prc-...
HDFS 短路读详解
本文介绍了HDFS的短路读演进、安全的短路读以及小米在安全短路读的优化。上篇文章回顾：HDFS Decommission问题分析背景Hadoop的一个重要思想就是移动计算，而不是移...
团
