基于 Kubernetes 实现的大数据采集与存储实践总结
一、前言 近来我司部门内部搭建的电商大数据平台一期工程进入了尾声工作，不仅在技术上短期内从零到一搭建起属于团队的大数据平台，而且在业务上可以满足多方诉求。笔者很有幸参与到其中的建设...
万字详解整个数据仓库建设体系
进入主页，点击右上角“设为星标” 比别人更快接收好文章 数据仓库的基本概念 数据仓库概念:英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析...
MySQL 查询性能优化前，必须先掌握 MySQL 索引理论
欢迎关注公众号【Ccww技术博客】，原创技术文章第一时间推出越努力，越幸运，本文已收藏在GitHub中JavaCommunity, 里面有面试分享、源码分析系列文章，欢迎收藏，点赞...
一个 MySQL 锁和面试官大战三十回合，我霸中霸
我，小Y。又来面试了，还是之前那家公司，即将和之前那个老面试官进行第二次 battle，心情还是xue微有点忐忑。没看过第一次 battle 的同学可以看这里，一个MVCC和面试官...
基于 Redis 的分布式锁和 Redlock 算法
写点不一样的大白的第41篇原创文章1 前言前面写了4篇Redis底层实现和工程架构相关文章，感兴趣的读者可以回顾一下：Redis面试热点之底层实现篇-1Redis面试热点之底层实现...
徒手用 Go 写个 Redis 服务器
作者：HDT3213 今天给大家带来的开源项目是 Godis：一个用 Go 语言实现的 Redis 服务器。支持：5 种数据结构（string、list、hash、set、sor...
三万字，Spark 学习笔记
Spark 基础 Spark特性 Spark使用简练优雅的Scala语言编写，基于Scala提供了交互式编程体验，同时提供多种方便易用的API。Spark遵循“一个软件栈满足不同...
Redis 集群搭建采坑总结
背景 先澄清一下，整个过程问题都不是我解决的，我在里面就是起了个打酱油的角色。因为实际上我负责这个项目，整个过程也比较清楚。之前也跟具体负责的同事说过，等过段时间带他做做项目复盘。...
面试被吊打：Redis 原理
小张兴冲冲去面试，结果被面试官吊打！ 小张：面试官，你好。我是来参加面试的。面试官：你好，小张。我看了你的简历，熟练掌握Redis，那么我就随便问你几个Redis相关的问题吧。首先...
年轻人不讲武德，乱用索引，你到底走了多少弯路？
前言 继上一篇《explain | 索引优化的这把绝世好剑，你真的会用吗？》之后，本篇是索引相关的第2篇文章。上一篇重点介绍的是使用explain执行计划查看索引执行情况，以便于快...
Redis 6.0 解密（一）：Thread/IO 多线程
一、背景目前快手有70w+的Redis实例，在线上的Redis集群，我们经常会碰到以下的一些情况：（1） 由于键值设计不合理或者业务特性导致的热点问题（集群整体QPS不高，但是集群...
团
高并发服务遇 Redis 瓶颈引发的事故
元旦期间订单业务线告知推送系统无法正常收发消息，作为推送系统维护者的我正外面潇洒，无法第一时间回去，直接让 ops 帮忙重启服务，一切好了起来，重启果然是个大杀器。由于推送系统本身...
一文理解 Redis 底层数据结构
Redis的5种常见数据结构：字符串(String)、列表(List)、散列(Hash)、集合(Set)、有序集合(Sorted Set)。这些都是Redis对外暴露的数据结构，本...
两次被裁之后，我终于解决了数据库缓存一致性问题
一我是一名毕业两年的程序员。算上实习，工作三年了，正是一个程序员的黄金时代，这让我普通而自信。但是从实习期，我就被辞退两次了。今天是我的又一场面试，而且是大厂面试。我要一洗前耻，证...
团
为什么数据库不应该使用外键
当我们想要持久化地存储数据时，使用关系型数据库往往都是最稳妥的选择，这不仅因为今天的关系型数据库种类非常丰富并且稳定，还因为不同社区对关系型数据库的支持都非常完备。我们在前面的文章...
团
深入剖析 Redis 高可用系列：持久化 AOF 和 RDB
免费视频福利推荐：2T学习视频教程+电子书 免费送：BAT面试精讲视频，亿级流量秒杀系统，分布式系统架构，中间件消息队列，Python Go入门到精通，Java实战项目，Linux...
MySQL 的死锁系列：锁的类型以及加锁原理
点击上方"程序员历小冰"，选择“置顶或者星标” 你的关注意义重大! 疫情期间在家工作时，同事使用了 insert into on duplicate key update 语句进...
性能提高 15 倍！只是把 MySQL 换成了 ClickHouse
简介我们需要存储结构化时序数据，时间间隔为5分钟或1分钟，计算95峰值、995峰值、最值等指标，并且在网页中展示。MySQL项目开发初期，为了快速开发原型，验证产品，我们使用MyS...
MySQL 的 join 功能弱爆了？
点击上方"程序员历小冰"，选择“置顶或者星标” 你的关注意义重大! 大家好，我是历小冰，今天我们来学习和吐槽一下 MySQL 的 Join 功能。 关于MySQL 的 join，...
Redis 集群搭建很 easy
前言 哨兵模式虽然让读写分离更加高可用，但单台服务器由于本身的内存和CPU瓶颈，对于高并发和大数据业务的应用场景还是远远不能满足；对于这种情况，有点经验的小伙伴会毫不犹豫的想到集...
辨析数仓、大数据、数据中台的实质（内附 21 张架构图）
⬆️点击上图跳转：阿里大数据建设OneData体系架构.ppt 关于数仓、数据集市、数据湖、大数据平台以及数据中台，看到一篇从事21年的大佬写的文章分享，将这几者的本质和区别，结...
