团
Flink 核心组件原理多图剖析
一、Flink 整体架构Flink 集群整体遵循 Master ，Worker 这样的架构模式。JobManager 是管理节点，有以下几个职责： 接受 application，包...
Flink 的状态数据到底存到哪了？
之前看到群里好多同学提问：Flink 状态存在 heap 中，作业失败下次重启从 State 恢复，是不是数据就丢了？TM 本地状态恢复跟 Checkpoint 之间有什么关系？O...
团
Hive 千亿级数据倾斜解决方案
点击上方 "大数据肌肉猿"关注, 星标一起成长后台回复【加群】，进入高质量学习交流群2021年大数据肌肉猿公众号奖励制度数据倾斜问题剖析数据倾斜是分布式系统不可避免的问题，任何分布...
Java 中的 MySQL 时区问题
(Photo by Andrea Piacquadio from Pexels)话说工作十多年，mysql 还真没用几年。起初是外企银行，无法直接接触到 DB；后来一直从事架构方面...
数据一致性校验及数据同步，运维必看
主从数据不一致对DBA来说是一个比较头疼的事情，刚接触MySQL时，遇到这种问题我一般采用重新还原备库的方式恢复数据，这对我来说是个很痛苦的过程。今天就来介绍两款pt工具，通过这...
使用 MySQL 主主同步/ Redis 主从复制备份网站
对网站维护者来说，可用性和数据安全非常重要。自发生了一些安全事件后，本站准备了几台备用服务器，以便在出现网络攻击、服务器故障时切换使用。之前多台服务器间数据库一直使用全量同步，今天...
数据源管理：分布式 NoSQL 系统，Cassandra 集群管理
一、Cassandra简介 1、基础描述 Cassandra是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存收件箱等简单格式数据，此后，由于Cassan...
使用 Redis 做消息队列（一）
消息队列简介在一个解决方案中，引入消息队列的原因一般有下列几种：解耦。在生产者-消费者关系的系统中，任一方经常变动而另一方不想受到影响，则可以使用消息队列进行解耦。异步。在生产者-...
腾讯的这道面试题，我懵了：Redis 的 hashtable 是如何扩容的
腾讯面试官：说说Redis的哈希表是如何扩容的？ 面试者：what？额......，（我懵了！）这个我还没了解过，尬...。但我了解java里面的HashMap的扩容，我觉得应该有...
Redis 常见漏洞利用方法总结
Redis是什么？Redis是数据库的意思。Redis（Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于...
每个 Spark 工程师都应该知道的五种 Join 策略
数据分析中将两个数据集进行 Join 操作是很常见的场景。在 Spark 的物理计划（physical plan）阶段，Spark 的 JoinSelection 类会根据 Joi...
从源码说一说 Zookeeper 的 watcher 机制
我们可以使用 zookeeper 作为注册中心来实现服务的注册与发现，curator 框架提供了 curator-x-discovery 扩展实现了开箱即用的服务注册发现，但更多时...
团
有赞个性化推荐能力的演进与实践
日前，由又拍云举办的大数据与 AI 技术实践｜Open Talk 杭州站沙龙在杭州西溪科创园顺利举办。本次活动邀请了有赞、个推、方得智能、又拍云等公司核心技术开发者，现场分享各自领...
美团优选大数据开发岗面试真题（附答案详细解析）
进入主页，点击右上角“设为星标”比别人更快接收好文章此面试题来自牛客网友分享的美团优选一面，面试时长一小时。网友情况：海外水本，在某三线中厂工作2年。参考答案由本公众号提供。如有错...
团
只需五步，实现数据分析闭环
来源：接地气学堂很多做数据的同学，光看着自己写报告，看不到自己的建议被落地，常心怀缺憾。觉得不能像产品/运营那样，打造一个数据分析的闭环，能力也没法提升。其实这是一种误解。今天结...
我是如何把微服务的这个模式落地的：一个服务一个数据库模式（中）
从我接触微服务以来，迄今也得有五六年了。断断续续要么从零开始，要么中途接手，也经历了 5 套微服务项目了。从这些项目中的经验以及和同行交流来看，根据业务切分微服务的方法总的来说思路...
数据库拆分实战
前言对遗留系统的微服务化改造，从整体上来说，整个过程包含两个部分：一，通过某一种方法论将系统进行微服务划分，比如DDD倡导的限界上下文划分方法。根据系统的特点和运行状态，又分为具体...
团
