研发过程中的文档管理与工具
写文档也是技术活01：实践对于多数开发同学来说，很多时候即讨厌没有研发文档，但是自己又不愿意常写文档，痛且倔强着；程序员该不该写文档，与争论哪种编程语言最好一样，想撕的嘴不留情，该...
微服务架构中，二次浅封装实践
一、背景简介 分布式系统中存在很多拆分的服务，在不断迭代升级的过程中，会出现如下常见的棘手情况：某个技术组件版本升级，依赖包升级导致部分语法或者API过期，或者组件修复紧急的漏洞，...
CDP 客户数据管理平台体系化搭建
一、Cdp系统简介1、基本概念 客户数据平台(Customer-Data-Platform)，简称CDP；通过采集多方客户数据(主体与线索)等，从而进行精准的客户分析和人群细分，进...
数据服务基础能力之元数据管理
一、业务背景1、应用场景 在多变的数据服务场景中，应用中常见如下的业务需求，通过对多种数据结构的灵活组合，快速实现业务模型构建，整体示意图如下：像常用的画图工具，左边提供基础图形库...
分布式服务下，消息中间件改造
一、背景简介 在系统开发初期，很容易出现这样一种情况：不同业务线上开发人员，因为技术栈和版本时间的影响，在选型的时候会优先使用自己熟悉的，例如MQ中间件常用的：Kafka、Rock...
理解 Java 中对象基础 Object 类
一、Object简述 源码注释：Object类是所有类层级关系的Root节点，作为所有类的超类，包括数组也实现了该类的方法，注意这里说的很明确，指类层面。所以在Java中有一句常说...
Java 进阶：从整体上观察面向对象
一、面向对象 面向对象是Java编程中最核心的思想，基本特征：继承、封装、多态。1、特征之封装 将结构、数据、操作封装在对象实体中，使用时可以不关注对象内部结构，只能访问开放权限的...
Java 进阶：IO 流核心模块与基本原理
一、IO流与系统IO技术在JDK中算是极其复杂的模块，其复杂的一个关键原因就是IO操作和系统内核的关联性，另外网络编程，文件管理都依赖IO技术，而且都是编程的难点，想要整体理解IO...
Java 进阶：Proxy 动态代理机制详解
一、Jvm加载对象 在说Java动态代理之前，还是要说一下Jvm加载对象的过程，这个依旧是理解动态代理的基础性原理： Java类即源代码程序.java类型文件，经过编译器编译之后就...
Java 进阶：泛型机制与反射原理
一、泛型的概念 1、基础案例 泛型在Java中的应用非常广泛，最常见则是在集合容器中，先看下基础用法：public class Generic01 { public stat...
Spring Boot 2 参数管理实践，入参出参与校验
一、参数管理 在编程系统中，为了能写出良好的代码，会根据是各种设计模式、原则、约束等去规范代码，从而提高代码的可读性、复用性、可修改，实际上个人觉得，如果写出的代码很好，即别人修改...
数据管理：业务数据清洗，落地实现方案
一、业务背景 在系统业务开发的过程中，都会面临这样一个问题：面对业务的快速扩展，很多版本在当时没有时间去全局考虑，导致很多业务数据存储和管理并不规范，例如常见的问题：地址采取输入的...
Spring Boot 2 集成测试组件，七种测试手段对比
一、背景描述在版本开发中，时间段大致的划分为：需求，开发，测试；需求阶段：理解需求做好接口设计；开发阶段：完成功能开发和对接；测试上线：自测，提测，修复，上线；实际上开发阶段两个核...
Java 容器：基于源码分析 Map 集合体系
一、容器之Map集合集合体系的源码中，Map中的HashMap的设计堪称最经典，涉及数据结构、编程思想、哈希计算等等，在日常开发中对于一些源码的思想进行参考借鉴还是很有必要的。基础...
Java 容器：基于源码分析 List 集合体系
一、容器之List集合 List集合体系应该是日常开发中最常用的API，而且通常是作为面试压轴问题（JVM、集合、并发），集合这块代码的整体设计也是融合很多编程思想，对于程序员来说...
实时计算框架：Flink 集群搭建与运行机制
一、Flink概述1、基础简介Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行...
实时计算框架：Spark 集群搭建与入门案例
一、Spark概述1、Spark简介Spark是专为大规模数据处理而设计的，基于内存快速通用,可扩展的集群计算引擎，实现了高效的DAG执行引擎,可以通过基于内存来高效处理数据流，运...
OLAP 引擎：基于 Presto 组件进行跨数据源分析
一、Presto概述1、Presto简介Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节，Presto虽然具备解析SQL的能力，但它并不...
互联网：逻辑上的黑话才是真正的花里胡哨
互联网上的道理听着都对。01 最近这段时间，张一鸣年会发言火了，最大的亮点就是他读的一段互联网的常用"黑话": 这段内容出自其公司月会材料，被张一鸣放在年会发言，并顺带批评一波这些...
OLAP 分析引擎，基于 Druid 组件数据统计分析
一、Druid概述1、Druid简介Druid是一款基于分布式架构的OLAP引擎，支持数据写入、低延时、高性能的数据分析，具有优秀的数据聚合能力与实时查询能力。在大数据分析、实时计...
数据调度组件：基于 Azkaban 协调时序任务执行
一、Azkaban概述 1、任务时序 在数据服务的业务场景中，很常见的业务流程就是日志文件经过大数据分析，再向业务输出结果数据；在该过程中会有很多任务需要执行，并且很难精准把握任务...
职场：工作五年之后，对技术和业务的思考
苦海无边，回头无岸。01 晃晃悠悠的，在互联网行业工作了五年，默然回首，你看哪里像灯火阑珊处？初入职场，大部分程序员会觉得苦学技术，以后会顺风顺水升职加薪，这样的想法没有错，但是不...
数据搬运组件：基于 Sqoop 管理数据导入和导出
一、Sqoop概述 Sqoop是一款开源的大数据组件，主要用来在Hadoop(Hive、HBase等)与传统的数据库(mysql、postgresql、oracle等)间进行数据的...
Java 基础：函数式编程概念和 API 应用
一、函数式概念函数式编程是一种结构化编程的范式，主要思想是把运算过程尽量写成系列嵌套的函数调用。函数编程的概念表述带有很抽象的感觉，可以基于案例看：public class Fun...