一文读懂 Hadoop、HBase、Hive、Spark 分布式系统架构
机器学习、数据挖掘等各种大数据处理都离不开各种开源分布式系统，hadoop用于分布式存储和map-reduce计算，spark用于分布式机器学习，hive是分布式数据库，hbase...
终于有人把云计算、大数据和人工智能讲明白了
这篇文章发在博客上https://www.cnblogs.com/popsuper1982/p/8505203.html，后来转到DBAplus社群，没想到竟然火了一把，再转回来给...
爬下 27 万共享单车数据，聊聊单车上的魔都
单车公司的各路消息变成贫瘠的融资圈最绚丽的新闻，不时刷着我的朋友圈，公司门口出了2个共享单车停放点，上班的路一夜间也被共享单车染成了红黄色。变化来的太突然，后知后觉的我注册了几个单...
如何轻松爬取网页数据？
一、引言 在实际工作中，难免会遇到从网页爬取数据信息的需求，如：从微软官网上爬取最新发布的系统版本。很明显这是个网页爬虫的工作，所谓网页爬虫，就是需要模拟浏览器，向网络服务器发送请...
[译] 面向程序员的数据挖掘指南
作者：Ron Zacharski 欢迎辞 这是一本用于学习基本数据挖掘知识的书籍。大部分关于数据挖掘的书籍都着重于讲解理论知识，难以理解，让人望而却步。不要误会，这些理论知识还是非...
单表 60 亿记录等大数据场景的 MySQL 优化和运维之道
此文是根据杨尚刚在【QCON高可用架构群】中，针对MySQL在单表海量记录等场景下，业界广泛关注的MySQL问题的经验分享整理而成，转发请注明出处。杨尚刚，美图公司数据库高级DBA...
同步 MySQL 数据到 Elasticsearch
在加入 PingCAP 之前，很长一段时间，我都跟 MySQL 打交道。MySQL 性能强悍，但是在一些全文检索，复杂查询上面并不快，效率堪忧。为了解决快速查的问题，我们之前尝试考...
机器学习常见算法个人总结（面试用）
这个总结最初是写在本地的MacDown中的，他的markdown语法解析与hexo的略微有点差异，懒得改了-_-，忍着点看..朴素贝叶斯P(A∩B)=P(A)*P(B|A)=P(B...
大数据技能图谱
下面是 StuQ 发布的大数据技能图谱，比较实用，供参考大数据处理框架 Spark- RDD- Spark SQL- Spark Streaming- MLLibHadoop- H...
基于 Redis 构建数据服务
本以为上次11天没更已经够慢，没想到这次有13天（捂脸。最近实在是业务忙，没了刚开订阅号时两三天码一篇的闲情逸致。本篇的话题继续回到数据服务。小说君之前写过一篇文章关于数据服务：「...
写给大数据开发初学者的话
导读：第一章：初识Hadoop第二章：更高效的WordCount第三章：把别处的数据搞到Hadoop上第四章：把Hadoop上的数据搞到别处去第五章：快一点吧，我的SQL第六章：一...
一个大数据屌丝的一天
马克思说过：资本家是靠剥削剩余价值来获取利润的。这句话在今天有了新的含义，因为在大数据时代，人最可宝贵的已经不再是劳动时间，也不是贞节牌坊，而是——你身上产生的数据。无数的互联网巨...
如何在半小时搭建一个简单的日志分析平台？
人们常常说数据如金，可是，能被利用起的数据，才是“金”。而互联网的数据，常常以日志的媒介的形式存在，并需要从中提取其中的"数据"。从这些数据中，我们可以做用户画像（每个用户都点了什...
资深架构师教你一篇文看懂 Hadoop
作者:陈 飚“昔我十年前，与君始相识” 一瞬间Hadoop也到了要初中择校的年龄了。十年前还没有Hadoop，几年前国内IT圈里还不知道什么是Hadoop，而现在几乎所有大型企业的...
Hadoop 生态圈技术图谱
当下Hadoop已经成长为一个庞大的体系，貌似只要和海量数据相关的，没有哪个领域缺少Hadoop的身影，下面是一个Hadoop生态系统的图谱，详细的列举了在Hadoop这个生态系统...
去分库分表的亿级数据 NewSQL 实践之旅
作者介绍 陶政，游族网络平台部MySQL DBA负责人。曾任同程旅游系统架构组DBA，现负责游族网络数据库整体的运维规划和设计。熟悉各类业务的数据库设计、缓存设计、离线数据分析等解...
MySQL 如何存储大数据
最近，在工作中遇到了MySQL中如何存储长度较长的字段类型问题，于是花了一周多的时间抽空学习了一下，并且记录下来。MySQL大致的逻辑存储结构在这篇文章中有介绍，做为基本概念：In...
支付宝发布数据可视化规范，可视化分析有套路！
早先，阿里发布了支付宝数据可视化规范，这是一套数据可视化的设计语言，对数据图形进行了拆解、提炼，从色彩搭配、组件规范、基础元素、功能上进行了归纳总结。图表用色 图表用色上，提出了一...
Kafka 深度解析（2015）
原创文章，转载请务必将下面这段话置于文章开头处。本文转发自Jason’s Blog，原文链接 http://www.jasongj.com/2015/01/02/Kafka深度解析...