16

字节跳动数据血缘图谱升级方案设计与实现

数据地图平台是字节跳动内部的大数据检索平台，每天近万的字节员工在此查找所需数据。数据地图通过提供便捷的找数，理解数服务，大大节省了内部数据的沟通和建设成本。 血缘图谱由 xGra...

mp.weixin.qq.com 0
大数据生态
36

中台经验谈：从京东、阿里到科蒂

“ 本文根据 42章经 线下中台主题闭门分享会内容整理而来。 钟秋阳，2018 年 10 月至今任职于全球最大香水、彩妆巨头公司科蒂集团，负责技术和数据应用体系的搭建，之前在阿...

mp.weixin.qq.com 0
程序员的朋友圈
19

美团外卖美食知识图谱的迭代及应用

总第451篇2021年 第021篇菜品是外卖交易过程的核心要素，对菜品的理解也是实现外卖供需匹配的重点。今天我们将一次推送三篇文章，系统地介绍了美团外卖美食知识图谱的构建和应用。《...

mp.weixin.qq.com 0
美团技术团队
26

美团酒旅数据治理实践

总第445篇 2021年 第015篇 数据已成为很多公司的核心资产，而在数据开发的过程中会引入各种质量、效率、安全等方面的问题，而数据治理就是要不断消除引入的这些问题，保障数据...

mp.weixin.qq.com 0
美团技术团队
34

数据管理：业务数据清洗，落地实现方案

一、业务背景 在系统业务开发的过程中，都会面临这样一个问题：面对业务的快速扩展，很多版本在当时没有时间去全局考虑，导致很多业务数据存储和管理并不规范，例如常见的问题：地址采取输入的...

mp.weixin.qq.com 0
知了一笑
20

Apache Flink 在 bilibili 的多元化探索与实践

摘要：本文由 bilibili 大数据实时平台负责人郑志升分享，本次分享核心讲解万亿级传输分发架构的落地，以及 AI 领域如何基于 Flink 打造一套完善的预处理实时 Pipel...

mp.weixin.qq.com 0
大数据生态
22

什么是电商 API？这是它能给电商开发人员带来 12 种好处

随着诸如物联网（IoT），人工智能（AI），增强现实/虚拟现实（AR / VR）以及区块链等技术的兴起，电商行业也因此受益良多。在与电商相关的数十种技术中，有一种可以将所有行业发展...

toutiao.io 0
物流和电商SaaS内容分享
126

用户画像的基础、原理、方法论（模型）和应用

用户画像（User Profile）的本质是用户需求描述，一种刻画用户需求的模型。用户画像在推荐系统、广告系统、商业分析、数据分析、用户增长、用户研究、产品设计、数据化运营、精准营...

zhuanlan.zhihu.com 0
数据智能
58

Kafka：这次分享我只想把原理讲清楚

前言:1.由来为什么使用消息队列？从系统之间有通信需求开始，就自然产生了消息队列。在计算机科学中，消息队列（英语：Message queue）是一种进程间通信或同一进程的不同线程间...

mp.weixin.qq.com 0
bugcoder
53

谈谈 Kubernetes 的问题和局限性

2014 年发布的 Kubernetes 在今天俨然已成为容器编排领域的事实标准，相信谈到 Kubernetes 的开发者都会一再复述上述现象。如下图所示，今天的大多数个人或者团队...

draveness.me 0
面向信仰编程
28

贝壳 OLAP 平台架构演进

分享嘉宾：肖赞 贝壳 资深工程师 编辑整理：赵冬生 出品平台：DataFunTalk 导读：随着大数据的持续发展及数字化转型的兴起，大数据OLAP分析需求越来越迫切，不论是大型互...

mp.weixin.qq.com 0
大数据生态
33

数仓规范篇（一）：命名规范

一、通用命名规范1、目前主流的命名方法大体分类：大驼峰命名法 (camelCase) 和小驼峰命名法 (snake_case)，本规范要求使用小驼峰命名法 (snake_case)...

studytime.xin 0
白程序员的自习室
37

[译] ClickHouse 在日志存储与分析方面作为 ElasticSearch 和 MySQL 的替代方案

2018年，我写过一篇关于Clickhouse的文章，这段内容在互联网上仍然很流行，甚至被多次翻译。现在已经过去两年多，同时 Clickhouse 的开发节奏仍然活跃: 上个月有 ...

mp.weixin.qq.com 1
雨后天空的独家号
29

网易云音乐数仓维度建模实践：模型设计篇

数仓模型架构搭建、模型设计是整个数仓建设的核心部分。数仓建模的价值体现在：数据质量、健壮水平、资源消耗、服务响应速度。 写在前面：我们为什么要建模 这里想先说下，这些年我在数仓摸爬...

mp.weixin.qq.com 0
元宇宙
43

数仓已死？数据湖当立

前言前两天，我详细剖析了一下这两天脉脉上很火的数据建模帖子。指出来帖子里百度小哥“只见宽表不见建模”的核心原因是整个数据圈的核心逻辑变了。 然后就引起了建模群里一帮人在疯狂吐槽。 ...

mp.weixin.qq.com 0
大数据架构师
13

CRM 数据质量怎么控？来，全球 500 强的经验分享给你

前言刚夸完梅森同学，他就过来烦我了，让我回想当年在 arvato 的时候遇到的 CRM 数据质量问题，他要写方案。这人都有！各位，你见过离职7、8年后还来找你事儿的同事么？不过看在...

mp.weixin.qq.com 0
大数据架构师
19

实时数据聚合怎么破

作者简介 数据猩猩，携程数据分析总监，关注分布式数据存储和实时数据分析。实时数据分析一直是个热门话题，需要实时数据分析的场景也越来越多，如金融支付中的风控，基础运维中的监控告警...

mp.weixin.qq.com 0
携程技术中心
135

浅谈分库分表那些事儿

本文适合：需要从单库单表改造为多库多表的新手。本文主要阐述在分库分表改造过程中需要考虑的因素以及对应的解法，还有踩过的那些坑。一  前言我们既然要做分库分表，那总要有个做事的动机...

mp.weixin.qq.com 1
Bloomingroses
22

如何解决大分页查询问题？

在分析如何解决大分页问题之前，首先要明确什么是大分页？大分页也就是分页查询场景中，分页page比较靠后的查询，这往往会带来性能问题，也就是常说的大分页问题，比如常见的SQLSEL...

mp.weixin.qq.com 0
ToBeTopCoder
97

21 大软件架构特点的全面解析

作者 | sergiuoltean策划 | 万佳众所周知，架构特点多以"ility"结尾（例如 scalability、deployability），也被称为 NFR（非功能需求...

mp.weixin.qq.com 0
架构之美
35

设计模式：基于容器的分布式系统

20 世纪 80 年代末至 90 年代初，面向对象编程思想给软件开发带来了一轮技术革新，就像润物细无声的春雨那般，向全世界的程序员们快速普及了模块化构建应用程序的方法，一直流行至今...

mp.weixin.qq.com 0
老胡的储物柜
123

8 张图带你了解大型应用架构演进历程

前言 几乎所有的大型应用都是从一个小应用开始的，好的互联网产品是慢慢运营出来的，不是一开始就开发好的，所以本篇我们来聊聊应用架构的演进历程。如何打造一个高可用，高性能，易扩展的应用...

mp.weixin.qq.com 0
贝塔学Java
29

聊一聊设计模式究竟是什么

大家好，我是流沙。设计模式是每个程序员都会经常接触到的东西，但是相信很多人对于设计模式究竟是什么还会有些疑问。所以，我们今天就聊聊这个，主要目标是帮大家理解设计模式的作用，以及要用...

mp.weixin.qq.com 0
wilde fox
14

美团外卖流量数据的采集加工和应用

分享嘉宾：马骧 美团外卖 技术专家编辑整理：史士博出品平台：DataFunTalk导读：本文介绍了美团外卖流量数据采集、流量数仓的建设以及典型的流量数据应用，其中重点介绍了流量数仓...

mp.weixin.qq.com 0
NewerBeAlone的独家号
29

京东 EB 级全域大数据平台的演进与治理历程

本文根据包勇军老师在〖2020 DAMS中国数据智能管理峰会〗现场演讲内容整理而成。（点击文末“阅读原文”可获取完整PPT）讲师介绍包勇军，目前在京东任职数据基础平台部、广告质量部...

mp.weixin.qq.com 0
dotnet
22

Hive 调优，数据工程师成神之路

1前言 毫不夸张的说，有没有掌握hive调优，是判断一个数据工程师是否合格的重要指标 hive调优涉及到压缩和存储调优，参数调优，sql的调优，数据倾斜调优，小文件问...

mp.weixin.qq.com 0
进击的程序猿
41

Redis 速度快的原因：几点图解总结

作为一名服务端工程师，工作中你肯定和 Redis 打过交道。Redis 为什么快，这点想必你也知道，至少为了面试也做过准备。很多人知道 Redis 快仅仅因为它是基于内存实现的，对...

mp.weixin.qq.com 0
服务架构
22

Presto 在大数据领域的实践和探索

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源这是《大数据技术与架构》2021年第8篇原创文章小编在去年的时候，写过一篇轰动全网的文章《你需要的不是实时数仓 | 你需要...

mp.weixin.qq.com 0
大数据生态
29

关于大数据的完整讲解

↑↑↑关注后"星标"Datawhale每日干货 & 每月组队学习，不错过 Datawhale干货 作者：牧小熊，华中农业大学，Datawhale原创作者1.什么是大数据1.1 大数...

mp.weixin.qq.com 0
元宇宙
17

数据仓库项目中的数据建模和 ETL 日志体系

前言对于一个软件来说，分为功能需求和跨功能需求（Cross-Functional Requirements, CFR）。功能需求，一般是我们可以看见的，就是实现了什么功能，提供了什...

insights.thoughtworks.cn 0
ThoughtWorks

开发者头条

程序员分享平台