-
我们为什么需要「云原生大数据」？
「云原生大数据 」已经是现在科技领域的热词了，尤其是对于大中型企业的可扩展性和敏捷性开发需求而言。什么是「云原生大数据」呢？首先大数据是我们很熟悉的词汇了，主要讲的是储存、使用、挖掘海量的数据。而因为数据量过大，因此无法在本地单机上运行，而必须在云上进行管理。云原生指的是进一步提升云服务的
-
同事老是吐槽我的接口性能差，原来真凶就在这里
一、前情回顾上篇文章：《为什么每个程序员都必须坚持写博客？这篇文章教你怎么写》聊了一下系统架构中，百亿流量级别高并发写入场景下，如何承载这种高并发写入，同时如何在高并发写入的背景下还能保证系统的超高性能计算。这篇文章咱们继续来聊一下，百亿级别的海量数据场景下还要支撑每秒十万级别的高并发查询，
-
30亿日志，检索+分页+后台展示，你是否遇到过更奇葩的需求？
沈老师，你好，想请教一个数据库查询日志，前台页面显示的问题。需求：按照某些特定检索条件查询日志;通过前台Web页面查询并显示相关日志信息;检索需求包含用户，时间段区间，类型等特定字段;希望做到：查询速度尽可能快;支持分页查询;目前方案：日志信息存储在Oracle中，根据日期对Oracle做了分区处理
-
处理亿级数据的“定时任务”，如何缩短执行时间？
继续答水友提问。问题抽象：用户会员系统;用户会有分数流水，每个月要做一次分数统计，对不同分数等级的会员做不同业务处理;数据假设：假设用户在100w级别;假设用户日均1条流水，也就是说日增流水数据量在100W级别，月新增流水在3kW级别，3个月流水数据量在亿级别;常见解决方案：
-
炸！亿级数据DB秒级平滑扩容！！！
一步一步，娓娓道来。一般来说，并发量大，吞吐量大的互联网分层架构是怎么样的?数据库上层都有一个微服务，服务层记录“业务库”与“数据库实例配置”的映射关系，通过数据库连接池向数据库路由sql语句。如上图所示，服务层配置用户库user对应的数据库实例ip。画外音：其实是一个内网域名。该分层架构，如何应对
-
互联网公司为啥都不用MySQL分区表？
潜在场景如何?当MySQL单表的数据量过大时，数据库的访问速度会下降，“数据量大”问题的常见解决方案是“水平切分”。MySQL常见的水平切分方案有哪些?分库分表;分区表。画外音：我C，没听过分区表，有朋友惊叹。什么是分库分表?把一个很大的库(表)的数据分到几个库(表)中，每个库(表)的结构都相同，但
