数据流转架构

技术选型

数据同步

常见数据同步软件：DataX、Sqoop、Maxwell、Canal

框架	DataX/Sqoop	Maxwell/Canal
对数据库要求	原理是基于查询，若想通过select查询获取新增及变化数据，就要求数据表中存在create_time、update_time等字段，然后根据这些字段获取变更数据	要求数据库记录变更记录，如：MySQL要开启binlog
数据等中间状态	由于是离线批量同步，故若一条数据在一天中变化多次，该方案只能获取最后一个状态，中间状态无法获取。	由于是实时获取所有的数据变更操作，所以可以获取变更数据中所有中间状态

分布式理论

热点数据

热点数据隔离：

• 热点散列（阿里黑科技）
• 热点库
• 多级缓存

数据异构（canal）

缓存穿透、缓存击穿、缓存雪崩

热点缓存淘汰策略、多级缓存、布隆过滤器、Null值key

数据高可用

主从、主备

冷（兜底方案）、热备份

Canal中间件

消息中间件

Kafka

RabbitMQ、RocketMQ

概述

记录分布式知识