大数据总结

数据采集:

• Flume
• Logstash
• Filebeat
• Sqoop 传输 Hadoop 和关系数据库之间的数据
• DataX
• Canal
• Maxwell
• Kafka 🌟

数据存储：

• HDFS 🌟
• Hbase 🌟
• Redis 🌟

离线计算：

• MapReduce
• Spark 🌟

实时计算：

• Storm
• Spark Streaming
• Flink 🌟

OLTP 数据分析：

• MySQL

离线 OLAP 数据分析：

• Hive 🌟 SQL 客户端，查询 HDFS 或 Hbase 中的数据
• Impala
• Kylin

实时 OLAP 数据分析：

• Druid
• ClickHouse
• Doris

搜索引擎：

• Lucene
• Solr
• Elasticsearch

资源管理：

• Yarn 🌟
• Mesos
• Kubernetes

任务调度：

• Azkaban
• Ooize
• DolphinScheduler

thrift pig drill zookeeper??? atlas