基本概念
《数据处理》
在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！
欢迎加入大数据交流群：645891271
处理海量数据的核心技术：
海量数据存储：分布式
海量数据运算：分布式
这些核心技术的实现是不需要用户从零开始造轮子的
存储和运算，都已经有大量的成熟的框架来用
存储框架：
HDFS——分布式文件存储系统（HADOOP中的存储框架）
HBASE——分布式数据库系统
KAFKA——分布式消息缓存系统(实时流式数据处理场景中应用广泛)
运算框架：（要解决的核心问题就是帮用户将处理逻辑在很多机器上并行）
MAPREDUCE—— 离线批处理/HADOOP中的运算框架
SPARK ——离线批处理/实时流式计算
STORM —— 实时流式计算
辅助类的工具（解放大数据工程师的一些繁琐工作）：
HIVE ——数据仓库工具：可以接收sql，翻译成mapreduce或者spark程序运行
FLUME——数据采集
SQOOP——数据迁移
ELASTIC SEARCH —— 分布式的搜索引擎
.......
换个角度说，大数据是：
1、有海量的数据
2、有对海量数据进行挖掘的需求
有对海量数据进行挖掘的软件工具（hadoop、spark、storm、flink、tez、impala......）
《数据处理》
在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！
欢迎加入大数据交流群：645891271
处理海量数据的核心技术：
海量数据存储：分布式
海量数据运算：分布式
这些核心技术的实现是不需要用户从零开始造轮子的
存储和运算，都已经有大量的成熟的框架来用
存储框架：
HDFS——分布式文件存储系统（HADOOP中的存储框架）
HBASE——分布式数据库系统
KAFKA——分布式消息缓存系统(实时流式数据处理场景中应用广泛)
运算框架：（要解决的核心问题就是帮用户将处理逻辑在很多机器上并行）
MAPREDUCE—— 离线批处理/HADOOP中的运算框架
SPARK ——离线批处理/实时流式计算
STORM —— 实时流式计算
辅助类的工具（解放大数据工程师的一些繁琐工作）：
HIVE ——数据仓库工具：可以接收sql，翻译成mapreduce或者spark程序运行
FLUME——数据采集
SQOOP——数据迁移
ELASTIC SEARCH —— 分布式的搜索引擎
.......
换个角度说，大数据是：
1、有海量的数据
2、有对海量数据进行挖掘的需求
有对海量数据进行挖掘的软件工具（hadoop、spark、storm、flink、tez、impala......）
