하둡 공부 순서

하둡 공부 순서

  1. HDFS
  2. MapReduce
  3. YARN
  4. Avro
  5. Parquet
  6. Flume
  7. Sqoop
  8. Pig
  9. Hive
  10. Crunch
  11. Spark
  12. Hbase
  13. Zookeeper

하둡 에코 시스템

하둡 에코 시스템

HDFS, MapReduce, YARN은 하둡 기반 구성 요소라서 정확하게 이해할 필요성이 있다
다른 요소들은 필요한 순서대로 공부하면 될 듯

하둡을 왜 쓰는 것일까?

하둡을 왜 쓰는 것일까?

빅데이터 처리

  • 인터넷 사용자들의 기록(비정형 데이터)
  • 생물학의 데이터 과학 등

대용량 처리하기에는 기존 RDBMS는 비효율적

  • 비정형 데이터 분석 불가
  • 확장하기가 힘들다
  • 빅데이터 처리하기에 운영 비용이 기하급수적으로 비싸진다
  • 빅데이터 처리 속도가 하둡 보다 느리다