1. RDD là gì?

• RDD (Resilient Distributed Dataset) là trái tim của Spark.
• Hiểu đơn giản: RDD là một danh sách lớn (giống List trong Scala), nhưng được chia nhỏ và lưu trên nhiều máy tính khác nhau trong cluster.
• Tại sao cần RDD?
  • Xử lý dữ liệu lớn: Không phải lúc nào cũng có thể lưu mọi thứ trên một máy!
  • Tăng tốc tính toán: Vì dữ liệu được chia ra, nhiều máy có thể xử lý cùng lúc.
  • Linh hoạt và mạnh mẽ: Hỗ trợ nhiều thao tác như map, filter, reduce, giống hệt Scala List nhưng chạy trên cluster.

2. RDD hoạt động giống Scala Collections như thế nào?

• RDD gần giống với List hoặc Collection trong Scala.
• Các phương thức quen thuộc như:
  • map: Biến đổi từng phần tử.
  • flatMap: Giống map, nhưng mở rộng kết quả thành danh sách lớn hơn.
  • filter: Giữ lại những phần tử thỏa mãn điều kiện.
  • reduce: Gộp tất cả phần tử thành một giá trị duy nhất.

📌 Điểm khác biệt lớn nhất: RDD chạy trên nhiều máy (phân tán), còn Scala List chỉ chạy trên một máy!

✅ Ví dụ đơn giản:

👉 Giả sử ta có danh sách số, muốn bình phương chúng:

scala
CopyEdit
val list = List(1, 2, 3, 4, 5) // Scala List
val squaredList = list.map(x => x * x)
println(squaredList) // Kết quả: List(1, 4, 9, 16, 25)

🔥 Nếu làm với RDD (chạy trên cluster!)

val rdd = sc.parallelize(List(1, 2, 3, 4, 5)) // Tạo RDD từ List
val squaredRDD = rdd.map(x => x * x)
squaredRDD.collect() // Kích hoạt tính toán, trả về List(1, 4, 9, 16, 25)

🛑 Điểm cần nhớ:

• map trên List thực thi ngay lập tức.
• map trên RDD chỉ tạo kế hoạch, cần collect() để chạy thật.

3. Ví dụ thực tế 1: Đếm số bài viết nhắc đến “EPFL”