Trong bài học này, chúng ta tìm hiểu về phép giảm (Reduction Operations) trong Spark, cách chúng được thực hiện trên cụm máy tính (cluster) và sự khác biệt với các phép biến đổi (Transformations) như map, flatMap, filter.

1. Tổng quan về Reduction Operations

✅ Phép giảm là gì?

• Đây là các phép toán kết hợp tất cả các phần tử của một tập hợp dữ liệu để tạo ra một giá trị duy nhất.
• Một số phép giảm phổ biến trong Scala Collections
  • reduce
  • fold
  • aggregate

✅ Khác biệt giữa Transformations & Reduction Operations

💡 Ví dụ nhanh:

val numbers = List(1, 2, 3, 4, 5)
val sum = numbers.reduce(_ + _)  // Kết quả: 15 (1+2+3+4+5)

📌 Điểm khác biệt lớn nhất:

• map, filter trả về một danh sách mới.
• reduce, fold trả về một giá trị duy nhất.

2. Cách thức hoạt động của Reduce trong Spark

a) Tính tổng bằng Reduce

val numbersRDD = sc.parallelize(List(1, 2, 3, 4, 5))
val sum = numbersRDD.reduce(_ + _)
println(sum)  // Kết quả: 15

✅ Giải thích: