Gradient Descent: Thuật Toán Tối Ưu Hóa Cốt Lõi Trong Học Máy

Gradient Descent là gì và tại sao nó quan trọng? Gradient Descent là một thuật toán tối ưu hóa cơ bản nhưng vô cùng mạnh mẽ, được sử dụng rộng rãi trong các lĩnh vực như học máy, mạng nơ-ron và nhiều bài toán tối ưu hóa khác.

Gradient Descent hoạt động như thế nào? Quá trình hoạt động của Gradient Descent có thể được hình dung như việc đi xuống một ngọn đồi trong sương mù.

Công thức Gradient Descent Công thức cập nhật tham số (ví dụ cho tham số $w$) trong thuật toán Gradient Descent được biểu diễn như sau:

Các biến thể của Gradient Descent Để cải thiện hiệu suất và tốc độ hội tụ, nhiều biến thể của Gradient Descent đã được phát triển:

1. Batch Gradient Descent Đây là phiên bản gốc, tính toán gradient dựa trên toàn bộ tập dữ liệu huấn luyện trong mỗi lần cập nhật.

2. Stochastic Gradient Descent (SGD) SGD cập nhật tham số sau mỗi lần xem xét một điểm dữ liệu duy nhất.

3. Mini-batch Gradient Descent Là sự kết hợp giữa hai phương pháp trên. Mini-batch Gradient Descent cập nhật tham số dựa trên một nhóm nhỏ (mini-batch) các điểm dữ liệu.

4. Gradient Descent with Momentum Biến thể này sử dụng

Đọc bài viết đầy đủ để tìm hiểu chi tiết.