SỰ LÊN NGÔI CỦA KỸ THUẬT PROMPT?
Biểu đồ bên dưới là nhận định của một chuyên gia Machine Learning (ML), Emmanuel Ameisen về sự thay đổi trong các kỹ thuật ML qua các năm. Trục dọc là mức độ phổ biến của từng phương pháp ML, còn trục ngang là các mốc thời gian quan trọng như 2012 (AlexNet), 2014 (VGG), 2018 (BERT), 2020 (GPT-3), và 2024 (LLMs).
Ban đầu, khi sử dụng ML, mọi người thường phải tự đào tạo các mô hình từ con số không. Không có khái niệm “fine tuning” vì không có mô hình hoặc rất hiếm để fine tune.
Tuy nhiên, vài năm sau khi ImageNet ra đời, và đặc biệt là với sự xuất hiện của VGG (Visual Geometry Group), khái niệm tối ưu hóa mô hình bắt đầu thu hút sự chú ý. Người ta có thể lấy một mô hình đã qua tiền đào tạo và tối ưu hóa nó với dữ liệu nhỏ hơn, nhờ đó tiết kiệm chi phí và đạt kết quả tốt hơn so với đào tạo từ đầu.
Một cột mốc quan trọng khác là sự ra đời của BERT, giúp việc fine tune các mô hình trở nên phổ biến hơn trong lĩnh vực xử lý ngôn ngữ tự nhiên. Người ta có thể fine tune các mô hình như BERT để đạt kết quả tốt hơn với dữ liệu của mình.
Vào khoảng thời gian GPT-3 ra đời, một khái niệm mới xuất hiện: sử dụng các mô hình đã được đào tạo mà không cần phải fine tune. Điều này có nghĩa là chỉ cần sử dụng các mô hình lớn và chúng có thể hoạt động hiệu quả ngay lập tức thông qua kỹ thuật prompting. Đây chính là lời hứa ban đầu của các mô hình ngôn ngữ lớn (LLMs), rằng bạn không cần phải đào tạo lại, chúng có thể học theo ngữ cảnh và bạn chỉ cần dùng prompt.
Sự thay đổi này được thể hiện qua biểu đồ:
– Đào tạo từ đầu (Training from scratch): Ban đầu chiếm 100% và duy trì ở mức cao cho đến khoảng năm 2018. Sau đó, tỷ lệ này giảm mạnh vào năm 2024.
– Finetuning: Bắt đầu tăng dần từ khoảng năm 2018 với sự ra đời của BERT và đạt đỉnh điểm vào khoảng năm 2020 khi GPT-3 xuất hiện. Tuy nhiên, đến năm 2024, tỷ lệ này cũng bắt đầu giảm.
– Prompting: Hầu như không tồn tại vào năm 2018. Tuy nhiên, từ sau năm 2020, tỷ lệ này tăng mạnh và trở thành phương pháp chính vào năm 2024.
Điều này phản ánh sự thay đổi trong cách tiếp cận ML, từ việc xây dựng và đào tạo mô hình từ đầu, đến fine tune mô hình có sẵn, và hiện tại là sử dụng kỹ thuật prompting để tận dụng khả năng của các mô hình ngôn ngữ lớn.
Không ai biết chắc chắn về tương lai của các phương pháp này, nhưng xu hướng hiện tại cho thấy việc sử dụng prompting có thể sẽ tiếp tục tăng lên trong thời gian tới.
