Chiều ngày 29/05/2023, sinh viên trường Đại học FPT đã được trải nghiệm học hỏi nghiên cứu cùng chuyên gia AI với Talkshow "Reinforcement Learning (Học tăng cường) cho các mô hình ngôn ngữ (lớn) trong giáo dục". Chương trình mang đến những kiến thức học thuật đắt giá và trải nghiệm nghiên cứu sống động về ứng dụng trí tuệ nhân tạo từ diễn giả - Tiến sĩ ĐH Cambridge, chuyên gia AI Google - Sian Gooding cho sinh viên Trường F.

 

Tiến sĩ ĐH Cambridge, chuyên gia AI Google - Sian Gooding chia sẻ những kiến thức chuyên sâu thực tế về dự án RLHF - Reinforcement Learning from Human Feedback của Google cùng sinh viên trường Đại học FPT

 

Tại Talkshow “Reinforcement Learning (Học tăng cường) cho các mô hình ngôn ngữ (lớn) trong giáo dục”, Tiến sĩ ĐH Cambridge, Sian Gooding - chuyên gia AI Google cho biết, chúng ta đang đứng trước những thực trạng bất cập của mô hình ngôn ngữ lớn. 

 

Chẳng hạn như GPT-3 được đào tạo trên một lượng lớn dữ liệu văn bản từ internet và có khả năng tạo ra văn bản giống con người, nhưng không phải lúc nào cũng có khả năng tạo ra đầu ra phù hợp với kỳ vọng của con người hoặc các giá trị mong muốn. Đôi khi các mô hình này thiếu hữu ích khi không bám sát hướng dẫn hoặc yêu cầu của người dùng. Đôi khi có khả năng gây ảo giác, tạo nên sự thật không tồn tại hoặc sai. Đôi khi thiếu khả năng diễn giải khi khiến người dùng khó hiểu làm thế nào mô hình đưa ra nội dung hoặc dự đoán cụ thể. Đôi khi nguy hiểm hơn là khả năng tạo đầu ra sai lệch hoặc độc hại: một mô hình ngôn ngữ được đào tạo về dữ liệu sai lệch/độc hại có thể tái tạo điều đó trong đầu ra, ngay cả khi hệ thống không được hướng dẫn rõ ràng để thực hiện điều đó. 

 

Trước thực trạng bất cập này, dự án nghiên cứu AI của Google ứng dụng Học tăng cường từ phản hồi của con người (RLHF - Reinforcement Learning from Human Feedback) ra đời. RLHF là một kỹ thuật đào tạo các mô hình ngôn ngữ lớn sử dụng phương pháp học tăng cường để trực tiếp tối ưu hóa mô hình ngôn ngữ với phản hồi con người.

 

Học tăng cường từ phản hồi của con người tập trung vào việc tạo mô hình phần thưởng, lời chú giải của con người cho máy học. Qua đó, có thể nắm bắt các văn bản phức tạp, nhiều sắc thái khó mã hóa bề ngoài thông qua các số liệu. Chia sẻ tại Đại học FPT, Tiến sĩ ĐH Cambridge, chuyên gia AI Google - Sian Gooding cho biết dự án nghiên cứu RLHF của Google thực hiện phân tích các đặc điểm văn bản tương quan với thỏa thuận của người chú thích và có thể ứng dụng mô hình RLHF trong lĩnh vực giáo dục. 

 

Khách mời và sinh viên trường Đại học FPT tham gia chương trình tích cực tiếp nhận thông tin và phản hồi các thắc mắc để hiểu sâu hơn về dự án Học tăng cường cho các mô hình ngôn ngữ (lớn) của Google

 

Chia sẻ sâu hơn về dự án tại Google, diễn giả cho biết Google đào tạo mô hình này bằng cách sử dụng Học tăng cường từ phản hồi của con người (RLHF), sử dụng các phương pháp tương tự như InstructGPT, nhưng có một vài điểm khác biệt trong thiết lập thu thập dữ liệu. Nhóm nghiên cứu đào tạo một mô hình ban đầu bằng cách sử dụng tinh chỉnh có giám sát: những người huấn luyện Al là con người cung cấp các cuộc hội thoại mà họ đóng vai cả hai bên - người dùng và trợ lý Al. 

 

“Chúng tôi cung cấp cho các giảng viên quyền truy cập vào các gợi ý được viết theo mẫu để soạn câu trả lời. Chúng tôi trộn tập dữ liệu hội thoại mới này với tập dữ liệu InstructGPT đã chuyển đổi thành định dạng hội thoại. Để tạo một mô hình phần thưởng cho việc học tăng cường, chúng tôi cần thu thập dữ liệu so sánh, bao gồm hai hoặc nhiều phản hồi mô hình được xếp hạng theo chất lượng. Để thu thập dữ liệu này, chúng tôi thực hiện các cuộc trò chuyện mà người huấn luyện Al đã từng thực hiện với chatbot”, Tiến sĩ ĐH Cambridge, chuyên gia AI Google - Sian Gooding trình bày tại Talkshow.

 

Chuyên gia AI Google với những chia sẻ chuyên sâu về dự án nghiên cứu AI Học tăng cường từ phản hồi của con người

 

Diễn giả cũng bật mí thêm về quy trình của nghiên cứu dự án ứng dụng AI Học tăng cường từ phản hồi của con người: Phỏng vấn tận tình nhóm người tham gia; Xác định điểm đau; Thiết kế lại giao diện; Đo lường tương tác của người dùng. Cùng các bước thực hiện: Đào tạo trước mô hình ngôn ngữ mục tiêu; Đào tạo mô hình khen thưởng mục tiêu; Tinh chỉnh với học tăng cường bộ dữ liệu nhắc nhở trạng thái. 

 

Nói về cơ hội các ứng dụng mô hình Học tăng cường từ phản hồi của con người vào giáo dục, Tiến sĩ ĐH Cambridge, chuyên gia AI Google - Sian Gooding cho biết “Các mô hình ngôn ngữ, có khả năng cách mạng hóa ngành giáo dục, mang đến cho sinh viên trải nghiệm học tập cá nhân hóa và hiệu quả”. Có thể bằng cách tích hợp vào nền tảng của họ, các công ty sản phẩm có thể tạo nội dung giáo dục tùy chỉnh phù hợp với nhu cầu, trình độ kỹ năng và sở thích của mỗi học sinh. Để mang lại trải nghiệm học tập tích cực hơn, có thể ứng dụng tính năng đàm thoại với khả năng xử lý ngôn ngữ tự nhiên của mô hình RLHF, tạo điều kiện thuận lợi cho việc học đàm thoại, giúp giáo dục trở nên hấp dẫn và được chủ động hưởng ứng, tương tác hơn từ người học. 

 

Sinh viên Đại học FPT chụp ảnh lưu niệm cùng diễn giả Sian Gooding - Tiến sĩ ĐH Cambridge, chuyên gia AI Google

 

Chuỗi chương trình “AI Research For Educational Technology” mục tiêu Nghiên cứu AI ứng dụng công nghệ trong giáo dục được tổ chức với 02 nội dung Talkshow chính: Độ phức tạp của văn bản dưới góc độ người đọc (09:00-11:00 ngày 29/05) và Reinforcement learning (Học tăng cường) cho các mô hình ngôn ngữ (lớn) trong giáo dục (14:00-16:00 ngày 29/05). Bên cạnh, với mục tiêu truyền cảm hứng cho cộng đồng, chuyên gia Google - Sian Gooding chia sẻ hành trình thành công trong khoa học với Talkshow  “Successful Women in Science” dành cho Nữ giới (09:00-11:00 ngày 30/05). 

 

Chuỗi Talkshow “AI Research For Educational Technology” diễn ra từ ngày 29 - ngày 30/5/2023 tại Đại học FPT. Khách mời tham dự nói chung và sinh viên Đại học FPT nói riêng được trực tiếp nghiên cứu khoa học và được truyền kinh nghiệm thực chiến, cảm hứng theo đuổi ngành Trí tuệ nhân tạo trong giai đoạn AI bùng nổ hiện nay cùng các chuyên gia, nhà nghiên cứu: • Sian Gooding - Tiến sĩ Đại học Cambridge, chuyên gia về AI-NLP xử lý ngôn ngữ tự nhiên, diễn giải và ứng dụng AI cho giáo dục, hiện là Nhà nghiên cứu khoa học về AI tại Google Research với những nghiên cứu đột phá và đóng góp quan trọng cho lĩnh vực Trí tuệ nhân tạo tại Google • Christopher Bryant - Tiến sĩ Đại học Cambridge, chuyên gia về AI-NLP xử lý ngôn ngữ tự nhiên, hiện là Cộng tác viên nghiên cứu lĩnh vực AI-NLP tại Đại học FPT, đồng thời là Nhà nghiên cứu khoa học tại Đại học Cambridge, Nhà nghiên cứu ứng dụng AI tại Writer Inc  • Nguyễn Hoàng Bảo Nguyên, Tiến sĩ Đại học Cambridge, hiện là Giảng viên - Nghiên cứu viên tại Đại học FPT, đồng thời duy trì các dự án nghiên cứu tại Đại học Cambridge và Đại học Quốc gia Úc Sinh viên Đại học FPT được trực tiếp lắng nghe, giải đáp thắc mắc cùng diễn giả của chương trình - Tiến sĩ ĐH Cambridge, chuyên gia AI Google - Sian Gooding. Hiện tại, Tiến sĩ Sian Gooding tập trung nghiên cứu về khả năng diễn giải AI và các ứng dụng AI cho giáo dục. Với những nghiên cứu chuyên sâu về AI từ chuyên gia, sinh viên Đại học FPT có cơ hội học hỏi kỹ năng, kinh nghiệm cho việc nghiên cứu và ứng dụng Trí tuệ nhân tạo, cải thiện trải nghiệm của người dùng, đặc biệt trong lĩnh vực giáo dục. Cũng như được chia sẻ về hành trình định vị trong lĩnh vực học thuật lẫn thị trường công nghệ tiến bộ hiện nay. Bên cạnh, các bạn còn được lắng nghe những thách thức đối với nữ giới và những bài học dành cho những nhà nghiên cứu trẻ, từ đó truyền cảm hứng cho nữ giới gia nhập thế giới khoa học công nghệ.

 

 

Hoàng Nhung