Zalo phát triển thành công LLM bằng kỹ thuật huấn luyện từ đầu

Với việc phát triển thành công mô hình ngôn ngữ lớn (LLM) bằng kỹ thuật huấn luyện từ đầu, Zalo đã hiện thực hóa khát vọng đưa Việt Nam trở thành một trong số ít các quốc gia tại khu vực Đông Nam Á sở hữu mô hình AI nội địa.

Từ năm 2023, Zalo đã huấn luyện thành công mô hình LLM tập trung vào tiếng Việt, được nghiên cứu và phát triển hoàn toàn bởi đội ngũ kỹ sư người Việt. Tại thời điểm ra mắt, chỉ sau 6 tháng huấn luyện, mô hình với 7 tỷ tham số tập trung vào tiếng Việt đầu tiên của Zalo đã đạt 150% năng lực so với GPT3.5 của OpenAI trên Bộ tiêu chuẩn đánh giá năng lực LLM tiếng Việt VMLU. Năm 2024, mô hình với 13 tỷ tham số của Zalo chính thức vượt qua các tên tuổi lớn như GPT-4 (OpenAI), gemma-2-9b-it (Google), microsoft/Phi-3-small-128k-instruct (Microsoft), chỉ xếp sau Llama-3-70B (Meta) trên bảng xếp hạng năng lực tiếng Việt LLM của VMLU.

Đây là mô hình được Zalo phát triển bằng kỹ thuật huấn luyện từ đầu nhằm làm chủ và kiểm soát hoàn toàn quá trình huấn luyện cũng như mô hình, hướng tới giảm phụ thuộc vào công nghệ của nước ngoài.

Trước đây, thị trường Việt Nam đã gặp phải những thách thách lớn trong việc huấn luyện mô hình LLM. Đó là những hạn chế về thiết bị huấn luyện, dữ liệu và trình độ kỹ thuật. Trong khi các công ty lớn trên thế giới đã sở hữu hàng nghìn GPU hiệu năng cao mới nhất từ Nvidia thì tại Việt Nam, các kỹ sư vẫn chưa được trang bị đầy đủ hạ tầng máy chủ cần thiết. Cùng lúc đó, tiếng Việt cũng được xếp vào nhóm có tài nguyên dữ liệu nghèo nàn hơn hàng chục lần so với tiếng Anh hay tiếng Trung. Nguồn lực con người và kinh nghiệm huấn luyện LLM của Việt Nam cũng còn nhiều hạn chế khi so sánh với các quốc gia phát triển.

Linh hoạt khắc phục các rào cản, đội ngũ Zalo đã nghiên cứu và thực nghiệm trên các GPU dân dụng nhỏ để tranh thủ trang bị kiến thức cũng như năng lực huấn luyện LLM, sẵn sàng ngay khi có hạ tầng tính toán lớn. Đồng thời đặt mua 8 máy chủ DGX H100 của Nvidia, tuy nhiên do sự khan hiếm chip huấn luyện AI trên toàn cầu, Zalo cũng không thể sở hữu cùng lúc tất cả các thiết bị mà phải chờ từng đợt bàn giao từ nhà sản xuất, buộc đội ngũ phát triển phải nhanh nhạy ứng biến với tình huống. Các chuyên gia AI của Zalo cũng tăng tốc đầu tư phát triển dữ liệu chất lượng để bù đắp sự thiếu hụt về nguồn dữ liệu tiếng Việt của thị trường.

Đầu năm 2025, Zalo ra mắt Trợ lý hỏi đáp tổng hợp Kiki Info đang được vận hành dưới dạng một OA - Official Account (Tài khoản chính thức) trên nền tảng nhắn tin Zalo. Trợ lý hỗ trợ hỏi đáp các chủ đề khác nhau trong cuộc sống, sáng tạo nội dung và giải trí. Theo thống kê của Zalo, trợ lý Kiki Info đã có tới 1 triệu lượt người dùng truy cập vào tài khoản OA trên Zalo chỉ trong chưa đầy 2 tháng. Một ứng dụng khác của mô hình LLM của Zalo là thiệp AI cũng chạm mốc 15 triệu thiệp được khởi tạo và gửi đi chỉ trong 2 tháng.

Nguồn: Zalo