Thời gian trước đây, Zalo cho biết hãng đã xây dựng mô hình LLM (mô hình ngôn ngữ lớn) nội địa và cho ra mắt lần đầu tiên vào năm 2023. Với mục tiêu tự chủ công nghệ AI, đồng thời giảm phụ thuộc vào công nghệ của nước ngoài, mô hình với 13 tỷ tham số đã được Zalo phát triển bằng kỹ thuật huấn luyện từ đầu - triển khai tất cả quy trình từ khởi tạo tham số, quyết định kiến trúc mô hình tới thuật toán huấn luyện trên tập dữ liệu nhất định. Kỹ thuật huấn luyện này có thể giúp làm chủ và kiểm soát toàn bộ quá trình huấn luyện cũng như mô hình.
Không sở hữu tiềm lực như các công ty công nghệ lớn trên thế giới, giai đoạn đầu phát triển mô hình ngôn ngữ lớn của Việt Nam gặp khá nhiều khó khăn. Bên cạnh vấn đề thiếu hụt dữ liệu do tiếng Việt được xếp vào nhóm có tài nguyên dữ liệu ít hơn hàng chục lần so với tiếng Anh hay tiếng Trung, các kỹ sư Việt cũng chưa được trang bị đầy đủ hạ tầng máy chủ cần thiết. Các công ty lớn trên thế giới đã sở hữu hàng nghìn GPU mới nhất từ Nvidia. Việt Nam cũng có những hạn chế về nguồn lực con người và kinh nghiệm huấn luyện mô hình LLM khi so sánh với các quốc gia phát triển trên thế giới.
Nhờ trang bị hạ tầng tính toán với 8 máy chủ DGX H100, mô hình LLM của Zalo đã được phát triển trực tiếp bằng dòng GPU mới và khan hiếm nhất của Nvidia lúc đó với hiệu suất lên đến 256 petaFLOPS (một petaFLOP tương đương với 10 triệu tỷ phép tính/giây). Zalo cũng tăng cường phát triển dữ liệu tiếng Việt để bù đắp sự thiếu hụt của thị trường, đồng thời trang bị kiến thức và năng lực huấn luyện LLM cho các kỹ sư Việt thông qua hàng loạt nghiên cứu thực hiện trên các GPU dân dụng nhỏ. Từ đó tạo nền tảng sẵn sàng ngay khi sở hữu hạ tầng tính toán lớn hơn sau này.
Chỉ sau 6 tháng huấn luyện (năm 2023), Zalo phát triển thành công mô hình ngôn ngữ lớn với 7 tỷ tham số tập trung vào tiếng Việt, đạt 150% năng lực so với GPT3.5 của OpenAI theo đánh giá của VMLU - Nền tảng đánh giá và xếp hạng năng lực tiếng Việt của các LLM.
Định hướng phát triển đúng đắn đã giúp Zalo phát triển thành công mô hình ngôn ngữ lớn với 7 tỷ tham số tập trung vào tiếng Việt chỉ sau 6 tháng huấn luyện vào năm 2023, đạt 150% năng lực so với GPT3.5 của OpenAI theo đánh giá của VMLU - Nền tảng đánh giá và xếp hạng năng lực tiếng Việt của các LLM.
Nguồn tin Zalo cho biết: “Tới hết năm 2024, mô hình ngôn ngữ lớn của Zalo đã vươn lên vị trí số 2 trên bảng xếp hạng các mô hình được huấn luyện từ đầu của VMLU. Cụ thể, mô hình chỉ xếp sau Llama-3-70B của Meta, chính thức vượt qua các tên tuổi lớn như GPT-4 (OpenAI), gemma-2-9b-it (Google), microsoft/Phi-3-small-128k-instruct (Microsoft)”.
Những dấu mốc thành công trong việc nghiên cứu và huấn luyện mô hình đã tạo động lực cho các kỹ sư của Zalo đưa mô hình LLM vào phát triển các ứng dụng hữu ích cho người dùng Việt, tiêu biểu phải kể đến Trợ lý hỏi đáp tổng hợp Kiki Info đang được vận hành dưới dạng một OA - Official Account (Tài khoản chính thức) trên Zalo. Theo thống kê của Zalo, trợ lý Kiki Info đã có tới 1 triệu lượt người dùng truy cập vào tài khoản OA trên Zalo chỉ trong chưa đầy 2 tháng.
Trong nỗ lực góp sức phát triển nền công nghệ của đất nước, Zalo không chỉ định hướng làm chủ công nghệ tiên tiến nói chung và AI nói riêng mà còn đồng hành cùng cộng đồng công nghệ Việt thúc đẩy kiến tạo sản phẩm công nghệ AI của người Việt phục vụ cho người Việt.
Nguồn: Zalo (VNG)
Nhận xét
Đăng nhận xét