Mô hình ngôn ngữ lớn với 13 tỷ tham số do đội ngũ kỹ sư Zalo phát triển đang được triển khai trong nhiều ứng dụng thực tế. Nổi bật là Trợ lý hỏi đáp tổng hợp Kiki Info vận hành dưới dạng một OA – Official Account (tài khoản chính thức) trên Zalo. Trợ lý này cung cấp bộ ba tính năng gồm hỏi đáp các chủ đề khác nhau như khoa học, lịch sử, luật giao thông; sáng tạo nội dung gồm viết văn, soạn email, tin đăng mạng xã hội; giải trí bằng cách đưa ra các gợi ý về địa điểm du lịch, âm nhạc, sách…
Thống kê của đội ngũ phát triển cho thấy trợ lý này đạt hơn 1 triệu lượt người dùng truy cập vào tài khoản OA trên Zalo trong gần hai tháng.
Một ứng dụng khác là thiệp AI, hiện chạm mốc 15 triệu thiệp được người dùng khởi tạo và gửi đi trong vòng 2 tháng. Đây là ứng dụng giúp người dùng gửi lời chúc tới người thân, bạn bè trong những dịp lễ quan trọng.
Kiki Info tích hợp trên nền tảng nhắn tin Zalo. Ảnh: Zalo Ai
Các ứng dụng được người dùng đánh giá giúp rút ngắn thời gian tìm kiếm và đưa ra quyết định trong nhiều trường hợp, hỗ trợ việc kết nối với các mối quan hệ theo cách sáng tạo hơn.
Mô hình LLM của Zalo được phát triển bằng kỹ thuật huấn luyện từ đầu – triển khai tất cả quy trình từ khởi tạo tham số, quyết định kiến trúc mô hình tới thuật toán huấn luyện trên tập dữ liệu nhất định. Kết thúc năm 2024, mô hình này cán đích ở vị trí top 2 trên bảng xếp hạng VMLU – nền tảng đánh giá và xếp hạng năng lực tiếng Việt của các LLM (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models). Cụ thể, mô hình của Zalo tăng bậc trên bảng xếp hạng các mô hình được huấn luyện từ đầu, xếp sau Llama-3-70B của Meta, vượt qua các tên tuổi như GPT-4 (OpenAI), gemma-2-9b-it (Google), microsoft/Phi-3-small-128k-instruct (Microsoft).
Theo đội ngũ, đây được xem là thành công với mô hình do người Việt phát triển, nhất là khi gặp nhiều hạn chế trong những ngày đầu. Thời điểm đó, các doanh nghiệp lớn thế giới có đủ hệ thống GPU hiện đại từ Nvidia để huấn luyện. Trong khi đó, hạ tầng máy chủ tại Việt Nam vẫn thiếu. Tiếng Việt cũng được xếp vào nhóm có tài nguyên dữ liệu nghèo nàn hơn so với tiếng Anh hay tiếng Trung. Bên cạnh đó, Việt Nam cũng còn những hạn chế về nguồn lực con người và kinh nghiệm huấn luyện LLM khi so sánh với các quốc gia phát triển trên thế giới.
Để khắc phục, doanh nghiệp Việt trang bị hạ tầng tính toán với 8 máy chủ DGX H100. Mô hình LLM được phát triển trực tiếp bằng dòng GPU mới và khan hiếm bậc nhất của Nvidia lúc đó với hiệu suất lên đến 256 petaFLOPS (FLoating-point Operations Per Second). 1 petaFLOP tương đương với 10 triệu tỷ phép tính mỗi giây.
Hệ thống máy chủ của Zalo. Ảnh: Zalo AI
Đồng thời dữ liệu huấn luyện cũng được đầu tư phát triển để bù đắp sự thiếu hụt về nguồn dữ liệu tiếng Việt. Thông qua hàng loạt nghiên cứu thực hiện trên các GPU dân dụng nhỏ, kỹ sư của Zalo tranh thủ trang bị kiến thức và năng lực huấn luyện LLM để tạo dựng nền tảng sẵn sàng ngay khi sở hữu hạ tầng tính toán lớn.
Định hướng trên giúp Zalo phát triển mô hình ngôn ngữ lớn với 7 tỷ tham số tập trung vào tiếng Việt sau 6 tháng huấn luyện. Ra mắt năm 2023, mô hình đạt 150% năng lực so với GPT3.5 của OpenAI trên Bộ tiêu chuẩn VMLU.
Mô hình LLM của Zalo thi đấu với loạt mô hình trên thế giới như ChatGPT 3.5, ChatGPT 4.0, Llama, PhởGPT và một người chơi thật trong lần đầu ra mắt năm 2023. Ảnh: Zalo AI
Theo Zalo, mô hình LLM sẽ tiếp tục được đầu tư huấn luyện để mang tới nhiều hơn các ứng dụng AI cho người dùng. “Chúng tôi hướng tới làm chủ AI tiên tiến, đóng góp vào kỷ nguyên phát triển công nghệ của đất nước với định hướng về khoa học, công nghệ, đổi mới sáng tạo và chuyển đổi số quốc gia”, đại diện đơn vị nói.
Hoài Phương
