“Chia Tay ChatGPT, Đón Chào Llama 3 Trên Open WebUI – Tại Sao Bạn Cũng Nên Thử!”
Các link tài liệu cho lab:
https://github.com/ollama/ollama
docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Giải thích:
-d: Chạy container trong chế độ nền.-p 3000:8080: Map cổng 3000 của máy chủ với cổng 8080 của container.-v open-webui:/app/backend/data: Mount volume để lưu trữ dữ liệu bền vững.--name open-webui: Đặt tên cho container làopen-webui.--restart always: Thiết lập container để tự động khởi động lại khi bị dừng.ghcr.io/open-webui/open-webui:main: Sử dụng hình ảnh Docker từ GitHub Container Registry.
Tôi là một người hâm mộ lớn của các mô hình mã nguồn mở, đặc biệt là Llama 3 mới ra mắt. Nhờ vào hiệu suất của cả mô hình Llama 3 70B lớn và mô hình 8B nhỏ hơn mà tôi có thể tự lưu trữ, tôi đã hủy đăng ký ChatGPT và chuyển sang sử dụng Open WebUI. Open WebUI là một giao diện giống ChatGPT, cho phép bạn sử dụng Ollama và các nhà cung cấp AI khác trong khi vẫn giữ dữ liệu chat, lời nhắc và các dữ liệu khác cục bộ trên máy tính của bạn.
Trong bài viết trước, tôi đã hướng dẫn cách thiết lập Open WebUI với Ollama và Llama 3, nhưng đó không phải là cách duy nhất tôi sử dụng Open WebUI. Tôi còn sử dụng nó với ba nhà cung cấp API bên ngoài và sẽ chia sẻ về ưu, nhược điểm của từng nhà cung cấp, cũng như cách tôi thiết lập cả ba trên Open WebUI.
- OpenAI: Là nhà cung cấp AI lâu đời và phổ biến nhất, dù Llama 3 tốt cho hầu hết các tác vụ, OpenAI vẫn hữu ích trong những tình huống cần chất lượng tốt nhất.
- Groq Cloud: Công ty phát triển phần cứng AI, cung cấp API cho các mô hình LLM mã nguồn mở như Llama 3 với tốc độ xử lý rất nhanh. GroqCloud cũng miễn phí cho hầu hết người dùng và dễ dàng tích hợp vào Open WebUI.
- Cloudflare Workers AI: Tôi đã phát triển API tương thích với OpenAI cho Cloudflare Workers, hỗ trợ nhiều mô hình khác nhau, bao gồm cả Llama 3. Nhược điểm là giới hạn token và kích thước mô hình nhỏ.
Cuối cùng, tôi hướng dẫn cách tích hợp các API này vào Open WebUI thông qua cấu hình Docker và Docker Compose. Bằng cách tận dụng Open WebUI, tôi đã có thể khám phá và sử dụng toàn bộ tiềm năng của các mô hình AI mạnh mẽ này mà không bị ràng buộc bởi các nền tảng chat truyền thống.