Mô hình On-Device
Rephlo có thể chạy các mô hình AI trực tiếp trên máy tính của bạn — không cần kết nối internet, không tốn credit theo từng tin nhắn, và văn bản của bạn không bao giờ rời khỏi thiết bị. Màn hình Mô hình On-Device cho phép bạn duyệt qua danh mục các mô hình cục bộ đã được tuyển chọn, tải xuống những mô hình bạn muốn, và kiểm soát cách chúng sử dụng bộ nhớ của máy.
Màn hình này nằm trong khu vực LLM Providers của Settings. Suy luận on-device dùng định dạng mô hình GGUF và chạy qua công cụ cục bộ tích hợp sẵn của Rephlo.
Không có tìm kiếm web tích hợp. Vì các mô hình on-device chạy hoàn toàn ngoại tuyến, chúng không thể tự tìm kiếm hay lấy thông tin theo thời gian thực. Một connector tìm kiếm web (MCP) đang được phát triển, sẽ cho phép các mô hình on-device truy xuất dữ liệu cập nhật khi có sẵn. Để tìm kiếm web ngay hôm nay, hãy dùng một nhà cung cấp đám mây có hỗ trợ (xem Chat & Cuộc trò chuyện).
Đọc tệp đính kèm. Kể từ v1.4.1, các mô hình on-device có thể đọc tệp PDF, tệp văn bản và tài liệu Office được đính kèm trong chat — văn bản được trích xuất cục bộ và đưa vào prompt. Chúng không hỗ trợ đính kèm hình ảnh hay tệp cho mô hình thị giác.
Ai có thể dùng mô hình on-device?
Mô hình on-device yêu cầu gói Pro, Enterprise, hoặc giấy phép trọn đời (perpetual license) — các gói Free và Starter không bao gồm tính năng này.
Nếu gói của bạn không bao gồm tính năng này, một banner nâng cấp sẽ xuất hiện phía trên danh mục: "On-device models require Pro, Enterprise, or a perpetual license." Danh mục vẫn hiển thị — việc tải xuống và kích hoạt mô hình bị vô hiệu hóa, nhưng bạn vẫn có thể xóa các mô hình đã tải xuống để giải phóng dung lượng ổ đĩa. Banner hiển thị một nút duy nhất:
| Tình huống của bạn | Nút |
|---|---|
| Bạn đủ điều kiện dùng thử miễn phí | Start free trial or view plans |
| Bạn đã dùng thử trước đó (hoặc không đủ điều kiện) | View plans |
Chọn nút này sẽ mở hộp thoại nâng cấp, nơi bạn có thể bắt đầu dùng thử hoặc so sánh các gói. Ngay khi gói của bạn mở khóa tính năng này, banner sẽ biến mất và việc tải xuống trở nên khả dụng — không cần khởi động lại ứng dụng.
Xem License & Trial để bắt đầu dùng thử, hoặc so sánh các lựa chọn trên trang giá.
Check my machine (kiểm tra sơ bộ)
Trước khi tải xuống bất cứ thứ gì, hãy dùng kiểm tra phần cứng sơ bộ (pre-flight) để xem máy tính của bạn có thể chạy tốt những gì. Rephlo đọc phần cứng của bạn và hiển thị một bản tóm tắt ngắn gọn như:
16 GB RAM · 8 lõi · Apple Silicon (bộ nhớ hợp nhất)
Sau đó, nó xếp hạng danh mục và làm nổi bật lựa chọn phù hợp nhất, đặt ngay tên mô hình đó trên nút tải xuống (ví dụ: Download Phi-4 Mini 3.8B). Chỉ một cú nhấp để tải xuống mô hình được đề xuất đó.
Việc kiểm tra này chỉ mang tính khuyến nghị, không phải rào cản:
- Nếu mô hình được đề xuất phù hợp, bạn sẽ nhận được một khuyến nghị rõ ràng.
- Nếu một mô hình cần nhiều bộ nhớ hơn mức bạn có, Rephlo sẽ hiển thị cảnh báo nhẹ ("This model may be slow or may not load") và cho phép bạn Download anyway — nó không bao giờ chặn cứng bạn.
- Nếu việc dò phần cứng thất bại vì bất kỳ lý do nào, bạn vẫn có thể duyệt và tải xuống mô hình thủ công bên dưới.
Tải xuống và quản lý mô hình
Mỗi mô hình trong danh mục hiển thị dung lượng tải xuống, một mô tả ngắn, và các đánh giá tốc độ và độ chính xác (hiển thị dưới dạng hàng chấm, càng nhiều càng tốt). Từ một hàng mô hình, bạn có thể:
- Download — tải tệp mô hình với thanh tiến trình trực tiếp. Nếu việc tải xuống thất bại, hàng đó sẽ hiển thị lỗi để bạn thử lại.
- Use (Activate) — đánh dấu một mô hình đã tải xuống làm mô hình on-device đang hoạt động cho chat và lệnh. Kích hoạt một mô hình sẽ vô hiệu hóa các mô hình khác; mô hình đang hoạt động được hiển thị ở đầu màn hình.
- Delete — xóa tệp mô hình để giải phóng dung lượng ổ đĩa. (Bạn có thể xóa ngay cả khi gói hiện tại đã khóa tính năng này, để bạn luôn có thể lấy lại dung lượng lưu trữ.)
Vòng đời mô hình
Lưu trữ
Các mô hình đã tải xuống được lưu trong thư mục dữ liệu ứng dụng, theo từng nền tảng:
| Nền tảng | Vị trí |
|---|---|
| macOS | ~/Library/Application Support/Rephlo/models/llm |
| Windows | %LOCALAPPDATA%\Rephlo\models\llm |
Màn hình hiển thị tổng dung lượng ổ đĩa đã dùng trên tất cả các mô hình đã tải xuống, và mỗi hàng hiển thị dung lượng riêng của mô hình đó. Tệp mô hình có dung lượng lớn (thường vài gigabyte mỗi tệp), vì vậy hãy chú ý dung lượng trống — đảm bảo bạn có đủ chỗ trước khi tải xuống.
Bộ nhớ: giữ mô hình đã nạp hoặc gỡ chúng
Nạp một mô hình vào bộ nhớ mất một chút thời gian và dùng RAM trong khi mô hình đang hoạt động. Bạn chọn cách Rephlo quản lý việc này bằng một chiến lược bộ nhớ:
| Chiến lược | Hoạt động ra sao | Phù hợp cho |
|---|---|---|
| Always Loaded | Luôn giữ mô hình đang hoạt động trong bộ nhớ để có phản hồi tức thì. | Máy mạnh, nơi bạn dùng AI on-device liên tục. |
| Auto Unload (Recommended) | Giữ mô hình đã nạp trong khi bạn đang dùng, sau đó tự động giải phóng bộ nhớ sau một khoảng thời gian nhàn rỗi (mặc định 10 phút). | Hầu hết người dùng — nhanh khi hoạt động, nhẹ tài nguyên khi nhàn rỗi. |
| Manual | Nạp theo yêu cầu và chỉ gỡ khi bạn chọn. | Người dùng nâng cao muốn toàn quyền kiểm soát. |
Với Auto Unload, bạn có thể điều chỉnh thời gian chờ nhàn rỗi (idle timeout) (tính bằng phút). Sau khoảng thời gian đó mà không dùng, mô hình sẽ tự gỡ để trả lại bộ nhớ cho các ứng dụng khác. Yêu cầu tiếp theo sẽ tự động nạp lại nó.
Cùng thẻ Model Memory đó cũng có một tùy chỉnh Context Window — số lượng token tối đa mà mô hình on-device có thể xem xét cho mỗi yêu cầu. Giá trị mặc định là 32.768 token (~32K) và có thể đặt trong khoảng từ 2.048 đến 262.144. Không có tùy chọn Auto ở đây — khác với trường Context Length cho các mô hình BYOK/đám mây và các mô hình nhà cung cấp kiểu Ollama, mô hình on-device luôn dùng thiết lập rõ ràng này. Tăng Context Window sẽ dùng nhiều RAM/VRAM hơn và nạp lại mô hình đang hoạt động.
Gặp lỗi hết ngữ cảnh (out-of-context)? Nếu một yêu cầu không vừa với bộ nhớ, Rephlo sẽ hiển thị lỗi có thể xử lý được (đôi khi tham chiếu đến
NoKvSlot). Hãy tăng Context Window ở trên để khắc phục.
Màn hình Mô hình On-Device: bảng "Check my machine" kiểm tra sơ bộ ở trên cùng, bộ chọn chiến lược bộ nhớ, tổng dung lượng lưu trữ đã dùng, và danh mục mô hình có thể cuộn với các thao tác tải xuống/dùng/xóa theo từng hàng.
Trang liên quan
- Mô hình & Suy luận (Models & Inference) — cách Rephlo chọn giữa mô hình đám mây và mô hình on-device
- LLM Providers — cấu hình nhà cung cấp đám mây và khóa API
- License & Trial — bắt đầu dùng thử để mở khóa mô hình on-device
- Privacy & Data — vì sao mô hình cục bộ giữ văn bản của bạn trên thiết bị