Mô hình chạy trên máy so với mô hình đám mây

Rephlo có thể chạy mô hình AI ngay trên máy tính của bạn hoặc gửi yêu cầu tới mô hình đám mây. Cả hai đều xuất hiện trong cùng một trình chọn mô hình và trả lời trong cùng một cửa sổ trò chuyện, nên rất dễ tưởng rằng chúng thay thế được cho nhau.

Không phải vậy. Trang này giải thích khác biệt bằng ngôn ngữ dễ hiểu, để bạn chọn đúng — và chỉ cho bạn cách có được gần như trọn vẹn tính riêng tư của xử lý cục bộ đồng thời sức mạnh của một mô hình đám mây lớn.

Câu trả lời ngắn gọn

Mô hình chạy trên máy là một AI nhỏ hơn nhiều so với mô hình đám mây. Nó chạy trên laptop của bạn nên phải vừa với bộ nhớ của chiếc laptop đó. Mô hình đám mây chạy trong trung tâm dữ liệu, trên phần cứng đắt hơn một chiếc ô tô.

Hãy kỳ vọng mô hình chạy trên máy thực sự hữu ích cho công việc văn bản hằng ngày, và cũng hãy lường trước rằng nó sẽ đuối ở những chỗ mà mô hình đám mây thì không. Nó không phải phiên bản nhỏ hơn nhưng ngang bằng của cùng một thứ — nó là một đẳng cấp năng lực khác.

Vì sao khoảng cách lại lớn đến vậy

Mô hình AI được đo bằng tham số — hiểu rất nôm na là số lượng giá trị nội bộ có thể điều chỉnh mà mô hình đã học được trong quá trình huấn luyện. Nhiều tham số hơn thường đồng nghĩa với năng lực cao hơn, và cũng đồng nghĩa với tốn bộ nhớ hơn.

Danh mục mô hình chạy trên máy của Rephlo trải từ khoảng 2 đến 14 tỷ tham số, bởi đó là mức vừa vặn thoải mái với một máy tính cá nhân. Các mô hình đám mây lớn có quy mô gấp hàng chục đến hàng trăm lần.

Khoảng cách đó bộc lộ ra như một khác biệt về khả năng phán đoán: bám theo một chỉ dẫn dài và nhiều tầng; giữ trong đầu một tài liệu phức tạp trong lúc trả lời về nó; nhận ra rằng câu hỏi của bạn chứa một giả định sai. Mô hình nhỏ làm tốt những việc hiển nhiên và làm không đáng tin những việc tinh tế.

Đặt cạnh nhau

	Mô hình chạy trên máy	Mô hình đám mây
Văn bản của bạn đi đâu	Không đi đâu cả — nó ở lại trên máy bạn	Tới nhà cung cấp vận hành mô hình
Chạy được ngoại tuyến	Có	Không
Chi phí mỗi tin nhắn	Không có	credits, hoặc hóa đơn nhà cung cấp của chính bạn với BYOK
Tốc độ	Tùy phần cứng của bạn	Ổn định, nhìn chung nhanh hơn
Suy luận với bài toán khó	Hạn chế	Mạnh
Tài liệu dài	Hạn chế	Mạnh
Tìm kiếm web	Không	Có, với nhà cung cấp hỗ trợ
Đọc hình ảnh	Không	Có, với mô hình nhìn được
Đọc tài liệu đính kèm	Có — PDF, tệp văn bản và tệp Office	Có
Thiết lập	Tải về một lần, vài GB	Không cần
Điều kiện sử dụng	Pro, Enterprise hoặc giấy phép vĩnh viễn	Mọi gói

Mô hình chạy trên máy làm tốt điều gì

Đây là những việc mà khoảng cách gần như không lộ ra:

• Viết lại và diễn đạt lại — đổi giọng văn, rút gọn, làm cho trang trọng hơn
• Sửa ngữ pháp và chính tả
• Tóm tắt văn bản ngắn tới trung bình
• Trích xuất đơn giản — lấy tên, ngày tháng hoặc các mục danh sách ra khỏi một đoạn văn
• Dịch nhanh những nội dung thường ngày
• Làm việc ngoại tuyến — trên máy bay, trong khu vực bảo mật, hoặc khi không có kết nối
• Bất cứ nội dung nào đủ nhạy cảm để bạn muốn nó không rời khỏi máy

Chúng đuối ở đâu

Hãy chuẩn bị tinh thần cho kết quả yếu hơn ở những việc sau:

• Suy luận phức tạp — logic nhiều bước, toán, phân tích kỹ lưỡng
• Tài liệu dài — bộ nhớ làm việc của mô hình nhỏ đầy rất nhanh
• Sinh mã vượt quá những đoạn ngắn
• Chỉ dẫn dài, nhiều tầng — mô hình nhỏ thường làm theo vài ý đầu rồi lệch khỏi phần còn lại
• Sắc thái và độ chính xác dữ kiện — mô hình nhỏ dễ khẳng định điều gì đó một cách chắc chắn nhưng sai

Hai giới hạn cứng nên biết trước

Không tìm kiếm web. Vì mô hình chạy trên máy hoạt động hoàn toàn ngoại tuyến, chúng không tra cứu được gì. Kiến thức của chúng dừng lại ở dữ liệu huấn luyện. Một connector tìm kiếm web đang được phát triển; còn hiện tại, để có thông tin trực tiếp hãy dùng nhà cung cấp đám mây có hỗ trợ tìm kiếm.

Không có thị giác. Mô hình chạy trên máy không nhìn được hình ảnh. Nếu bạn đính kèm một ảnh, Rephlo sẽ đọc phần văn bản trong đó ngay trên máy bạn rồi chuyển tiếp — hữu ích, nhưng không giống với việc mô hình thực sự nhìn thấy biểu đồ của bạn. Xem Cách Rephlo đọc tệp của bạn.

Tốt nhất của cả hai: che thông tin cục bộ, rồi dùng mô hình đám mây

Đây là cấu hình chúng tôi khuyến nghị cho phần lớn những người xử lý công việc nhạy cảm, và cũng là thứ mà phần lớn người dùng không biết là có.

Bạn không phải chọn giữa “mạnh nhưng dữ liệu của tôi ra đi” và “riêng tư nhưng hạn chế”. Rephlo có thể gỡ thông tin cá nhân ra khỏi yêu cầu ngay trên máy tính của bạn, rồi mới gửi tới một mô hình đám mây lớn. Mô hình đám mây làm phần việc khó; các chi tiết cá nhân không bao giờ lên đường.

Cách thiết lập: Settings ▸ Privacy ▸ Remove personal info before cloud requests, rồi chọn những nhóm thông tin cần che.

Việc phát hiện gồm hai lớp:

• Đối sánh mẫu, có sẵn và luôn dùng được, bắt những thứ có dạng thức dự đoán được — địa chỉ email, số điện thoại, số an sinh xã hội và thông tin thẻ đầy đủ.
• Một mô hình AI trên máy, tải về khi cần (khoảng 1,16 GB), bắt những thứ không có dạng thức cố định — tên, ngày sinh, địa chỉ, và số giấy tờ như bằng lái xe hay hộ chiếu.

Cho tới khi bạn tải mô hình thứ hai này, các nhóm phụ thuộc vào nó sẽ hiển thị là không khả dụng, nên bạn không bao giờ bị hiểu nhầm về những gì đang thực sự được gỡ bỏ.

Hãy thực tế về những gì cách này mang lại. Việc che thông tin giảm đáng kể nguy cơ lộ lọt ngoài ý muốn, nhưng đó là sự phát hiện chứ không phải một bảo đảm — nó không thể bắt được mọi trường hợp. Nếu nội dung của bạn nhạy cảm tới mức một lần bỏ sót là không chấp nhận được, hãy dùng một trong các lựa chọn mạnh hơn:

• Bật Block send if redaction is uncertain, Rephlo sẽ giữ yêu cầu lại thay vì mạo hiểm gửi đi thứ mà nó không chắc chắn.
• Bật Force Local for Sensitive, những yêu cầu được đánh dấu là nhạy cảm sẽ do mô hình chạy trên máy xử lý, nên chúng không bao giờ tới nhà cung cấp đám mây.

Xem Quyền riêng tư & dữ liệu để biết chi tiết từng thiết lập.

Vậy tôi nên dùng cái nào?

Tình huống của bạn	Nên dùng
Viết lại, chỉnh giọng văn, sửa ngữ pháp hằng ngày	Mô hình chạy trên máy là quá đủ
Không có kết nối internet	Mô hình chạy trên máy
Nội dung tuyệt đối không được rời khỏi máy	Mô hình chạy trên máy, hoặc Force Local for Sensitive
Nội dung nhạy cảm nhưng bạn cần năng lực thật sự	Che thông tin cục bộ, rồi dùng mô hình đám mây
Suy luận khó, lập trình, tài liệu dài	Đám mây
Bạn cần thông tin mới nhất từ web	Đám mây, với nhà cung cấp hỗ trợ tìm kiếm
Bạn cần mô hình nhìn vào một hình ảnh	Đám mây, với mô hình có khả năng nhìn
Bạn đang để ý mức tiêu credits	Mô hình chạy trên máy không tốn credits

Bạn không cần cam kết theo một hướng. Đổi mô hình chỉ là một danh sách thả xuống, nên một thói quen hợp lý là soạn nháp bằng mô hình chạy trên máy rồi nâng lên mô hình đám mây khi câu trả lời chưa đủ tốt.

Câu hỏi thường gặp

Mô hình chạy trên máy có phải là mô hình mà Rephlo dùng trên đám mây không? Không. Đó là những mô hình hoàn toàn khác nhau, thuộc các dòng khác nhau và có quy mô rất khác nhau.

Vì sao mô hình chạy trên máy của tôi chậm? Tốc độ phụ thuộc phần cứng của bạn — bộ nhớ và bộ xử lý. Hãy dùng Check my machine trong màn hình mô hình chạy trên máy để xem máy tính của bạn chạy thoải mái được đến đâu, và chọn mô hình nhỏ hơn nếu mô hình lớn bị ì.

Mô hình chạy trên máy có tốn credits không? Không. Sau khi tải về, chúng chạy trên phần cứng của bạn mà không tốn chi phí cho mỗi tin nhắn. Tính năng này yêu cầu gói Pro, Enterprise hoặc vĩnh viễn.

Dùng mô hình chạy trên máy thì dữ liệu của tôi tự động riêng tư phải không? Nội dung của bạn ở lại trên máy khi dùng chế độ cục bộ. Đó là đặc tính của việc xử lý cục bộ, không phải một chứng nhận tuân thủ — nếu công việc của bạn chịu sự quản lý của quy định, hãy liên hệ [email protected].

Tôi dùng OCR với mô hình chạy trên máy được không? Được. Việc đọc tài liệu quét chạy cục bộ bất kể bạn chọn mô hình nào, nên một tệp PDF quét hoạt động với mô hình chạy trên máy y như với mô hình đám mây.

Trang liên quan

• Mô hình On-Device — danh mục, tải về và thiết lập bộ nhớ
• Mô hình & suy luận — cách Rephlo chọn giữa đám mây và trên máy
• Quyền riêng tư & dữ liệu — che thông tin, định tuyến và xử lý cục bộ
• Cách Rephlo đọc tệp của bạn — tệp đính kèm, Space, tài liệu quét và hình ảnh