Mọi công cụ số hóa đề thi đều nói mình dùng AI. Gần như không công cụ nào nói chính xác đến đâu, mất bao lâu, và hỏng ở chỗ nào.
Chúng tôi đo và công bố toàn bộ, gồm cả những chỗ kết quả không đẹp.
Hai câu trả lời ngắn gọn trước khi đi vào chi tiết:
- Tốc độ: một đề kiểm tra bốn năm trang mất khoảng một phút. Không phải 30 giây như chúng tôi từng viết trên trang giới thiệu — số đo thật buộc chúng tôi sửa lại.
- Độ chính xác: trên tám đề mẫu có đối chiếu, bảy đề được nhận diện đủ 100% số câu. Đề còn lại bị tách thừa 20%, và chúng tôi giải thích vì sao ở dưới.
Chúng tôi đo thế nào
Bộ đo gọi thẳng các hàm mà máy chủ dùng khi giáo viên tải đề lên — cùng mô hình, cùng câu lệnh, cùng tham số. Không có phiên bản "dành riêng để đo".
Mười tài liệu được chọn để phủ các dạng khó khác nhau:
| Dạng tài liệu | Số lượng | Vì sao chọn |
|---|---|---|
| PDF chữ (xuất từ Word) | 3 | Trường hợp phổ biến nhất |
| PDF scan / ảnh chụp trang | 3 | Chữ không chọn được, phải đọc bằng thị giác máy |
| Ảnh chụp điện thoại | 2 | Đề chụp vội, nghiêng, sáng không đều |
| Tài liệu Word (.docx) | 2 | Có công thức Equation nhúng |
Số câu thật của từng tài liệu được đếm tay từ trước, lưu thành tệp đối chiếu. Máy không được biết đáp số.
Kết quả: tốc độ
Đây là phần chúng tôi từng nói sai, nên nói kỹ.
| Loại tài liệu | Thời gian đo được |
|---|---|
| Ảnh chụp một trang | 6 – 9 giây |
| Đề kiểm tra 4 – 5 trang (22 câu) | 45 – 49 giây |
| Tài liệu 32 trang (300 câu) | 6 phút 17 giây |
| Tài liệu 86 trang (244 câu) | 9 phút 14 giây |
Ngoài phòng thí nghiệm, chúng tôi kiểm tra thêm 41 lượt xử lý thật đã chạy trên hệ thống — số này tính cả thời gian tải tệp về, cắt ảnh và ghi vào cơ sở dữ liệu, tức đúng thứ giáo viên cảm nhận:
- Một nửa số lượt xong trong 52,7 giây hoặc nhanh hơn
- Chín trên mười lượt xong trong 77 giây
- Lượt nhanh nhất: 33 giây
- Không lượt nào dưới 30 giây
Vì vậy câu "khoảng 30 giây" trên trang giới thiệu là sai, và chúng tôi đã sửa thành "khoảng một phút". Chỉ ảnh chụp một trang mới thực sự xong dưới 30 giây.
Điều đáng nói hơn con số: kể cả 9 phút cho một tuyển tập 86 trang vẫn nhanh hơn rất nhiều so với gõ tay 244 câu có công thức. Vấn đề không phải là chờ lâu, mà là phải biết trước mình chờ bao lâu — nên hệ thống hiển thị tiến độ để bạn làm việc khác trong lúc đó.
Kết quả: độ chính xác
Trên tám tài liệu có số câu đối chiếu:
| Tài liệu | Câu thật | Trích được | Tỉ lệ |
|---|---|---|---|
| Ảnh chụp đề (2 tệp) | 9 · 8 | 9 · 8 | 100% |
| PDF scan 5 trang (3 phiên bản) | 22 | 22 | 100% |
| PDF chia nhiều trang | 22 | 22 | 100% |
| Tuyển tập 300 câu theo chuyên đề | 300 | 300 | 100% |
| Tuyển tập đề thi thử 2018 | 204 | 244 | 120% |
Bảy trên tám đúng tuyệt đối. Hai chỉ số phụ:
- 91,8% số câu trích ra có sẵn đáp án đúng
- 99,9% câu trắc nghiệm có đủ nội dung cả bốn phương án
Ba chỗ còn hỏng
Phần này quan trọng hơn phần khoe.
1. Câu bị trùng khi tài liệu gộp nhiều đề
Tuyển tập đề thi thử 2018 gộp đề của khoảng chín trường, mỗi trường đánh số Câu 1, Câu 2 riêng. Hệ thống trích ra 244 câu, trong đó 30 câu trùng hệt nhau — giáo viên phải tự xóa.
Nguyên nhân đã xác định: luồng xử lý dành cho giáo viên chưa lọc trùng, trong khi luồng quản trị nội bộ thì có. Đây là việc chúng tôi phải sửa, không phải giới hạn của công nghệ.
2. Đáp án lúc nhận được lúc không
Có tài liệu cho ra 22 trên 22 câu kèm đáp án. Có tài liệu cho ra 0 trên 22 — bảng đáp án nằm tách rời ở cuối tệp theo cách hệ thống chưa ghép lại được.
Với những đề như vậy, phần nội dung câu hỏi vẫn dùng được ngay, nhưng đáp án phải nhập tay.
3. Kết quả dao động nhẹ giữa các lần chạy
Cùng một tệp 300 câu, lần thì ra 298, lần thì ra 300. Mô hình ngôn ngữ không cho kết quả giống hệt nhau mỗi lượt. Chênh lệch nhỏ, nhưng có thật, và bạn nên biết điều đó thay vì tin vào một con số tuyệt đối.
Phép đo này chưa trả lời được điều gì
Nói thẳng để không ai hiểu nhầm con số bên trên.
Chúng tôi đếm số câu, chưa chấm nội dung từng câu. Một câu bị sai một dấu trong công thức, hay chọn nhầm đáp án đúng, vẫn được tính là "nhận diện được". Nghĩa là 100% ở bảng trên là giới hạn trên của độ chính xác thật, không phải độ chính xác thật.
Đó cũng là lý do chúng tôi không nói "chính xác 95%" trên trang giới thiệu, dù con số nghe hay hơn nhiều.
Ba giới hạn còn lại:
- Bộ mẫu mười tài liệu là nhỏ, và nghiêng về môn Toán trắc nghiệm. Chưa phủ Lý, Hóa, Ngữ văn, chưa phủ đề tự luận.
- Chỉ hai trong tám tài liệu có số câu được xác nhận lại lần hai.
- Thời gian trong phòng đo chưa tính hàng đợi lúc nhiều người dùng cùng lúc — nên chúng tôi dùng số của 41 lượt chạy thật để kết luận.
Bước tiếp theo của chúng tôi là chấm tay nội dung từng câu trên một mẫu ngẫu nhiên, để có thể nói về độ chính xác nội dung một cách đàng hoàng. Khi có kết quả, bài này sẽ được cập nhật.
Vì sao chúng tôi công bố cả chỗ hỏng
Vì giáo viên kiểm chứng được, và sẽ kiểm chứng.
Một thầy cô tải thử ba đề rồi thấy kết quả không giống lời quảng cáo sẽ không quay lại — và sẽ kể cho đồng nghiệp trong nhóm chuyên môn. Nói trước rằng đề scan mờ có thể mất đáp án, rằng tài liệu 80 trang mất gần mười phút, sẽ khiến kỳ vọng khớp với thực tế ngay từ đầu.
Chúng tôi cũng để lại bước bạn soát trước khi lưu trong mọi luồng xử lý, chính vì biết máy còn sai. Không có nút "tin tưởng hoàn toàn", và sẽ không có chừng nào các con số ở trên chưa đủ tốt.
Nếu bạn có đề mà hệ thống đọc sai, gửi cho chúng tôi. Những tài liệu khó nhất là thứ giúp bộ đo này tốt lên.