Thiên kiến khi chấm thi là những lệch có hệ thống trong cách giám khảo cho điểm, xảy ra ngay cả khi người chấm hoàn toàn công tâm: bài chấm sau một bài xuất sắc bị thấp đi, một điểm mạnh nổi bật kéo theo điểm cao ở mọi tiêu chí, cuối buổi ai cũng chấm khắt hơn. Không thể xoá hết những lệch này, nhưng có thể nhận ra và giảm đáng kể bằng vài thói quen đơn giản.
Bài này dành cho người làm giám khảo các cuộc thi người lớn và cho ban tổ chức muốn tập huấn giám khảo. Nội dung đi từ từng kiểu thiên kiến hay gặp, dấu hiệu để tự nhận ra, tới cách tự kiểm trong lúc chấm và những việc ban tổ chức có thể làm để đỡ cho giám khảo.
Vì sao người công tâm vẫn chấm lệch
Phần lớn tranh cãi về kết quả cuộc thi xoay quanh câu hỏi giám khảo có thiên vị ai không. Đó là câu hỏi về đạo đức, và có quy chế riêng để xử lý như khai báo xung đột lợi ích. Thiên kiến khi chấm là chuyện khác: nó không cần ý đồ, không cần quen biết. Nó đến từ cách bộ não con người xử lý nhiều thông tin trong thời gian ngắn.
Khi đọc hàng chục bài, bạn không chấm mỗi bài trong chân không. Bạn so nó với bài vừa đọc, với hình dung của mình về một bài tốt, với tâm trạng lúc đó. Bạn cũng dễ bị ấn tượng đầu tiên dẫn dắt: vài giây đầu nhìn một bức ảnh hay đọc đoạn mở của một bài viết thường đã định hướng cách bạn đọc phần còn lại.
Điều đáng lưu ý là người chấm có kinh nghiệm không miễn nhiễm. Kinh nghiệm giúp bạn nhanh hơn, tự tin hơn, nhưng sự tự tin đó có khi làm bạn ít kiểm lại mình hơn. Một giám khảo lâu năm có thể có gu rất rõ và vô tình thưởng cho những bài hợp gu ấy ở mọi tiêu chí.
Vì vậy cách tiếp cận hợp lý là thừa nhận ai cũng có thiên kiến, rồi xây thói quen và quy trình để bắt chúng. Mục tiêu không phải là trở thành cỗ máy chấm vô cảm, vì nhiều cuộc thi sáng tạo cần cảm nhận của con người. Mục tiêu là để cảm nhận đó đi qua tiêu chí, chứ không đi tắt.
Hiệu ứng thứ tự: bài đầu, bài cuối và bài đứng sau bài xuất sắc
Hiệu ứng thứ tự là khi vị trí của bài trong lượt chấm ảnh hưởng tới điểm nó nhận. Có vài dạng thường gặp. Dạng thứ nhất là những bài đầu tiên: giám khảo chưa có thước đo trong đầu nên hoặc chấm dè dặt, để dành điểm cao cho bài hay hơn có thể xuất hiện sau, hoặc chấm cao vì chưa thấy bài nào tốt hơn để so.
Dạng thứ hai là hiệu ứng tương phản. Một bài trung bình đọc ngay sau một bài rất xuất sắc trông yếu hơn thực tế; cũng bài đó đọc sau một bài rất kém lại trông khá hơn. Trong cuộc thi ảnh, khi giám khảo lật nhanh hàng trăm tấm, hiện tượng này càng rõ vì thời gian dành cho mỗi tấm chỉ vài giây.
Dạng thứ ba liên quan tới thời gian trong buổi chấm. Cuối buổi, khi đã mệt, nhiều người có xu hướng chấm nhanh hơn, ít đọc chi tiết hơn, và hoặc dễ dãi cho xong, hoặc khắt khe vì bực. Bài rơi vào cuối hàng chờ chịu thiệt mà không ai cố ý.
Cách giảm hiệu ứng thứ tự từ phía giám khảo: đọc vài bài đầu để làm quen rồi quay lại chấm điểm chúng sau khi đã có cảm giác về mặt bằng; chấm theo từng tiêu chí với mô tả mức điểm thay vì so bài này với bài trước; chia nhỏ lượt chấm và nghỉ giữa các lượt. Nếu chấm trên hệ thống trực tuyến, nên đề nghị ban tổ chức xáo thứ tự bài khác nhau cho mỗi giám khảo, để không bài nào luôn đứng cuối với tất cả mọi người.
Hiệu ứng hào quang và mặt trái của nó
Hiệu ứng hào quang là khi một đặc điểm nổi bật của bài khiến bạn đánh giá cao cả những phần không liên quan. Một bản đề án trình bày đẹp, phông chữ chuyên nghiệp dễ được chấm cao ở tiêu chí tính khả thi dù phần số liệu còn mỏng. Một bài viết mở đầu bằng câu rất hay khiến người đọc khoan dung với đoạn giữa lỏng lẻo.
Mặt trái của nó, đôi khi gọi là hiệu ứng sừng, cũng phổ biến: một lỗi dễ thấy như lỗi chính tả ở dòng đầu, ảnh hơi nghiêng, video có tiếng ồn ở giây đầu khiến bạn đánh giá thấp toàn bộ, kể cả ý tưởng có thể rất tốt. Với những cuộc thi mở cho người không chuyên, hiệu ứng sừng dễ làm thiệt những người có ý tưởng hay nhưng ít điều kiện trau chuốt hình thức.
Hào quang còn có thể đến từ ngoài bài. Nếu cuộc thi không chấm ẩn danh, tên một trường đại học danh tiếng, một công ty lớn, hay một người từng đoạt giải dễ khiến giám khảo kỳ vọng và đọc bài với thiện cảm sẵn. Đây là lý do nhiều cuộc thi che thông tin cá nhân của người dự thi ở vòng chấm.
Cách tự kiểm hiệu quả nhất là chấm từng tiêu chí riêng rẽ, và trước khi ghi điểm một tiêu chí, tự hỏi: mình đang chấm đúng tiêu chí này hay đang chấm ấn tượng chung. Một mẹo khác là cố ý tìm một điểm yếu ở bài mình đang thích, và một điểm mạnh ở bài mình đang không thích. Nếu không tìm được, có thể bài thật sự như vậy; nếu tìm được dễ dàng, có lẽ hào quang đã làm việc.
Những kiểu lệch khác hay gặp ở phòng chấm
Xu hướng chấm giữa. Ngại cho điểm quá cao hay quá thấp, giám khảo dồn phần lớn bài vào khoảng giữa thang điểm. Hệ quả là các bài khó phân biệt, kết quả cuối cùng bị quyết định bởi giám khảo nào dám chấm rộng tay hơn. Mô tả mức điểm rõ ràng giúp bạn tự tin dùng cả hai đầu thang.
Dễ dãi hoặc khắt khe theo tính cách. Có người luôn chấm cao hơn mặt bằng, có người luôn thấp hơn. Bản thân điều này không sai nếu nhất quán với mọi bài, nhưng khi mỗi giám khảo chỉ chấm một phần bài, nó tạo bất công. Ban tổ chức thường xử lý bằng cách chuẩn hoá điểm; phía giám khảo nên biết mình thuộc kiểu nào.
Thiên kiến quen thuộc. Bài có phong cách, đề tài, vùng miền gần với trải nghiệm của giám khảo dễ được hiểu và đánh giá cao hơn. Một giám khảo lớn lên ở Hà Nội có thể đọc bài viết về phố cổ với nhiều liên tưởng, trong khi bài về đời sống sông nước ở Cà Mau cần được đọc chậm hơn để thấy cái hay.
Thiên kiến xác nhận. Khi đã có ấn tượng ban đầu, bạn có xu hướng tìm chi tiết khẳng định ấn tượng đó và lướt qua chi tiết trái ngược. Đọc lần hai với bảng tiêu chí giúp phá vòng này.
Mệt mỏi khi phải quyết định liên tục. Sau nhiều quyết định, người ta dễ chọn phương án mặc định hoặc an toàn. Với giám khảo, phương án an toàn thường là điểm trung bình hoặc giữ nguyên ý kiến của người khác trong buổi thảo luận.
Ảnh hưởng của người nói trước. Trong buổi bàn bạc chung, ý kiến của người có uy tín hoặc người nói đầu tiên dễ kéo cả ban theo. Nhiều ban giám khảo yêu cầu mọi người ghi điểm độc lập trước khi thảo luận vì lý do này.
Dấu hiệu tự nhận ra và cách sửa
Bảng sau là công cụ để giám khảo tự soát sau mỗi lượt chấm. Bạn không cần ghi chép phức tạp; chỉ cần nhìn lại cột điểm của mình và đối chiếu.
| Kiểu thiên kiến | Dấu hiệu trong bảng điểm của bạn | Cách sửa |
|---|---|---|
| Hiệu ứng thứ tự | Điểm trung bình của mười bài đầu khác hẳn mười bài cuối dù chất lượng không rõ khác | Chấm lại vài bài đầu sau khi đã quen mặt bằng; xin xáo thứ tự bài |
| Hào quang | Một bài có điểm gần như bằng nhau ở mọi tiêu chí, cao hoặc thấp đều | Chấm từng tiêu chí riêng, viết một lý do cho mỗi điểm |
| Chấm giữa | Gần như không có điểm ở hai đầu thang | Đọc lại mô tả mức cao nhất và thấp nhất, đối chiếu với bài thật |
| Mệt mỏi | Lời nhận xét cuối buổi ngắn dần, điểm dao động thất thường | Chia lượt ngắn, nghỉ giữa giờ, không chấm khi quá mệt |
| Ảnh hưởng người khác | Bạn thường đổi điểm sau khi nghe người có uy tín phát biểu | Ghi điểm độc lập trước, chỉ đổi khi có lý do gắn với tiêu chí |
Nếu bảng điểm của bạn có một trong các dấu hiệu trên, đó chưa chắc là lỗi. Đôi khi mười bài đầu thật sự yếu hơn. Điều quan trọng là bạn đã nhìn và có câu trả lời cho mình trước khi nộp điểm.
Thói quen cá nhân giúp điểm số vững hơn
Những thói quen dưới đây không tốn nhiều thời gian và đã được nhiều ban giám khảo áp dụng như nề nếp chung. Bạn có thể bắt đầu từ hai ba việc rồi thêm dần.
- Trước buổi chấm, đọc lại thể lệ và bảng tiêu chí, ghi ra bằng lời của mình một bài đạt mức cao nhất trông như thế nào.
- Chấm thử ba đến năm bài làm mốc, không ghi điểm chính thức, để làm quen mặt bằng chung của mùa thi.
- Với mỗi bài, chấm từng tiêu chí theo thứ tự cố định và ghi một cụm từ lý do bên cạnh mỗi điểm.
- Không xem thông tin cá nhân của người dự thi nếu không cần cho việc chấm; nếu hệ thống hiện ra, hãy che hoặc bỏ qua.
- Chia buổi chấm thành các lượt ngắn, nghỉ hẳn giữa các lượt, tránh chấm lúc vội hay lúc tâm trạng xấu.
- Cuối mỗi lượt, nhìn lại cột điểm để tìm dấu hiệu lệch theo bảng ở trên.
- Khi thảo luận với ban, nêu lý do bằng tiêu chí, nghe lý do của người khác cũng bằng tiêu chí, và chỉ đổi điểm khi lý do thuyết phục.
Ban tổ chức cũng có phần việc của mình: chấm ẩn danh, xáo thứ tự bài, có mô tả mức điểm, buổi chấm thử chung để cả ban hiệu chỉnh, và cách chuẩn hoá điểm khi giám khảo lệch nhau. Nếu cuộc thi chưa có những thứ này, giám khảo có thể đề xuất từ khi nhận lời.
Câu hỏi thường gặp
Thiên kiến khi chấm thi có phải là giám khảo thiếu công tâm không?
Không hẳn. Thiếu công tâm là cố ý ưu ái hoặc gây khó cho ai đó, còn thiên kiến là những lệch vô thức mà người ngay thẳng nhất cũng gặp. Cách xử lý vì thế khác nhau: thiếu công tâm cần quy chế và kỷ luật, thiên kiến cần thói quen và quy trình chấm tốt.
Chấm ẩn danh có xoá được hiệu ứng hào quang không?
Chấm ẩn danh loại được phần hào quang đến từ tên tuổi, trường lớp, nơi làm việc của người dự thi. Nó không loại được hào quang đến từ chính bài, như hình thức trình bày đẹp che đi nội dung mỏng. Phần đó cần giám khảo chấm tách từng tiêu chí.
Làm sao biết mình là giám khảo dễ dãi hay khắt khe?
Cách đơn giản là so điểm trung bình của mình với điểm trung bình của cả ban sau một vài lượt chấm. Nếu bạn luôn cao hơn hoặc thấp hơn rõ rệt, bạn thuộc một trong hai kiểu. Không cần đổi tính cách, chỉ cần nhất quán và báo ban tổ chức để họ cân nhắc khi tổng hợp.
Có nên đổi điểm sau khi nghe các giám khảo khác thảo luận?
Có thể, nếu người khác chỉ ra điều bạn đã bỏ sót và điều đó gắn với một tiêu chí. Không nên đổi chỉ vì người nói có uy tín hơn hay vì muốn tránh tranh luận. Ghi điểm độc lập trước buổi thảo luận giúp bạn biết mình đổi vì lý do gì.
Chấm thi sáng tạo vốn cảm tính thì có cần lo về thiên kiến không?
Càng cần. Cuộc thi sáng tạo cho phép cảm nhận cá nhân, nhưng chính vì vậy các lệch như gu riêng, hiệu ứng thứ tự hay mệt mỏi dễ len vào hơn. Bảng tiêu chí có mô tả mức điểm giúp cảm nhận của bạn được diễn đạt rõ, chứ không làm mất cảm nhận đó.
Mỗi lượt chấm nên kéo dài bao lâu để tránh mệt?
Không có con số chung cho mọi loại bài. Ảnh có thể xem nhanh, đề án dài cần nhiều thời gian hơn. Dấu hiệu nên dừng là khi bạn bắt đầu đọc lướt, nhận xét ngắn dần hoặc thấy khó tập trung. Lúc đó nghỉ hẳn một quãng sẽ có ích hơn cố chấm tiếp.