Loại điểm cao nhất và thấp nhất là quy tắc bỏ đi điểm của giám khảo cho bài cao nhất và giám khảo cho bài thấp nhất, rồi lấy trung bình phần còn lại. Mục đích là giảm ảnh hưởng của một giám khảo cho điểm quá khác thường, dù vì thiên vị, vì hiểu nhầm tiêu chí hay chỉ vì nhầm lẫn. Quy tắc này quen thuộc ở các môn thể thao có giám khảo chấm điểm và đã được nhiều cuộc thi khác mượn lại.
Nhưng quy tắc này không phải lúc nào cũng có lợi. Với ít giám khảo, nó vứt bỏ quá nhiều thông tin; khi điểm thấp có lý do chính đáng, nó che mất đúng tín hiệu cần nghe. Bài này đi qua cách tính với ví dụ giả định, điều kiện để quy tắc phát huy tác dụng, so sánh với trung vị, và những chỗ quy chế hay để hở.
Ví dụ giả định: một điểm khác thường đảo thứ hạng
Năm giám khảo chấm hai bài X và Y trong một cuộc thi ảnh, điểm tổng có trọng số trên thang 10. Giám khảo 5 cho bài X điểm rất thấp so với bốn người còn lại.
| Giám khảo | Bài X | Bài Y |
|---|---|---|
| GK1 | 8,0 | 7,5 |
| GK2 | 8,5 | 7,5 |
| GK3 | 7,5 | 8,0 |
| GK4 | 8,0 | 7,5 |
| GK5 | 3,0 | 7,5 |
| Trung bình cộng cả năm | 7,00 | 7,60 |
| Bỏ cao nhất và thấp nhất | 7,83 | 7,50 |
| Trung vị | 8,0 | 7,5 |
Với trung bình cộng cả năm điểm, bài Y thắng: 38 chia 5 bằng 7,60, so với 35 chia 5 bằng 7,00 của bài X. Khi bỏ điểm cao nhất và thấp nhất, bài X còn 8,0; 7,5; 8,0, trung bình 23,5 chia 3 bằng khoảng 7,83. Bài Y bỏ một điểm 8,0 và một điểm 7,5, còn ba điểm 7,5, trung bình 7,50. Thứ hạng đảo ngược. Trung vị, tức điểm đứng giữa khi xếp năm điểm theo thứ tự, cho kết quả cùng chiều: 8,0 so với 7,5.
Câu hỏi thật không nằm ở phép tính mà ở chỗ điểm 3,0 kia có lý do hay không. Nếu giám khảo 5 nhận ra bài X vi phạm thể lệ mà bốn người kia bỏ sót, quy tắc loại điểm đã xoá mất phát hiện quan trọng nhất. Nếu giám khảo 5 nhầm tiêu chí hay có định kiến, quy tắc đã làm đúng việc của nó.
Cần tối thiểu bao nhiêu giám khảo
Với ba giám khảo, bỏ cao nhất và thấp nhất chỉ còn lại một điểm, tức là trung vị. Hai phần ba ý kiến của hội đồng bị vứt đi. Đây không phải lúc nào cũng sai, nhưng ban tổ chức cần hiểu rằng khi đó quyết định thực chất nằm trong tay giám khảo đứng giữa ở từng bài.
Với bốn giám khảo, còn lại hai điểm, và kết quả rất nhạy với việc hai điểm ở giữa là bao nhiêu. Quy tắc bắt đầu thật sự hữu ích từ năm giám khảo trở lên, khi sau khi bỏ hai đầu vẫn còn ít nhất ba ý kiến. Từ bảy giám khảo, có thể cân nhắc chỉ bỏ một điểm cao nhất và một điểm thấp nhất, hoặc bỏ hai ở mỗi đầu nếu hội đồng lớn hơn nữa, tuỳ quy chế.
Một điểm hay bị quên: số giám khảo thực tế chấm một bài có thể ít hơn số giám khảo trong hội đồng, vì có người rút do xung đột lợi ích, có người vắng. Quy chế phải nói trước khi số giám khảo chấm một bài giảm xuống dưới ngưỡng thì xử lý thế nào: vẫn bỏ hai đầu, chuyển sang trung bình cộng, hay mời giám khảo dự bị. Nếu không nói trước, mọi lựa chọn đưa ra lúc đó đều có thể bị nghi ngờ là chọn để có lợi cho một bài.
Ba tình huống nên cân nhắc quy tắc loại điểm
Quy tắc loại điểm không phải mặc định cho mọi cuộc thi. Nó phát huy tác dụng rõ nhất trong những hoàn cảnh mà các lớp bảo vệ khác yếu đi.
- Vòng chấm trực tiếp không thể chấm mù. Thuyết trình ý tưởng, trình diễn tay nghề, phần bảo vệ của đội hackathon: giám khảo thấy mặt người dự thi, có thể quen biết hoặc có ấn tượng sẵn. Bỏ hai đầu giảm ảnh hưởng của một người thiên vị mà không cần chứng minh ai thiên vị.
- Hội đồng có giám khảo khách mời ít kinh nghiệm chấm. Người nổi tiếng trong nghề được mời để tạo uy tín nhưng không dự buổi chấm thử, có thể dùng thang rất khác đồng nghiệp. Quy tắc loại điểm hạn chế rủi ro này trong khi vẫn giữ được sự có mặt của họ.
- Cuộc thi có áp lực dư luận lớn. Khi kết quả được theo dõi rộng rãi và người dự thi có cộng đồng ủng hộ đông, một quy tắc quen thuộc với công chúng giúp kết quả dễ được chấp nhận hơn, vì ai cũng hiểu rằng một giám khảo không thể một mình quyết định.
Ngược lại, với hội đồng ba giám khảo đã hiệu chỉnh kỹ, chấm mù hoàn toàn trên bài nộp, quy tắc loại điểm thường chỉ làm mất thông tin. Khi đó trung bình cộng kèm ngưỡng lệch buộc xem lại là đủ, và dễ giải thích hơn.
Bỏ điểm ở cấp nào: tổng điểm hay từng tiêu chí
Bỏ ở cấp tổng điểm. Mỗi giám khảo có một điểm tổng có trọng số cho bài; bỏ tổng cao nhất và thấp nhất, lấy trung bình các tổng còn lại. Cách này đơn giản, dễ giải thích, và loại đúng giám khảo có đánh giá chung khác thường.
Bỏ ở cấp từng tiêu chí. Với mỗi tiêu chí, bỏ điểm cao nhất và thấp nhất của tiêu chí đó, lấy trung bình phần còn lại, rồi mới nhân trọng số. Cách này loại được điểm lạ ở từng mặt, nhưng một giám khảo có thể bị loại ở tiêu chí này và được giữ ở tiêu chí kia, khó giải thích hơn khi có khiếu nại.
Hai cách có thể cho kết quả khác nhau. Vì phép bỏ điểm không phải phép tính tuyến tính, áp ở hai cấp khác nhau thường cho số khác nhau, đôi khi đủ để đổi thứ hạng ở nhóm sát nút. Quy chế phải chọn một cấp và ghi rõ. Đổi cấp sau khi đã thấy kết quả là sai nguyên tắc.
Gợi ý thực tế. Phần lớn cuộc thi người lớn nên bỏ ở cấp tổng điểm. Chỉ chọn cấp từng tiêu chí khi có lý do rõ, ví dụ tiêu chí kỹ thuật có giám khảo chuyên môn sâu và giám khảo khách mời khác hẳn nhau về cách nhìn.
Trung bình cộng, bỏ hai đầu và trung vị: so sánh
Ba cách tổng hợp điểm của nhiều giám khảo thường được cân nhắc. Mỗi cách có chỗ mạnh và chỗ yếu riêng.
| Cách tổng hợp | Ưu điểm | Nhược điểm | Hợp khi |
|---|---|---|---|
| Trung bình cộng | Dùng hết thông tin, dễ hiểu, dễ tính | Một điểm lạ kéo lệch cả kết quả | Hội đồng nhỏ, đã hiệu chỉnh tốt, có rubric rõ |
| Bỏ cao nhất và thấp nhất | Giảm ảnh hưởng điểm lạ, quen thuộc với công chúng | Mất thông tin; nhạy với số giám khảo thực tế | Từ năm giám khảo, chấm trực tiếp, khó chấm mù |
| Trung vị | Ít nhạy nhất với điểm lạ | Bỏ qua khoảng cách giữa các điểm; dễ bằng điểm | Hội đồng lẻ, cần kết quả chống thiên vị mạnh |
Không cách nào thay được việc tìm hiểu vì sao một giám khảo cho điểm quá khác. Nhiều quy chế kết hợp: dùng trung bình cộng làm mặc định, nhưng khi một điểm lệch quá ngưỡng định trước so với trung bình các điểm còn lại, ví dụ trên hai điểm ở thang 10, thì hội đồng phải xem lại bài đó trước khi chốt.
Viết quy tắc loại điểm vào quy chế chấm
Quy tắc loại điểm chỉ công bằng khi được viết trước và áp dụng máy móc như nhau cho mọi bài. Các nội dung cần có:
- Áp dụng ở vòng nào, hạng mục nào.
- Bỏ bao nhiêu điểm ở mỗi đầu, áp ở cấp tổng điểm hay từng tiêu chí.
- Khi có nhiều giám khảo cùng cho điểm cao nhất hoặc thấp nhất bằng nhau thì chỉ bỏ một điểm ở mỗi đầu.
- Số giám khảo tối thiểu để áp dụng, và cách tính khi một bài có ít giám khảo hơn ngưỡng.
- Ngưỡng lệch phải đưa ra hội đồng xem lại, nếu có, và ai quyết định sau khi xem lại.
- Số chữ số thập phân giữ trong tính toán và khi công bố.
Mục thứ ba trông hiển nhiên nhưng hay gây tranh cãi. Nếu ba giám khảo cùng cho 8,0 và đó là điểm cao nhất, không ai được bỏ cả ba điểm 8,0; chỉ bỏ một. Viết ra trong quy chế giúp thư ký tính đúng mà không phải hỏi lại.
Trước khi chấm chính thức, thư ký nên chạy thử công thức trên bảng tính với vài bộ điểm giả định có điểm trùng ở hai đầu và có bài thiếu giám khảo. Lỗi công thức phát hiện lúc này chỉ tốn vài phút sửa; phát hiện sau khi đã công bố thì tốn cả uy tín của cuộc thi.
Đừng để quy tắc che mất tín hiệu quan trọng
Điểm thấp bất thường đôi khi là dấu hiệu duy nhất cho thấy bài có vấn đề: giám khảo nhận ra ảnh đã đoạt giải ở cuộc thi khác, bài viết trùng một đoạn đã đăng, ý tưởng giống hệt một sản phẩm có sẵn. Những phát hiện này không nên được xử lý bằng cách cho điểm thấp, mà phải được báo cáo riêng cho trưởng ban để xác minh theo quy trình xử lý vi phạm của thể lệ.
Vì vậy quy chế chấm nên tách hai kênh. Kênh điểm số dùng để đánh giá chất lượng theo tiêu chí, và có thể áp quy tắc loại điểm. Kênh báo cáo dùng để nêu nghi vấn vi phạm, không đi qua phép tính nào, và được hội đồng xem xét trực tiếp. Giám khảo được dặn rõ: nghi bài vi phạm thì không hạ điểm, mà báo cáo.
Tương tự, điểm cao bất thường của một giám khảo cho một bài có thể là dấu hiệu của quan hệ chưa khai báo. Quy tắc loại điểm sẽ lặng lẽ xoá điểm đó, và vấn đề không bao giờ được biết. Thư ký nên ghi lại những trường hợp điểm bị loại lệch nhiều so với phần còn lại, để sau mùa thi ban tổ chức xem có mẫu hình lặp lại ở một giám khảo nào không.
Câu hỏi thường gặp
Ba giám khảo có nên áp dụng loại điểm cao nhất và thấp nhất không?
Thường không nên, vì chỉ còn một điểm và kết quả thực chất là trung vị. Nếu muốn chống điểm lạ với ba giám khảo, dùng trung bình cộng kèm ngưỡng lệch buộc hội đồng xem lại sẽ hợp lý hơn.
Bỏ điểm có làm giám khảo bị coi là chấm sai không?
Không. Điểm bị bỏ chỉ là điểm nằm ở hai đầu trong số điểm của một bài. Mọi giám khảo đều có lúc rơi vào hai đầu. Quy chế nên nói rõ điều này để giám khảo không cảm thấy bị đánh giá.
Có nên công bố điểm của từng giám khảo khi dùng quy tắc loại điểm không?
Tuỳ cuộc thi. Công bố đầy đủ giúp minh bạch, nhưng có thể khiến giám khảo bị thí sinh tìm đến chất vấn. Nhiều nơi công bố điểm từng giám khảo dưới dạng ẩn tên, kèm điểm cuối cùng sau khi bỏ hai đầu.
Bài thiếu một giám khảo do xung đột lợi ích thì tính thế nào?
Theo quy chế đã định trước. Cách hay dùng là nếu số giám khảo còn lại vẫn từ năm trở lên thì vẫn bỏ hai đầu, nếu dưới năm thì lấy trung bình cộng. Điều quan trọng là quy tắc này áp như nhau cho mọi bài rơi vào hoàn cảnh đó.
Có cách nào kiểm tra xem quy tắc loại điểm có làm đổi kết quả không?
Có. Tính song song cả trung bình cộng và trung bình sau khi bỏ hai đầu, rồi so thứ hạng. Nếu thứ hạng nhóm đạt giải giống nhau, quy tắc không ảnh hưởng. Nếu khác, xem bài nào đổi hạng và vì điểm của ai.