GiamKhao.comGiám Khảo
Tiêu chí và thang điểm chấm

Chuẩn hoá điểm giám khảo chấm lệch: cách quy đổi điểm z bằng bảng tính

Khi giám khảo chấm rộng tay, khắt khe hoặc dùng thang hẹp, điểm cộng thô bị lệch. Cách chuẩn hoá bằng điểm z, ví dụ tính tay và khi nào không nên dùng.

Wide shot of four Vietnamese adults seated apart in a quiet Hai Phong conference room, each reviewing blank scoring sheets in silence, grey morning light through tall windows

Chuẩn hoá điểm là cách đưa điểm của các giám khảo về cùng một thước, để giám khảo chấm rộng tay hay dùng thang rộng không vô tình có tiếng nói lớn hơn người khác. Hai giám khảo cùng chấm thang 10: một người cho mọi bài từ 6,5 đến 8, người kia cho từ 5 đến 9. Khi cộng điểm thô, người thứ hai quyết định thứ hạng nhiều hơn hẳn, chỉ vì họ dùng thang rộng hơn, không phải vì họ đúng hơn.

Bài này giải thích vì sao điều đó xảy ra, cách chuẩn hoá bằng điểm z với một ví dụ giả định tính đầy đủ từng bước, và những điều kiện cần có để chuẩn hoá có ý nghĩa. Mọi phép tính làm được bằng bảng tính thông thường; phần cuối nói khi nào không nên chuẩn hoá mà nên làm việc khác.

Ba kiểu chấm lệch thường gặp

Lệch mức. Một giám khảo khắt khe cho mọi bài thấp hơn đồng nghiệp chừng một điểm. Nếu mọi giám khảo chấm đủ mọi bài, lệch mức không làm đổi thứ hạng, vì mọi bài đều bị trừ như nhau. Nhưng nếu mỗi giám khảo chấm một nhóm bài khác nhau, nhóm rơi vào tay người khắt khe sẽ thiệt.

Lệch độ rộng. Một giám khảo dùng thang hẹp, mọi bài nằm trong khoảng hai điểm; người khác dùng thang rộng gấp đôi. Đây là kiểu lệch nguy hiểm nhất khi cộng điểm thô, vì người dùng thang rộng chi phối thứ hạng dù mọi người chấm đủ mọi bài.

Lệch khẩu vị. Một giám khảo thích một phong cách mà các giám khảo khác không thích. Đây là khác biệt chuyên môn thật, chuẩn hoá không sửa được và cũng không nên sửa. Đó là lý do có nhiều giám khảo: ý kiến khác nhau được giữ lại và cân bằng bởi số đông, thay vì bị san phẳng bằng phép tính.

Điểm z là gì

Điểm z của một bài theo một giám khảo cho biết bài đó cao hơn hay thấp hơn mức trung bình của chính giám khảo đó bao nhiêu lần độ lệch chuẩn của họ. Công thức: lấy điểm của bài trừ đi điểm trung bình giám khảo đó cho các bài, rồi chia cho độ lệch chuẩn các điểm giám khảo đó đã cho. Điểm z bằng 0 nghĩa là bài ở đúng mức trung bình trong mắt giám khảo đó; z bằng 1 nghĩa là cao hơn trung bình một độ lệch chuẩn.

Sau khi đổi sang điểm z, mọi giám khảo có cùng trung bình là 0 và cùng độ lệch chuẩn là 1. Lệch mức và lệch độ rộng biến mất; điều còn lại chỉ là thứ tự và khoảng cách tương đối mà mỗi giám khảo đặt giữa các bài. Cộng hoặc lấy trung bình điểm z của các giám khảo cho mỗi bài, ta có điểm tổng hợp mà trong đó mỗi giám khảo có tiếng nói ngang nhau.

Bảng tính thông dụng có sẵn hàm tính trung bình, độ lệch chuẩn và cả hàm chuẩn hoá trực tiếp. Có hai cách tính độ lệch chuẩn, chia cho số bài hoặc chia cho số bài trừ một. Với mục đích xếp hạng, chọn cách nào cũng được, miễn áp dụng như nhau cho mọi giám khảo; thứ hạng cuối cùng không đổi.

Ví dụ giả định: hai giám khảo, bốn bài

Hai giám khảo chấm cùng bốn bài P, Q, R, S trên thang 10. Giám khảo 1 dùng thang hẹp, giám khảo 2 dùng thang rộng. Bảng dưới tính điểm z với độ lệch chuẩn chia cho số bài, làm tròn bốn chữ số khi tính và hai chữ số khi trình bày.

BàiGK1GK2Tổng thôHạng thôz GK1z GK2Tổng zHạng z
P7,09,016,01−0,451,260,821
Q8,05,013,041,34−1,260,082
R7,56,013,530,45−0,63−0,193
S6,58,014,52−1,340,63−0,714

Cách tính: giám khảo 1 có trung bình 7,25, các độ chênh là −0,25; 0,75; 0,25; −0,75, độ lệch chuẩn khoảng 0,559. Giám khảo 2 có trung bình 7,0, các độ chênh là 2; −2; −1; 1, độ lệch chuẩn khoảng 1,581. Chia từng độ chênh cho độ lệch chuẩn của giám khảo tương ứng ra điểm z trong bảng. Cột tổng z dùng giá trị chưa làm tròn, nên có thể lệch một đơn vị ở chữ số cuối so với cộng hai cột đã làm tròn.

Điều đáng chú ý là thứ hạng thay đổi đáng kể. Theo tổng thô, bài S đứng thứ hai và Q đứng cuối, vì giám khảo 2 dùng thang rộng nên ý kiến của họ áp đảo. Sau chuẩn hoá, Q lên thứ hai vì giám khảo 1 xếp Q cao nhất với khoảng cách rõ, còn S xuống cuối vì giám khảo 1 xếp S thấp nhất. Bốn bài là quá ít để chuẩn hoá trong thực tế; ví dụ chỉ để minh hoạ cơ chế.

Phát hiện giám khảo chấm lệch trước khi tổng hợp

Không phải lúc nào cũng cần chuẩn hoá. Trước khi quyết định, thư ký nên đặt các cột điểm của giám khảo cạnh nhau và nhìn ba con số đơn giản cho mỗi người: điểm trung bình, điểm thấp nhất, điểm cao nhất. Nếu trung bình các giám khảo cách nhau dưới nửa điểm và khoảng từ thấp nhất tới cao nhất tương đương nhau, điểm thô đã đủ tốt.

Dấu hiệu cần xử lý là khi một giám khảo có khoảng điểm hẹp hơn hẳn người khác, ví dụ chỉ dùng hai điểm trong khi đồng nghiệp dùng năm điểm, hoặc khi trung bình chênh nhau trên một điểm và các giám khảo lại chấm những nhóm bài khác nhau. Một kiểm tra nhanh nữa: xếp hạng bài theo từng giám khảo rồi so. Nếu thứ hạng của các giám khảo gần giống nhau mà điểm thô khác nhau, đó là lệch thang, chuẩn hoá giúp được. Nếu thứ hạng khác hẳn nhau, đó là khác biệt chuyên môn, chuẩn hoá không giải quyết được và hội đồng cần ngồi lại.

Phát hiện được sớm, ngay sau một phần ba số bài, thì có thể nhắc giám khảo điều chỉnh cách dùng thang cho phần còn lại thay vì sửa bằng toán ở cuối. Cách đó dễ giải thích hơn nhiều.

Điều kiện để chuẩn hoá có ý nghĩa

Chuẩn hoá điểm z dựa trên một giả định ngầm: các nhóm bài mà mỗi giám khảo chấm có chất lượng tương đương nhau. Khi giả định này sai, chuẩn hoá có thể làm hại nhiều hơn làm lợi.

  • Mỗi giám khảo chấm đủ nhiều bài. Với dưới khoảng mười lăm, hai mươi bài, trung bình và độ lệch chuẩn của một giám khảo dao động mạnh theo vài bài cụ thể, điểm z không ổn định.
  • Bài được phân cho giám khảo một cách ngẫu nhiên. Nếu một giám khảo được giao toàn bài mạnh vì phân theo hạng mục hay theo thứ tự nộp, điểm z sẽ kéo bài mạnh của họ xuống ngang bài trung bình của người khác.
  • Mọi giám khảo chấm cùng bộ bài, hoặc các bộ bài chồng lên nhau đáng kể. Đây là trường hợp lý tưởng: giả định chất lượng tương đương gần như tự đúng.
  • Giám khảo có dùng thang. Một giám khảo cho mọi bài cùng một điểm có độ lệch chuẩn bằng 0, phép chia không thực hiện được. Thực tế, giám khảo dùng thang quá hẹp nên được nhắc từ buổi chấm thử, không đợi đến lúc tổng hợp.
  • Thể lệ hoặc quy chế chấm đã nói trước. Chuẩn hoá làm đổi thứ hạng. Áp dụng mà không báo trước sẽ khiến thí sinh và chính giám khảo thấy bất ngờ, và dễ bị coi là chỉnh kết quả.

Nếu không đủ điều kiện, có những cách đơn giản hơn: bảo đảm mọi giám khảo chấm mọi bài ở vòng chung khảo, dùng trung vị thay cho trung bình, hoặc chuyển sang xếp thứ tự rồi cộng hạng. Các cách này ít nhạy với chuyện giám khảo dùng thang khác nhau.

Lập bảng tính chuẩn hoá cho một vòng chấm

Các bước dưới đây áp dụng cho vòng mà mọi giám khảo cùng chấm một bộ bài, hoặc các bộ được phân ngẫu nhiên và đủ lớn.

  1. Mỗi giám khảo một cột điểm, mỗi bài một hàng. Nếu chấm nhiều tiêu chí, tính điểm có trọng số của từng giám khảo cho từng bài trước, rồi mới chuẩn hoá điểm tổng đó.
  2. Dưới mỗi cột, tính trung bình và độ lệch chuẩn của giám khảo đó. Kiểm tra nhanh: giám khảo nào có độ lệch chuẩn nhỏ bất thường so với người khác thì xem lại, có thể họ chưa dùng thang.
  3. Tạo bảng thứ hai cùng kích thước, mỗi ô là điểm z: điểm gốc trừ trung bình cột, chia cho độ lệch chuẩn cột.
  4. Tính trung bình điểm z của mỗi hàng. Đây là điểm tổng hợp của bài.
  5. Nếu cần trình bày trên thang quen thuộc, quy đổi ngược: lấy một mức trung bình và độ rộng chung, ví dụ trung bình 7 và độ lệch chuẩn 1, rồi tính 7 cộng với trung bình z nhân 1. Với ví dụ trên, bài P có trung bình z khoảng 0,41, hiển thị thành 7,41.
  6. So thứ hạng trước và sau chuẩn hoá. Bài nào đổi hạng nhiều thì ban giám khảo xem lại để hiểu vì sao, trước khi chốt.

Bước cuối là bước hay bị bỏ qua nhưng quan trọng nhất. Chuẩn hoá là công cụ giúp hội đồng nhìn rõ hơn, không phải bộ máy tự quyết định. Nếu một bài nhảy hạng do một giám khảo cho điểm quá khác thường, đó là lúc hội đồng cần bàn, không phải lúc tin máy móc vào con số.

Chuẩn hoá và những cách làm thay thế

Với cuộc thi nhỏ, nhiều ban tổ chức thấy điểm z khó giải thích với thí sinh. Một bài được 8,5 điểm từ cả ba giám khảo nhưng sau chuẩn hoá lại xếp dưới một bài có điểm thô thấp hơn sẽ gây thắc mắc, và câu trả lời bằng độ lệch chuẩn không làm ai yên lòng. Trong những trường hợp đó, ngăn lệch từ đầu thường tốt hơn sửa lệch về sau.

Ngăn lệch từ đầu nghĩa là rubric có mô tả mức rõ cho từng tiêu chí, có bài mẫu neo, có buổi chấm thử để giám khảo thấy mình dùng thang thế nào so với đồng nghiệp. Khi các giám khảo đã được hiệu chỉnh tốt, điểm thô của họ gần nhau về mức và độ rộng, và chuẩn hoá chỉ còn đổi thứ hạng ở mức rất nhỏ.

Một cách thay thế khác là cộng hạng thay vì cộng điểm: mỗi giám khảo xếp thứ tự bài, rồi cộng thứ hạng. Cách này hoàn toàn miễn nhiễm với lệch mức và lệch độ rộng, nhưng bỏ mất thông tin về khoảng cách giữa các bài. Hợp với vòng chung khảo ít bài, ít hợp với vòng sơ khảo hàng trăm bài.

Câu hỏi thường gặp

Có cần chuẩn hoá nếu mọi giám khảo đều chấm mọi bài không?

Lệch mức thì không ảnh hưởng thứ hạng khi mọi người chấm đủ mọi bài, nhưng lệch độ rộng vẫn có. Nếu độ lệch chuẩn của các giám khảo gần nhau, chuẩn hoá gần như không đổi gì; nếu chênh gấp đôi trở lên, nên cân nhắc.

Chuẩn hoá có làm mất ý kiến chuyên môn của giám khảo không?

Không. Thứ tự và khoảng cách tương đối mà mỗi giám khảo đặt giữa các bài được giữ nguyên. Chuẩn hoá chỉ loại bỏ phần chênh do mỗi người dùng thang khác nhau, để mỗi ý kiến có sức nặng ngang nhau.

Giám khảo cho một bài điểm rất khác thường thì chuẩn hoá có xử lý được không?

Không hẳn. Một điểm quá khác thường vẫn để lại dấu trong điểm z và còn làm méo trung bình, độ lệch chuẩn của giám khảo đó. Trường hợp này nên được hội đồng xem lại riêng, hoặc xử lý bằng quy tắc loại điểm cao nhất và thấp nhất nếu có.

Có nên công bố điểm z cho thí sinh không?

Thường không cần. Có thể công bố điểm đã quy đổi về thang quen thuộc, kèm ghi chú trong quy chế rằng điểm đã được chuẩn hoá theo giám khảo. Thí sinh muốn hiểu chi tiết có thể được giải thích riêng khi phúc khảo.

Chuẩn hoá trước hay sau khi nhân trọng số tiêu chí?

Cách đơn giản và phổ biến là tính điểm có trọng số của từng giám khảo trước rồi chuẩn hoá điểm tổng. Chuẩn hoá từng tiêu chí riêng lẻ phức tạp hơn và dễ sai khi số bài ít, chỉ nên làm khi có người hiểu thống kê trong ban tổ chức.

Bao nhiêu giám khảo thì chuẩn hoá bắt đầu có lợi?

Số giám khảo không quan trọng bằng số bài mỗi người chấm. Hai giám khảo mỗi người chấm năm mươi bài chuẩn hoá được; năm giám khảo mỗi người chấm năm bài thì không nên.

Cần tư vấn cụ thể cho trường hợp của bạn?

Chúng tôi sẽ liên hệ trong vòng 24 giờ.

Đăng ký tư vấn ngay

Bài viết liên quan

Bạn cần hỗ trợ thêm?

Để lại thông tin, chúng tôi sẽ liên hệ trong 24 giờ.

hoặc
Gọi ngay 0926 138 138