GiamKhao.comGiám Khảo
Tiêu chí và thang điểm chấm

Chấm thử trước vòng chấm chính thức: buổi thống nhất thang điểm của ban giám khảo

Cách tổ chức buổi chấm thử cho ban giám khảo: chọn bài mẫu, chấm độc lập, so độ chênh, bàn từng tiêu chí và chốt cách hiểu thang điểm trước khi chấm thật.

Four Vietnamese adults around a round table in a quiet Lam Dong guesthouse lounge, passing blank paper sheets to each other, seen from a high corner, soft green tones

Chấm thử là buổi các giám khảo cùng chấm một nhóm nhỏ bài mẫu một cách độc lập, rồi so điểm và bàn cho đến khi hiểu thang điểm giống nhau. Rubric dù viết kỹ đến đâu cũng được mỗi người đọc qua lăng kính kinh nghiệm riêng. Một giám khảo quen chấm cuộc thi chuyên nghiệp sẽ thấy bài nghiệp dư nào cũng yếu; một giám khảo quen làm việc với người mới sẽ thấy bài nào cũng có điểm đáng khen. Chỉ khi đặt điểm của họ cạnh nhau trên cùng một bài, sự khác biệt mới hiện ra.

Buổi chấm thử thường chỉ tốn một đến hai giờ nhưng là bước giảm chênh lệch điểm hiệu quả nhất trong cả quy trình, rẻ hơn mọi phép chuẩn hoá thống kê ở cuối. Bài này hướng dẫn chuẩn bị, chạy buổi chấm thử, đọc kết quả và chốt những gì cần chốt trước khi chấm thật.

Chuẩn bị bài mẫu

Chất lượng của buổi chấm thử phụ thuộc gần hết vào bộ bài mẫu. Thư ký hồ sơ chuẩn bị theo các bước:

  1. Chọn từ năm đến tám bài trong số bài đã nộp, đã che danh tính, hoặc bài của mùa trước nếu được tác giả đồng ý. Ít hơn năm bài thì khó thấy xu hướng; nhiều hơn tám thì buổi chấm kéo dài và giám khảo mệt.
  2. Chọn có chủ đích, không ngẫu nhiên hoàn toàn: ít nhất một bài rõ ràng yếu, một bài rõ ràng mạnh, và phần còn lại ở khúc giữa, nơi chênh lệch giữa giám khảo hay xảy ra nhất.
  3. Thêm một hai bài khó: bài mạnh ở tiêu chí này nhưng yếu ở tiêu chí kia, bài có phong cách lạ, bài nằm sát ranh giới lạc đề. Đây là những bài làm lộ ra chỗ rubric chưa rõ.
  4. Gửi cho giám khảo cùng rubric, nhưng không kèm bất kỳ gợi ý nào về mức của từng bài.
  5. Chuẩn bị sẵn bảng tổng hợp để nhập điểm nhanh và hiển thị điểm mọi giám khảo cạnh nhau theo từng bài, từng tiêu chí.

Nếu dùng bài của mùa thi đang diễn ra, bài mẫu vẫn được chấm lại trong vòng chính thức như các bài khác. Giám khảo được dặn không mang theo điểm đã cho ở buổi chấm thử, vì sau khi bàn, cách hiểu của họ đã thay đổi; đó chính là mục đích.

Chạy buổi chấm thử

Buổi chấm thử có hai phần tách biệt. Phần một, mỗi giám khảo chấm độc lập toàn bộ bài mẫu, không trao đổi, không xem điểm của nhau. Có thể làm trước ở nhà nếu bài là ảnh hay bài viết, hoặc tại chỗ nếu bài cần xem trực tiếp. Điều quan trọng là mọi người nộp điểm trước khi bắt đầu phần hai.

Phần hai, thư ký hiển thị điểm của mọi giám khảo cạnh nhau, đi lần lượt từng bài. Với mỗi bài, bắt đầu từ tiêu chí có độ chênh lớn nhất. Người cho điểm cao nhất và người cho điểm thấp nhất lần lượt giải thích mình dựa vào đâu trên bài và vào câu chữ nào của rubric. Thường chỉ sau vài lượt như vậy, hội đồng nhận ra chỗ hiểu khác nhau: một người coi tiêu chí kỹ thuật bao gồm cả hậu kỳ, người kia không; một người hiểu bám chủ đề là đúng nghĩa đen, người kia chấp nhận cách hiểu ẩn dụ.

Người điều phối, thường là trưởng ban hoặc một thành viên ban tổ chức không chấm, giữ cho cuộc bàn tập trung vào cách hiểu thang điểm chứ không phải tranh luận bài nào hay hơn. Mục tiêu không phải để mọi người cho cùng một điểm, mà để mỗi người dùng thang theo cùng một cách hiểu, và khác nhau chỉ vì đánh giá chuyên môn khác nhau.

Đọc kết quả chấm thử: ví dụ giả định

Bốn giám khảo chấm ba bài mẫu, điểm tổng có trọng số trên thang 10. Hội đồng đặt ngưỡng: độ chênh giữa điểm cao nhất và thấp nhất của một bài trên 2 điểm thì phải bàn kỹ.

Bài mẫuGK1GK2GK3GK4Độ chênhXử lý
Mẫu 16,07,06,59,03,0Bàn kỹ: GK4 cao hơn hẳn
Mẫu 27,58,07,58,00,5Khớp, không cần bàn
Mẫu 34,06,55,05,52,5Bàn kỹ: GK2 cao, GK1 thấp
Trung bình mỗi giám khảo5,837,176,337,50

Đọc theo hàng: mẫu 2, một bài rõ ràng khá, mọi người gần như đồng ý. Mẫu 1 và mẫu 3 là chỗ cách hiểu tách ra. Đọc theo cột: GK1 khắt khe hơn mặt bằng chung, trung bình 17,5 chia 3 bằng khoảng 5,83; GK4 rộng tay nhất, 22,5 chia 3 bằng 7,50, và đặc biệt lệch ở mẫu 1. Ba bài là quá ít để kết luận về một giám khảo, nhưng đủ để biết cần hỏi gì.

Khi bàn mẫu 1, có thể GK4 thấy ở bài một ý tưởng mà người khác bỏ qua, và cả hội đồng nâng điểm. Cũng có thể GK4 hiểu tiêu chí tính mới rộng hơn rubric định. Cả hai kết quả đều có ích: hoặc rubric được làm rõ, hoặc hội đồng học được cách nhìn mới. Điều không nên làm là ép GK4 hạ điểm mà không thống nhất được vì sao.

Chốt gì sau buổi chấm thử

Buổi chấm thử chỉ có giá trị khi kết thúc bằng những điều được ghi lại thành văn bản và gửi cho mọi giám khảo, kể cả người vắng mặt.

  • Cách hiểu thống nhất cho từng tiêu chí gây tranh cãi, viết thành một hai câu bổ sung cho rubric. Ví dụ: tiêu chí kỹ thuật ở cuộc thi ảnh bao gồm cả chỉnh sửa hậu kỳ trong giới hạn thể lệ cho phép.
  • Bài mẫu neo cho các mức, chọn từ chính bộ bài mẫu, kèm lý do ngắn.
  • Quy ước dùng thang: điểm 9 trở lên dành cho bài thế nào, điểm dưới 5 dành cho bài thế nào, bước điểm lẻ là bao nhiêu.
  • Ngưỡng chênh lệch mà khi vượt qua trong vòng chấm chính thức, thư ký sẽ đưa bài ra hội đồng xem lại.
  • Những câu hỏi chưa giải quyết, và ai sẽ quyết định trước ngày chấm chính thức.

Phần ghi lại này không được làm thay đổi tiêu chí hay trọng số đã công bố trong thể lệ. Nó chỉ làm rõ cách hiểu. Nếu buổi chấm thử phát hiện một tiêu chí thật sự sai, không đo được hay bất công với một nhóm người dự thi, ban tổ chức phải cân nhắc kỹ giữa việc sửa và thông báo công khai, với việc giữ nguyên và ghi nhận để sửa cho mùa sau.

Chấm thử cho vòng thuyết trình và chấm trực tiếp

Với vòng thuyết trình ý tưởng, phần bảo vệ của đội hackathon hay phần trình diễn tay nghề, không thể gửi bài mẫu cho giám khảo xem trước. Có hai cách làm thay. Cách thứ nhất là dùng bản ghi hình phần trình bày của mùa trước, nếu người trình bày đồng ý, để giám khảo chấm độc lập rồi so điểm như với bài nộp. Cách thứ hai là cho đội đầu tiên trình bày đóng vai bài mẫu: giám khảo chấm, thư ký so điểm ngay trong giờ nghỉ, hội đồng bàn nhanh những chênh lệch lớn rồi mới chấm tiếp các đội sau.

Cách thứ hai có một vấn đề về công bằng: đội đầu tiên được chấm trước khi hội đồng thống nhất cách hiểu. Để bù lại, quy chế có thể cho phép giám khảo xem lại điểm của đội đầu tiên sau khi đã bàn, hoặc chọn một đội không dự thi, ví dụ một nhóm nhân viên ban tổ chức, trình bày thử. Điều cần tránh là chấm đội đầu theo một thước và các đội sau theo thước khác mà không ai nói ra.

Chấm thử khi giám khảo ở xa, chấm trực tuyến

Nhiều cuộc thi hiện nay có giám khảo ở các tỉnh thành khác nhau, chấm trên mạng. Buổi chấm thử vẫn làm được, chỉ cần tách hai phần rõ hơn. Phần chấm độc lập làm qua bảng điểm chung có khoá: mỗi giám khảo chỉ thấy cột của mình cho đến khi mọi người nộp đủ. Phần bàn làm qua một cuộc gọi video ngắn, thư ký chia sẻ bảng tổng hợp và đi lần lượt từng bài có độ chênh vượt ngưỡng.

Cuộc gọi trực tuyến dễ bị một hai người nói nhiều chiếm thời gian, nên người điều phối cần gọi tên từng người theo thứ tự đã định, và giữ thời lượng cho mỗi bài. Sau cuộc gọi, bản ghi kết luận phải được gửi bằng văn bản cho mọi giám khảo trong ngày, vì trao đổi qua mạng dễ quên hơn trao đổi trực tiếp. Nếu có giám khảo không dự được cuộc gọi, họ nhận bản ghi và bộ bài mẫu neo, rồi xác nhận đã đọc trước khi được mở quyền chấm chính thức.

Những lỗi hay gặp khi tổ chức chấm thử

Bàn trước, chấm sau. Khi giám khảo xem bài cùng nhau và bàn ngay, điểm sau đó phản ánh ý kiến của người nói nhiều nhất, không phải cách hiểu riêng của từng người. Độ chênh thật không bao giờ lộ ra, và buổi chấm thử mất tác dụng.

Chỉ chọn bài dễ. Bộ bài mẫu toàn bài rõ ràng mạnh hoặc rõ ràng yếu cho ra điểm khớp nhau, tạo cảm giác hội đồng đã đồng thuận. Rồi vào vòng chính thức, gặp bài khúc giữa, điểm lại chênh như thường.

Biến buổi chấm thử thành buổi phê bình giám khảo. Giám khảo có điểm lệch cảm thấy bị chỉ trích sẽ phòng thủ hoặc lặng lẽ chấm về mức giữa cho an toàn. Người điều phối cần nói rõ từ đầu rằng mục đích là tìm chỗ rubric chưa rõ, không phải tìm ai chấm sai.

Giám khảo khách mời không dự. Người không dự chấm thử thường là người chấm lệch nhất trong vòng chính thức. Nếu không thể dự, họ ít nhất phải nhận bản ghi kết quả và bộ bài mẫu neo, và chấm thử riêng vài bài để thư ký so với mặt bằng chung.

Không làm lại giữa mùa. Với vòng chấm kéo dài nhiều ngày, cách hiểu của giám khảo trôi dần. Một buổi chấm thử ngắn giữa chừng với hai ba bài giúp kéo mọi người về cùng một thước.

Câu hỏi thường gặp

Cuộc thi nhỏ có cần buổi chấm thử không?

Nên có, kể cả ở dạng rút gọn: ba bài mẫu, ba giám khảo, ba mươi phút qua gọi video. Cuộc thi nhỏ thường có ít giám khảo, nên một người lệch ảnh hưởng tới kết quả nhiều hơn so với hội đồng đông.

Có nên trả điểm buổi chấm thử cho giám khảo xem không?

Có, và đó là phần chính của buổi. Giám khảo cần thấy điểm của mình đặt cạnh điểm đồng nghiệp trên cùng bài mới nhận ra mình đang dùng thang thế nào. Không cần ghi tên lên bảng nếu sợ ngại, nhưng mỗi người cần biết cột nào là của mình.

Độ chênh bao nhiêu thì coi là chấp nhận được?

Tuỳ thang và loại cuộc thi. Với thang 10 chấm bài sáng tạo, độ chênh dưới khoảng 1,5 đến 2 điểm giữa cao nhất và thấp nhất thường là bình thường. Quan trọng hơn con số là ngưỡng phải được thống nhất và áp dụng như nhau trong vòng chính thức.

Sau chấm thử giám khảo vẫn lệch nhiều thì làm gì?

Xem lại rubric và bài mẫu neo, có thể cần thêm một vòng chấm thử ngắn. Nếu chỉ một giám khảo lệch kéo dài và không thống nhất được cách hiểu, ban tổ chức có thể cân nhắc quy tắc loại điểm hoặc chuẩn hoá đã ghi trong quy chế, và rút kinh nghiệm khi mời giám khảo mùa sau.

Ai nên điều phối buổi chấm thử?

Người hiểu rubric, có uy tín với hội đồng nhưng không áp đặt. Thường là trưởng ban giám khảo, hoặc một thành viên ban tổ chức có kinh nghiệm chấm nhưng không chấm cuộc thi này, để người điều phối không có điểm riêng cần bảo vệ.

Có thể dùng lại bộ bài mẫu cho mùa sau không?

Được nếu tác giả đồng ý và thể lệ mùa trước có điều khoản cho phép ban tổ chức dùng bài nội bộ cho việc tập huấn. Bộ bài mẫu ổn định qua nhiều mùa giúp so sánh được cách chấm giữa các năm và đỡ công chuẩn bị.

Cần tư vấn cụ thể cho trường hợp của bạn?

Chúng tôi sẽ liên hệ trong vòng 24 giờ.

Đăng ký tư vấn ngay

Bài viết liên quan

Bạn cần hỗ trợ thêm?

Để lại thông tin, chúng tôi sẽ liên hệ trong 24 giờ.

hoặc
Gọi ngay 0926 138 138