Công cụ tính hệ số ICC làm được gì
Hệ số tương quan nội nhóm (ICC) cho biết các đơn vị trong cùng một nhóm giống nhau đến mức nào. Trên thực tế, nó lượng hóa độ tin cậy của các điểm đánh giá hoặc các lần đo lặp lại: bao nhiêu phần trăm biến thiên tổng thể đến từ khác biệt thực sự giữa các đối tượng, thay vì đến từ nhiễu đo lường. Công cụ này tính dạng hiệu ứng ngẫu nhiên một chiều, đo đơn lẻ, tức \(\text{ICC}(1,1)\), chỉ từ một ma trận điểm đánh giá đơn giản.
Cách sử dụng
Mỗi dòng nhập một đối tượng (mục tiêu), và dùng dấu cách hoặc dấu phẩy để phân tách điểm của từng người đánh giá hay từng lần đo lặp lại. Mọi dòng đều phải có cùng số cột \(k\). Công cụ sẽ trả về giá trị ICC cùng với số đối tượng \(n\), số người đánh giá \(k\), và các trung bình bình phương giữa các đối tượng và trong nội bộ đối tượng.
Giải thích công thức
ICC được xây dựng từ phân tích phương sai. Với \(n\) đối tượng và mỗi đối tượng có \(k\) lần đo, công thức hiển thị như sau:
$$\text{ICC}(1,1) = \frac{MS_B - MS_W}{MS_B + (k-1)\,MS_W}$$
Trong đó \(MS_B = \frac{SS_B}{n-1}\) là trung bình bình phương giữa các đối tượng, còn \(MS_W = \frac{SS_W}{n(k-1)}\) là trung bình bình phương trong nội bộ đối tượng. Giá trị gần \(1\) thể hiện mức độ đồng thuận rất cao, trong khi giá trị gần \(0\) cho thấy độ tin cậy kém.
Ví dụ minh họa
Xét ba đối tượng được hai người chấm điểm: \((1,2)\), \((3,4)\), \((5,6)\). Trung bình chung là \(3.5\). Từ đó ta có \(MS_B = 8\) và \(MS_W = 0.5\), nên:
$$\text{ICC} = \frac{8 - 0.5}{8 + (2-1)\times 0.5} = \frac{7.5}{8.5} \approx 0.882$$
Giá trị ICC bằng \(0.88\) phản ánh độ tin cậy từ tốt đến rất cao giữa hai người đánh giá.
Cách tính ICC bằng tay
Công thức dưới đây là ICC(1,1) — hệ số đo lường đơn từ mô hình hiệu ứng ngẫu nhiên một chiều. Đây là một phương pháp thống kê tổng quát (không gắn với bất kỳ quốc gia hay tiêu chuẩn quốc gia nào) và được sử dụng rộng rãi trong các nghiên cứu về độ tin cậy và độ tương đồng. Chúng ta sẽ đi qua một ví dụ nhỏ với ba đối tượng, mỗi đối tượng được đánh giá bởi hai người đánh giá: các điểm đánh giá là \((1,2)\), \((3,4)\) và \((5,6)\), vậy \(n = 3\) đối tượng và \(k = 2\) người đánh giá.
-
Sắp xếp ma trận và tìm trung bình chung. Bố trí dữ liệu với mỗi đối tượng trên một hàng và mỗi người đánh giá trên một cột, sau đó lấy trung bình tất cả \(n\cdot k\) giá trị.
$$\bar{x} = \frac{1+2+3+4+5+6}{6} = \frac{21}{6} = 3.5$$ -
Tính trung bình hàng của mỗi đối tượng.
$$\bar{x}_1 = \frac{1+2}{2} = 1.5,\qquad \bar{x}_2 = \frac{3+4}{2} = 3.5,\qquad \bar{x}_3 = \frac{5+6}{2} = 5.5$$ -
Tổng bình phương giữa các đối tượng \(\text{SS}_B = k\sum(\bar{x}_i - \bar{x})^2\):
$$\text{SS}_B = 2\left[(1.5-3.5)^2 + (3.5-3.5)^2 + (5.5-3.5)^2\right] = 2\left[4 + 0 + 4\right] = 16$$ -
Tổng bình phương trong nội bộ đối tượng \(\text{SS}_W = \sum\sum (x_{ij} - \bar{x}_i)^2\), cộng các độ lệch bình phương của mỗi giá trị so với trung bình hàng của chính nó:
$$\text{SS}_W = \underbrace{(0.25+0.25)}_{\text{hàng }1} + \underbrace{(0.25+0.25)}_{\text{hàng }2} + \underbrace{(0.25+0.25)}_{\text{hàng }3} = 1.5$$ -
Chia cho bậc tự do để có các trung bình bình phương, dùng \(df_B = n-1\) và \(df_W = n(k-1)\):
$$\text{MS}_B = \frac{\text{SS}_B}{n-1} = \frac{16}{3-1} = 8,\qquad \text{MS}_W = \frac{\text{SS}_W}{n(k-1)} = \frac{1.5}{3(2-1)} = 0.5$$ -
Thay vào công thức ICC(1,1):
$$\text{ICC}(1,1) = \frac{\text{MS}_B - \text{MS}_W}{\text{MS}_B + (k-1)\,\text{MS}_W} = \frac{8 - 0.5}{8 + (2-1)(0.5)} = \frac{7.5}{8.5} \approx 0.882$$
Đối với tập dữ liệu này, hệ số tương quan nội lớp là 0.882, cho thấy độ tương đồng mạnh — độ biến thiên giữa các đối tượng vượt xa độ biến thiên trong các điểm đánh giá lặp lại của một đối tượng.
Các thuật ngữ và biến số chính
- Hệ số tương quan nội lớp (ICC) — một giá trị (thường nằm giữa 0 và 1) định lượng mức độ giống nhau của các phép đo trong cùng một nhóm; được dùng để đánh giá độ tương đồng và độ tin cậy giữa các người đánh giá hoặc các phép đo lặp lại. Giá trị càng cao nghĩa là độ nhất quán càng lớn.
- Đối tượng / mục tiêu — vật thể được đo (một người, một mẫu, hoặc một mục). Trong ma trận điểm đánh giá, mỗi đối tượng là một hàng.
- Người đánh giá — người, dụng cụ, hoặc lần đo tạo ra một điểm đánh giá. Mỗi người đánh giá (hoặc phép đo lặp lại) là một cột của ma trận.
- \(n\) (số đối tượng) — số hàng trong ma trận, tức là có bao nhiêu mục tiêu riêng biệt được đánh giá. Bậc tự do của nó là \(n-1\).
- \(k\) (số người đánh giá / phép đo) — số cột, tức là mỗi đối tượng nhận được bao nhiêu điểm đánh giá.
- \(\text{SS}_B\) và \(\text{MS}_B\) (giữa các đối tượng) — \(\text{SS}_B = k\sum(\bar{x}_i-\bar{x})^2\) đo mức độ khác biệt của trung bình hàng các đối tượng so với trung bình chung; trung bình bình phương giữa các đối tượng \(\text{MS}_B = \text{SS}_B/(n-1)\) nắm bắt sự khác biệt thực sự giữa các đối tượng.
- \(\text{SS}_W\) và \(\text{MS}_W\) (trong nội bộ đối tượng) — \(\text{SS}_W = \sum\sum(x_{ij}-\bar{x}_i)^2\) đo độ phân tán các điểm đánh giá của một đối tượng quanh trung bình của chính nó; trung bình bình phương trong nội bộ đối tượng \(\text{MS}_W = \text{SS}_W/[n(k-1)]\) phản ánh sai số đo lường hoặc sự bất đồng giữa các người đánh giá.
- Mô hình hiệu ứng ngẫu nhiên một chiều — mô hình đằng sau ICC(1,1): mỗi đối tượng được đánh giá bởi một tập hợp người đánh giá (có thể khác nhau) được chọn ngẫu nhiên, và chỉ có hiệu ứng của đối tượng được mô hình hóa. Nó trả lời câu hỏi "một điểm đánh giá đơn lẻ từ một người đánh giá được chọn ngẫu nhiên có độ tin cậy như thế nào?"
- Đo lường đơn so với đo lường trung bình — ICC đo lường đơn ước lượng độ tin cậy của một điểm đánh giá cá thể, trong khi ICC đo lường trung bình ước lượng độ tin cậy của trung bình tất cả \(k\) điểm đánh giá. Giá trị đo lường trung bình luôn cao hơn vì việc lấy trung bình làm giảm sai số.
- Độ tương đồng / độ tin cậy — độ tin cậy là tỷ lệ của tổng phương sai do sự khác biệt thực sự giữa các đối tượng; độ tương đồng còn đòi hỏi thêm rằng các người đánh giá đưa ra cùng những giá trị tuyệt đối, chứ không chỉ xếp hạng các đối tượng một cách nhất quán. ICC(1,1) phản ánh độ tương đồng tuyệt đối trong mô hình một chiều.
Câu hỏi thường gặp
Giá trị ICC bao nhiêu là tốt? Theo hướng dẫn phổ biến, giá trị dưới \(0.5\) là kém, từ \(0.5\)–\(0.75\) là trung bình, từ \(0.75\)–\(0.9\) là tốt, và trên \(0.9\) là rất tốt.
Công cụ này dùng mô hình ICC nào? Công cụ báo cáo mô hình hiệu ứng ngẫu nhiên một chiều, đo đơn lẻ, tức \(\text{ICC}(1,1)\), phù hợp khi mỗi đối tượng được một nhóm người đánh giá khác nhau chấm điểm.
ICC có thể âm không? Có. Khi biến thiên trong nội bộ đối tượng lớn hơn biến thiên giữa các đối tượng, ICC có thể hơi âm, và điều này thường được hiểu là không có sự đồng thuận.