Что делает калькулятор ICC-статистики
Внутриклассовый коэффициент корреляции (ICC) показывает, насколько сильно похожи друг на друга объекты внутри одной группы. На практике он измеряет надёжность оценок или повторных измерений: какая доля общей изменчивости объясняется реальными различиями между испытуемыми, а не шумом измерения. Этот инструмент рассчитывает форму с однофакторной моделью случайных эффектов и единичными измерениями — \(\text{ICC}(1,1)\) — на основе простой матрицы оценок.
Как пользоваться калькулятором
Вводите по одному испытуемому (объекту) в каждой строке, а оценки разных экспертов или повторные измерения разделяйте пробелами или запятыми. В каждой строке должно быть одинаковое число столбцов \(k\). Калькулятор возвращает значение ICC, а также число испытуемых \(n\), число экспертов \(k\) и межгрупповой и внутригрупповой средние квадраты.
Разбор формулы
ICC строится на основе дисперсионного анализа. Для \(n\) испытуемых и \(k\) измерений у каждого расчётная формула выглядит так:
$$\text{ICC}(1,1) = \frac{MS_B - MS_W}{MS_B + (k-1)\,MS_W}$$
Здесь \(MS_B = \frac{SS_B}{n-1}\) — межсубъектный средний квадрат, а \(MS_W = \frac{SS_W}{n(k-1)}\) — внутрисубъектный средний квадрат. Значения, близкие к \(1\), говорят об отличной согласованности, а близкие к \(0\) — о низкой надёжности.
Пример расчёта
Возьмём трёх испытуемых, которых оценивают два эксперта: \((1,2)\), \((3,4)\), \((5,6)\). Общее среднее равно \(3.5\). Отсюда получаем \(MS_B = 8\) и \(MS_W = 0.5\), а значит:
$$\text{ICC} = \frac{8 - 0.5}{8 + (2-1)\times 0.5} = \frac{7.5}{8.5} \approx 0.882$$
Значение ICC, равное \(0.88\), отражает хорошую или даже отличную надёжность согласия между двумя экспертами.
Как вычислить ICC вручную
Приведённая ниже формула — это ICC(1,1) — коэффициент для одиночных измерений из однофакторной модели со случайными эффектами. Это общий статистический метод (не привязанный к какой-либо стране или национальному стандарту), широко применяемый в исследованиях надёжности и согласованности. Разберём небольшой пример с тремя объектами, каждый из которых оценивается двумя экспертами: оценки составляют \((1,2)\), \((3,4)\) и \((5,6)\), поэтому \(n = 3\) объекта и \(k = 2\) эксперта.
-
Составьте матрицу и найдите общее среднее. Разместите данные так, чтобы один объект приходился на строку, а один эксперт — на столбец, затем усредните все \(n\cdot k\) значений.
$$\bar{x} = \frac{1+2+3+4+5+6}{6} = \frac{21}{6} = 3.5$$ -
Вычислите среднее по строке для каждого объекта.
$$\bar{x}_1 = \frac{1+2}{2} = 1.5,\qquad \bar{x}_2 = \frac{3+4}{2} = 3.5,\qquad \bar{x}_3 = \frac{5+6}{2} = 5.5$$ -
Межсубъектная сумма квадратов \(\text{SS}_B = k\sum(\bar{x}_i - \bar{x})^2\):
$$\text{SS}_B = 2\left[(1.5-3.5)^2 + (3.5-3.5)^2 + (5.5-3.5)^2\right] = 2\left[4 + 0 + 4\right] = 16$$ -
Внутрисубъектная сумма квадратов \(\text{SS}_W = \sum\sum (x_{ij} - \bar{x}_i)^2\), суммируя квадраты отклонений каждого значения от среднего по своей строке:
$$\text{SS}_W = \underbrace{(0.25+0.25)}_{\text{строка }1} + \underbrace{(0.25+0.25)}_{\text{строка }2} + \underbrace{(0.25+0.25)}_{\text{строка }3} = 1.5$$ -
Разделите на число степеней свободы, чтобы получить средние квадраты, используя \(df_B = n-1\) и \(df_W = n(k-1)\):
$$\text{MS}_B = \frac{\text{SS}_B}{n-1} = \frac{16}{3-1} = 8,\qquad \text{MS}_W = \frac{\text{SS}_W}{n(k-1)} = \frac{1.5}{3(2-1)} = 0.5$$ -
Подставьте в формулу ICC(1,1):
$$\text{ICC}(1,1) = \frac{\text{MS}_B - \text{MS}_W}{\text{MS}_B + (k-1)\,\text{MS}_W} = \frac{8 - 0.5}{8 + (2-1)(0.5)} = \frac{7.5}{8.5} \approx 0.882$$
Для этого набора данных внутриклассовый коэффициент корреляции равен 0.882, что указывает на высокую согласованность — изменчивость между объектами значительно превышает изменчивость внутри повторных оценок одного объекта.
Ключевые термины и переменные
- Внутриклассовый коэффициент корреляции (ICC) — значение (обычно от 0 до 1), которое количественно определяет, насколько сильно измерения внутри одной и той же группы похожи друг на друга; используется для оценки согласованности и надёжности между экспертами или повторными измерениями. Более высокие значения означают большую согласованность.
- Объект / цель — то, что измеряется (человек, образец или предмет). В матрице оценок каждый объект — это одна строка.
- Эксперт — человек, прибор или случай измерения, который выдаёт оценку. Каждый эксперт (или повторное измерение) — это один столбец матрицы.
- \(n\) (число объектов) — количество строк в матрице, то есть сколько различных целей было оценено. Число его степеней свободы равно \(n-1\).
- \(k\) (число экспертов / измерений) — количество столбцов, то есть сколько оценок получил каждый объект.
- \(\text{SS}_B\) и \(\text{MS}_B\) (межсубъектные) — \(\text{SS}_B = k\sum(\bar{x}_i-\bar{x})^2\) измеряет, насколько средние по строкам объектов отличаются от общего среднего; межсубъектный средний квадрат \(\text{MS}_B = \text{SS}_B/(n-1)\) отражает истинные различия между объектами.
- \(\text{SS}_W\) и \(\text{MS}_W\) (внутрисубъектные) — \(\text{SS}_W = \sum\sum(x_{ij}-\bar{x}_i)^2\) измеряет разброс оценок объекта вокруг его собственного среднего; внутрисубъектный средний квадрат \(\text{MS}_W = \text{SS}_W/[n(k-1)]\) отражает погрешность измерения или расхождение между экспертами.
- Однофакторная модель со случайными эффектами — модель, лежащая в основе ICC(1,1): каждый объект оценивается (возможно, разным) набором экспертов, выбранных случайным образом, и моделируется только эффект объекта. Она отвечает на вопрос «насколько надёжна отдельная оценка от случайно выбранного эксперта?»
- Одиночные измерения против усреднённых измерений — ICC для одиночных измерений оценивает надёжность одной отдельной оценки, тогда как ICC для усреднённых измерений оценивает надёжность среднего всех \(k\) оценок. Значение для усреднённых измерений всегда выше, потому что усреднение снижает погрешность.
- Согласованность / надёжность — надёжность — это доля общей дисперсии, обусловленная истинными различиями между объектами; согласованность дополнительно требует, чтобы эксперты давали одинаковые абсолютные значения, а не просто последовательно ранжировали объекты. ICC(1,1) отражает абсолютную согласованность в рамках однофакторной модели.
Часто задаваемые вопросы
Какое значение ICC считается хорошим? Согласно распространённым рекомендациям, значения ниже \(0.5\) считаются низкими, \(0.5\)–\(0.75\) — умеренными, \(0.75\)–\(0.9\) — хорошими, а выше \(0.9\) — отличными.
Какая модель ICC используется здесь? Калькулятор рассчитывает однофакторную модель случайных эффектов с единичными измерениями — \(\text{ICC}(1,1)\). Она подходит, когда каждого испытуемого оценивает свой набор экспертов.
Может ли ICC быть отрицательным? Да. Когда внутрисубъектная изменчивость превышает межсубъектную, ICC может оказаться слегка отрицательным, что обычно трактуется как полное отсутствие согласованности.