科研Labs › Gwet's AC1 一致性
Gwet's AC1 评分者一致性
两名评分者对同一批对象做分类时,Kappa 在类别极不均衡时会出现「一致率很高、κ 却很低」的悖论。 Gwet's AC1 通过更合理的期望一致度估计避免这一问题,结果更稳健。本工具同时给出 AC1 与 Cohen κ 以便对比(自助法 95%CI)。浏览器本地计算,数据不上传。
① 粘贴配对评分
每行一个对象,两列分别为评分者1、评分者2 的类别(可为文字或数字,用空格/Tab/逗号分隔)。
使用说明与方法学
AC1 和 Kappa 怎么选?
都衡量评分者间一致性。当某一类别占比很高(不均衡)时,Kappa 会被『期望一致度』压低,出现一致率高但 κ 低的悖论;Gwet AC1 用更稳健的期望一致度,避免该问题,近年被越来越多地推荐。两者一并报告、并说明数据均衡情况最稳妥。
什么是 Kappa 悖论?
当绝大多数对象都属于同一类别时,即使两人高度一致,Cohen κ 也可能很低甚至接近 0,因为期望一致度被高估。这会误导读者以为一致性差。AC1 正是为解决此问题设计。
类别可以是文字吗?
可以。两列填同一套类别标签(如 阳性/阴性、0/1/2、轻/中/重)即可,工具会自动识别类别集合并建表。
三个及以上评分者怎么办?
Cohen κ 与 AC1(本工具)针对两名评分者。三名及以上的名义分类一致性请用 Fleiss Kappa 工具。