一致性量測

在作問卷或者訪談或者任何對資料進行評估等annotation的時候，總會想到要看看每一份資料結果一致性如何，會不會有outlier。

其中 Kappa Statistics 是一個方法，以兩兩相作比較的方式來量測兩份資料一致性的程度。

Kappa = (Observed agreement - Chance agreement)/(1 - Chance agreement)