#Concordância entre revisão humana e codificação (kappa de Cohen), Estudo 3

Medidas de concordância (kappa de Cohen e percentual de concordância bruta) entre a codificação automática ou adjudicada e a revisão humana cega, nas classes de fonte de IA, imprensa e resposta da marca.

#fontes ia

n_amostra: 60

n_comparaveis: 53

#nao_verificaveis_ou_vazias

• 4
• 17
• 38
• 39
• 41
• 53
• 60

#kappa_elegibilidade

• 0.666
• 0.83

#kappa_4_classes

• 0.49
• 0.679

#matriz_elegibilidade

#matriz_4_classes

#imprensa

n_amostra: 72

n_comparaveis: 64

#nao_verificaveis

• 22
• 30
• 34
• 37
• 63
• 64
• 68
• 69

#kappa_earned

• 0.413
• 0.734

#kappa_todas_classes

• 0.38
• 0.562

#matriz_classes

precisao_earned: 0.722

recall_earned: 0.52

#correções

#kappa_earned_v2_2_mesma_amostra_calibração

• 0.707
• 0.859

nota: v2.2 foi calibrada nesta amostra (retirada de 'comunicado' e 'release' dos marcadores de assessoria); o kappa v2.2 é otimista e não substitui o kappa cego de 0,41; regra 6.4 exige segunda revisão ampla antes de publicar

#f5

n_amostra: 54

n_comparaveis: 54

nao_verificaveis: (lista vazia)

#kappa_respondeu

• 1.0
• 1.0

#matriz

#contagens_humano_vs_coleta

• ["Mosaic Fertilizantes", 0, 0.0]
• ["Yara Brasil", 22, 22.0]
• ["Fertipar", 0, 0.0]
• ["Stoller do Brasil", 0, 0.0]
• ["Mosaic Fertilizantes", 0, 0.0]
• ["Timac Agro Brasil", 0, 0.0]
• ["Cibra", 2, 2.0]
• ["Ubyfol", 1, 1.0]
• ["Mosaic Fertilizantes", 0, 0.0]
• ["Vittia", 1, 1.0]
• ["Timac Agro Brasil", 0, 0.0]
• ["Timac Agro Brasil", 1, 1.0]
• ["Ubyfol", 0, 0.0]
• ["Stoller do Brasil", 1, 1.0]
• ["Cibra", 5, 5.0]
• ["EuroChem Brasil", 0, 0.0]
• ["Cibra", 8, 8.0]
• ["Fertipar", 0, 0.0]
• ["Ubyfol", 1, 1.0]
• ["Vittia", 2, 2.0]
• ["Yara Brasil", 3, 3.0]
• ["Stoller do Brasil", 1, 1.0]
• ["Cibra", 7, 10.0]
• ["Vittia", 0, 0.0]
• ["Stoller do Brasil", 0, 0.0]
• ["Cibra", 4, 4.0]
• ["Fertipar", 0, 0.0]
• ["Vittia", 2, 2.0]
• ["EuroChem Brasil", 1, 1.0]
• ["Timac Agro Brasil", 1, 1.0]
• ["Vittia", 0, 0.0]
• ["EuroChem Brasil", 0, 0.0]
• ["Timac Agro Brasil", 1, 1.0]
• ["Vittia", 0, 0.0]
• ["Stoller do Brasil", 0, 0.0]
• ["Stoller do Brasil", 2, 2.0]
• ["Mosaic Fertilizantes", 1, 1.0]
• ["Fertipar", 1, 1.0]
• ["Cibra", 10, 10.0]
• ["EuroChem Brasil", 0, 0.0]
• ["Yara Brasil", 39, 30.0]
• ["Yara Brasil", 3, 3.0]
• ["EuroChem Brasil", 1, 1.0]
• ["EuroChem Brasil", 1, 1.0]
• ["Ubyfol", 0, 0.0]
• ["Yara Brasil", 8, 8.0]
• ["Yara Brasil", 10, 10.0]
• ["Mosaic Fertilizantes", 2, 3.0]
• ["Mosaic Fertilizantes", 1, 2.0]
• ["Ubyfol", 1, 1.0]
• ["Fertipar", 1, 1.0]
• ["Timac Agro Brasil", 0, 0.0]
• ["Ubyfol", 0, 0.0]
• ["Fertipar", 0, 0.0]