Itemselektion über Konsensusrating

[Amygdala]

Hallo,
Ich soll im Rahmen meiner Arbeit ein Konsensusrating zur Itemselektion durchführen.Ich möchte von 40 vorhandenen Items die 15 auswählen,von denen ich und die zugerufenen "Experten" meinen,dass bei positiver Antwort "ja" auf das Item eine Erhöhung in meiner untersuchten Zielgröße folgt.
Durchführen ist ja nicht schwer,ich dachte ich wähle einfach ein dichotomes Antwortformat und lasse die Items von 3 Ratern in "passt" und "passt nicht" klassifizieren. Nur habe ich dann eine geringe Varianz und kappa und co werden nicht signifikant. Wie kann ich das ganze denn jetzt statistisch absichern?
Ich freue mich auf Anregungen!
Amy

[Generalist]

Nicht so sehr leicht zu verstehen. Z.B.

Nur habe ich dann eine geringe Varianz und kappa und co werden nicht signifikant.

Was hat eine geringe Varianz? Was sollen kappa und co leisten in diesem Zusammenhang? Was genau heißt "kappa und co"? Was wird nicht signifikant, d.h. welche Hypothesen testest Du?

Wie kann ich das ganze denn jetzt statistisch absichern?

Was präzise meinst Du damit?