Interrater Reliabilität komisches Ergebnis

[Anguy]

Guten Tag!

Ich sitze gerade an der Auswertung meiner Studie zur Master Arbeit und über folgendes Problem gestolpert:

In meinem Fragebogen gab es mehrere Items z.B mit der Erinnerung an etwas zu tun hatten und daher mit ganzen Sätzen gefüllt wurden. Diese habe ich nun kodiert um damit auch rechnen zu können und dasselbe wurde von jemand anderem ebenfalls getan. Soweit alles in Ordnung, wenn ich nun aber die Übereinstimmung ausrechnen möchte stosse ich zumindest an einer Stelle auf offensichtlich komische Werte.

Mit dem Auge überflogen scheinen sich die zwei Einschätzungen dabei nur marginal an 4-5 Stellen (von insgesamt getätigten Einschätzungen der zwei Rater) überhaupt zu unterscheiden, trotzdem kommt bei dem ICC mixed Model was ich hierfür verwendet habe ein Wert von 0,176 heraus was ja nicht besonders gut ist.
Zwei andere Items die sich deutlich mehr unterscheiden als die eben erwähnten haben einen "guten" Wert von 0,7.

Woran kann diese schlechte Übereinstimmung bei eigentlich gut übereinstimmenden Daten nun liegen? Ist das Verfahren vielleicht falsch?

Vielen Dank schon mal für die Hilfe!