09.10.13 23:38


Наконец-то можно выложить итоги небольшого исследования.
Меня долгое время занимал вопрос — действительно ли параметр Скилл достоверно отображает умение клана.
Или лучше было бы просто принять за скилл клана, например, рейтинг эффективности wot-news или Бронесайта?

Не так давно, со вводом отображений турнира высадок появилась возможность объективно исследовать мои сомнения.

И вот, результаты перед вами.
Сразу хочу предупредить, всё написанное ниже относится исключительно к играм на ГК!!!
Это никоим образом не относится к рандомному рейтингу игроков.
Результаты ниже нельзя использовать для оценки рейтингов в разрезе рандомной игры.
Нельзя сказать "рейтинг А лучше рейтинга Б отображает скилл игрока"!
Всё ниже — исключительно для кланов!

Исследование проводилось следующим образом:
Для каждого клана подсчитывались средние рейтинги (выбирались только игроки с хотя бы одним танком 10 уровня).
Затем, каждое утро, до начала высадок сканировались таблицы турниров с прошедшего дня.
Если у клана А рейтинг N был больше клана Б, если они были ненулевыми, и если клан А побеждал клан Б, то бой считался рейтингом N угаданым. И наоборот (если у клана Б рейтинг N был больше ...)
Если кланы были в одном и том же альянсе, то такой бой в статистику не входил.
Всего была собрана информация о 17916 боях (потом будет исследование до 100000 боёв, с дополнительным интересным анализом).

Вот результаты:


Выводы следующие:
Все рейтинги показали себя с хорошей стороны, показав довольно близкий результат.
Показываемые результаты изо дня в день были стабильны - от 64% до 68% угаданных боёв по итогам дня.
Между результатами рейтингов высочайшие коэффициенты корреляции (от 0.90 бронесайта-скилла до 0.9994 wn6-wn7), что свидетельствует о конвергентной валидности.
Чуть лучше остальных проявил себя параметр Скилл, чему признаться я рад, и РЭ, чуть хуже прочих был WN7.

Но кроме этого исследования было ещё одно, которое определяло насколько хорошо рейтинги показывают разницу между уменями кланов.
Иначе говоря, например, насколько правильно РЭ оценивает разницу между кланами с РЭ 1200 и 1250 (правда ли что клан А сильнее клана Б на 4%?).

И вот результаты:


Как видно РЭ wot-news, WN6 и WN7 находятся примерно на одном уровне.
Что в принципе ожидалось, так как они выдают цифры примерно одного порядка.
Бронесайт показывает разницу между кланами гораздо лучше вышеупомянутых рейтингов,
ну, а Скилл, как оказалось, оставляет всех прочих позади.

В итоге, исследование подтвердило, что Скилл действительно является наиболее верным рейтингом отображающим умение клана целиком.

Подчеркну последний раз, что всё вышесказанное не может относиться к рассмотрению рейтингов отдельных игроков в рандоме.
Для этого нужно специальное исследование, которое могут сделать, например, создатели XVM, так как они могут собрать огромную статистическую инфромацию по рандомным боям.
Новость уже старая, комментарии закрыты.