Мы решаем задачу классификации тональности текста. Чтобы оценить точность работы алгоритма, используем метрику ROC-AUC. После обучения алгоритма мы решили проверить качество векторизации слов. Мы хотим оценить реальное количество похожих слов среди тех, что алгоритм выдаёт как наиболее похожие по косинусному расстоянию. Какие intrinsic-метрики подойдут для этого?
Accuracy
Average Precision at K (ap@K)
R2 Score
Log Loss

Другие предметы Колледж Метрики оценки качества моделей машинного обучения анализ данных колледж классификация тональности алгоритм ROC-AUC векторизация слов косинусное расстояние intrinsic-метрики Accuracy Average Precision R2 Score Log Loss Новый

Для оценки качества векторизации слов и определения реального количества похожих слов среди тех, что алгоритм выдает как наиболее похожие по косинусному расстоянию, вам подойдут следующие метрики:

• Average Precision at K (ap@K): Эта метрика позволяет оценить качество ранжирования, учитывая только первые K выдаваемых результатов. Она показывает, насколько хорошо алгоритм находит релевантные слова в верхней части списка. Это особенно полезно, если вас интересует точность выдачи наиболее похожих слов.

Теперь рассмотрим, почему другие метрики не подходят:

• Accuracy: Эта метрика измеряет долю правильно классифицированных примеров среди всех. В случае с векторизацией слов и косинусным расстоянием она не будет информативной, так как не учитывает порядок и качество ранжирования.
• R2 Score: Эта метрика используется для оценки качества регрессионных моделей. Она не применима к задаче классификации или оценке качества векторизации слов.
• Log Loss: Эта метрика также используется для оценки классификационных моделей, но она фокусируется на вероятностях предсказаний, а не на ранжировании похожих слов.

Таким образом, для вашей задачи наиболее подходящей метрикой будет Average Precision at K (ap@K), так как она позволяет оценить, насколько эффективно алгоритм находит наиболее релевантные слова в заданном количестве результатов.