Deprecated: Function curl_close() is deprecated since 8.5, as it has no effect since PHP 8.0 in /home/u483256323/domains/poorvam.com/public_html/subdomains/pore/includes/api.php on line 184
Back to Search View Original Cite This Article

Abstract

<jats:p>В работе проверяется, что происходит с классификацией эмоций, когда на вход модели попадает не ручная транскрипция китайской рукописной строки, а результат PaddleOCR. Исходный корпус удобен для такой проверки: в нем есть изображения строк и их текстовые записи, но нет экспертной эмоциональной разметки. Поэтому сначала была зафиксирована слабая разметка, полученная по лексическим признакам и текстовому классификатору, а уже затем на ней обучались итоговые модели. Основным вариантом оставлена задача на семь эмоций. Одиннадцатиклассовая схема используется отдельно, как проверка поведения редких категорий. В режиме text-only лучшей оказалась RoBERTa: Accuracy 0,9304 и Macro-F1 0,8863. После замены ручных транскрипций OCR-выходом Macro-F1 снизилась до 0,8390. Для обучения с учетом таких ошибок был собран профиль фактических замен, удалений и вставок PaddleOCR; на его основе применялась профильно-ориентированная аугментация. В сквозном сценарии Macro-F1 выросла до 0,8636, а 95%-й доверительный интервал для разности не включал ноль. В одиннадцатиклассовом варианте Macro-F1 равна 0,8760, но редкие классы остаются ненадежными для самостоятельных выводов. Ручная проверка 480 объектов также показала, что псевдометки лишь частично совпадают с оценкой аннотатора. Поэтому приведенные метрики следует читать прежде всего как оценку устойчивости внутри выбранной слабой разметки, а не как точность относительно полноценного экспертного стандарта.</jats:p>

Show More

Keywords

на macrof1 не для как

Related Articles


Deprecated: Function curl_close() is deprecated since 8.5, as it has no effect since PHP 8.0 in /home/u483256323/domains/poorvam.com/public_html/subdomains/pore/includes/api.php on line 76
PORE

About

Connect