Abstract
<jats:p>У роботі запропоновано формальне визначення та узагальнену класифікацію методів масштабування на етапі інференсу в машинному навчанні. Під масштабуванням на етапі інференсу розуміємо практику збільшення обчислювальних витрат під час прогнозування, щоб підвищити якість вихідного результату. Такі підходи трапляються в багатьох підгалузях, проте досі їх не було зведено до спільної системи. До них належать, зокрема, усереднення ансамблів, пошук Монте-Карло по дереву, аугментація на етапі тестування, міркування у форматі “ланцюжку роздумів” у великих мовних моделях і ітеративне розшумлення в дифузійних моделях. Попри різну природу, ці методи об’єднує одна структурна ознака: додаткові обчислення під час інференсу, як правило, покращують якість, однак приріст зменшується зі зростанням обчислювального бюджету. Водночас їх традиційно аналізують всередині окремих задач, а наявні таксономії здебільшого залишаються доменно-специфічними. Ми вводимо класифікацію за обчислювальною топологією, тобто за тим, як організовано додаткові обчислення на етапі прогнозування. Вона охоплює шість класів: послідовне уточнення, паралельне семплювання з подальшою агрегацією, пошук у дереві або графі, адаптація моделі на етапі тестування, керована генерація та адаптивна маршрутизація обчислень. Для уніфікованого опису кожен підхід подано через три компоненти: стратегія генерації, стратегія відбору та стратегія розподілу обчислювальних ресурсів. Порівняльний аналіз дозволяє виділити чотири міждоменні інваріанти: загалом сублінійну залежність між додатковою «вартістю» обчислень і приростом якості; вузьке місце моделі оцінювання, що обмежує підходи, побудовані на відборі; послідовно-паралельну дуальність, яка проявляється в усіх розглянутих доменах; перенесення методів між доменами після явного опису їх спільної структури.</jats:p>