Для чего в архитектуре Transformer присутствует компонента Position Embedding? Как и RNN-архитектура Transformer подвержена проблеме затухающих градиентов при больших длинах последовательности, добавление Position Embedding позволяет решить эту проблем... Другие предметы Колледж Архитектура Transformer Новый

Какой механизм позволяет GRU учитывать контекст лучше, чем это может делать обычная RNN? Добавление update gate и reset gate Добавление дополнительного вектора внутреннего состояния Более продвинутый sharing параметров между ячейками RNN Другие предметы Университет Рекуррентные нейронные сети (RNN) и их модификации Новый

С чем связана сложность использования классической кросс-энтропии при обучении языковой модели на длинном контексте? Значения для всех слагаемых суммы, кроме одного, равны О. Получаемые значения становятся слишком маленькими. RNN должна пройтись по в... Другие предметы Колледж Обучение нейронных сетей Новый

Модели seq2seq имеют ряд недостатков. Выберите все правильные утверждения затухающие градиенты при вычислении обратного распространения ошибки на этапе декодирования памяти от энкодера затухающие градиенты при вычислении обратного распространения ошиб... Другие предметы Университет Машинное обучение / Нейронные сети Новый