Программа, которая автоматически проходит по всем ссылкам, найденным на странице и выделяет их, называется краулер.

Давайте разберем, что это означает и как работает краулер:

1. Определение краулера: Краулер (или веб-краулер) – это программа, которая сканирует интернет-страницы, собирая информацию о содержимом и структуре сайтов.
2. Как работает краулер:
   • Краулер начинает с определенного набора URL-адресов, которые ему известны.
   • Он загружает страницы по этим URL-адресам и анализирует их содержимое.
   • Затем краулер ищет все ссылки на этих страницах и добавляет их в очередь для дальнейшего сканирования.
   • Процесс повторяется, пока не будет обработано заданное количество страниц или не исчерпаются все ссылки.
3. Зачем нужен краулер: Краулеры используются для индексации веб-страниц поисковыми системами, такими как Google, чтобы пользователи могли находить информацию по запросам в интернете.

Таким образом, правильный ответ на ваш вопрос – это краулер.