Программа Xenu для проверки битых ссылок |

Время чтения: 8 мин.

Сегодня мы познакомимся с одной замечательной бесплатной программой для проверки битых ссылок — Xenu’s Link Sleuth. Я уже писал про отличный плагин Broken Link Checker , но  эта программа умеет делать даже больше, чем он.

Поэтому я предлагаю обязательно попробовать эту программу. Уверен, вы ее полюбите и она станет постоянным участноком вашего арсенала вебмастера.

Мы подробно рассмотрим вопросы:

1. Предназначение, системные требования к программе. Скачивание и установка Xenu
   Настройки программы
2. Проверка ссылок и их предварительный анализ
3. Отчет о «битых» ссылках
4. Анализ «битых» ссылок
5. Какие бывают типы ошибок в отчете
6. Наша благодарность автору программы

1.Предназначение, системные требования к программе. Скачивание и установка Xenu

Программа Xenu’s Link Sleuth (сокращенно –Xenu) предназначена для поиска  «битых» ссылок (т.е. которые ведут в никуда), изображений, фреймов и еще кое-чего, менее для нас значимого.

Кроме того, программа умеет проверять HTML – файлы на вашем комьютере и проверять файлы на локальном сервере (типа Денвер-3), надо только указать  адрес локального сервера — http://127.0.0.1

И еще вебмастера ее приспособили для поиска дублей страниц, о чем подробно поговорим в одном из ближайших постов.

 

Преимущества программы Xenu’s Link Sleuth:

• Полностью бесплатная:
• Имеет очень простой интерфейс (управление);
• Улучшенные отчеты об ошибках (а не просто – «ошибка связи»);
• Если требуется показ только «битых ссылок», то только они и будут показываться, а не все подряд;
• Программа разрабатывалась только одним человек, причем имеющим опыт в создании программного обеспечения с 1983г. Поэтому исключена даже малейшая несовместимость различных частей программы;
• Легкие в понимании отчеты, даже если вы используете длинные URL;
• Файлы программы занимают на жестком диске мало места;
• Многопоточная проверка (от 0 до 100 потоков) сокращает время проверки сайта;
• Проверка защищенных сайтов с помощью протокола SSL (адрес начинается с https://);
• Проверка редких FTP и Gopher сайтов;
• Определение и обработка URL с редиректом;
• Создает карту сайта.

Для работы программы требуется Windows 95/98/ME/NT/2000/XP/Vista/7. Она прекрасно работает и под Fedora 13, Red Hat 8, Ubuntu, OS X (требуется wine ), и под Mac (требуется CrossOver ).

И еще: для вашего же спокойствия автор программы рекомендует использовать обновленные антивирусные программы (сам он всегда так делает).

Скачать программу можно с сайта автора  . Как всегда, на случай непредвиденных обстоятельств я закачал последнюю версию Xenu – 1.3.8 —  на свой сервер. Оттуда тоже можно ее скачать.

Программа легкая, весит всего 743 КВ.

Установка программы никаких затруднений не вызывает: мастер установки работает прекрасно, надо только со всем соглашать и жать «Next».

2.Настройки программы

Для того, чтобы настроить программу, нам надо поработать в двух местах. Прежде всего, кликаем по вкладке «Options» и далее по «Preferences»:

 Рис.1 (Все скриншоты кликабельны)

У нас появится окно, где надо сделать настройки:

 Рис.2

Сначала нам надо установить количество потоков. По умолчанию стоит 30, но, полагаю, это число при первых проверках надо уменьшить до 3-5 (рекомендация автора), чтобы не создавать излишней нагрузки на линии связи и сайт. Автор программы, правда, пишет, что, хотя у него и DSL – соединение, его оператор, как он подозревает, препятствует увеличению нагрузки на сеть, чтобы заставить его перейти на более высокие тарифы. Ну, немецкие дела нас мало касаются (автор – из Германии), а вот у меня и при 5 потоках сервер хостинга начинает бастовать.

Поэтому начинать проверки следует осторожно и лишь постепенно увеличивая количество потоков.

Далее стоит окошко с установкой глубины просмотра. 999 так 999, пусть остается.

Флажок о необходимости запроса пароля или сертификата (при необходимости), тоже стоит оставить.

Перейдем к отчету (правая сторона окошка). Можете оставить те галочки, какие хотите, или вообще  все, программа в любом случае скачает все ссылки, а эти настройки касаются только отчетов.

Но, на всякий случай, я приведу русское значение этих строчек:

• Broken links, ordered by links — показывать «битые» ссылки, отсортированные по адресу ссылки;
• Broken links, ordered by page — показывать «битые» ссылки, отсортированные по адресу страницы;
• Broken local links – показывать локальные «битые» ссылки;
• Redirected URLs – показывать ссылки с редиректами;
• Site Map – создает sitemap для Google;
• Statistics — строит в отчете различные таблицы.

В конце нажимаем ОК.

Теперь нам надо кликнуть по вкладке «File» и в появившемся списке команд нажать на «Check URL» (Проверить URL):

 Рис.3

Собственно, мы как бы уже начинаем процесс проверки, но предварительно нам предлагается ее настроить:

 Рис.4

Прежде всего, нам надо указать URL сайта, который мы хотим проверить. Проверять можно не только сайт целиком, но и отдельные страницы и папки. Но если вы проверяете папки (каталоги), то адрес надо писать обязательно со слешем на конце, иначе программа не поймет и проверит весь сайт целиком.

Написано в этом случае должно быть так (разница в последнем слеше — косой черте):

www.novichkoff.ru/user/

а не так:

www.novichkoff.ru/user

Примечание. Впереди должно быть указано http:// . У меня не написано, потому что Google тогда эту строчку воспринимает как ссылку.

Если вы собираетесь проверить какой-то отдельный html- файл, то надо нажать кнопку «Local File» (верхняя правая стрелка) и в открывшемся окне найти этот файл в своем компьютере.

Очень важный чекбокс – «Check external links» (Проверять внешние ссылки), галочку оставляем.

Следующее окно предназначено для исключений – ссылку, начинающаяся каким-то определенным образом (надо указать каким именно образом), считать как внешнюю. Это если вы используете такие ссылки: например, с помощью редиректа переводите внешние ссылки в разряд внутренних.

В следующем окне необходимо указать URL сайтов, все ссылки на которые проверять не следует.

В обоих этих  окнах, такие УРЛы надо вписывать по одному в верхнюю часть окна и нажимать «Add» (Добавить) и ссылка перейдет в нижнюю часть окна (на скриншоте рис.4 это видно). Программа запомнит эти настройки и не будет проверять ссылки, начинающиеся с указанных URL.

Можете в этих окнах вообще ничего не указывать.

Если вы забыли установить настройки в разделе «Options» (рис.2) или решили их изменить, то при нажатии кнопки «More options» (левая нижняя стрелка) попадете туда снова.

После всех настроек, нажимаете кнопку ОК – начинается процесс проверки ссылок.

3. Проверка ссылок и их предварительный анализ

Процесс проверки у всех будет занимать разное время – от нескольких десятков секунд до нескольких часов – в зависимости от размера сайта и количества параллельных потоков. После окончания проверки на главной странице программы появится окно:

 Рис.5

Нам программа сообщает, что проверка ссылок закончена и нужен ли вам отчет о проверке? Нажимаем «Да», если нужен, и «Нет», если не нужен. В первый раз нажмите «Да», чтобы посмотреть — что это такое, а дальше уже сами решите – надо это вам или нет.

Начинаем просмотр ссылок. В зависимости от результатов проверки цвет шрифта ссылок будет разный:

• Зеленый – ссылка работает;
• Серый – ссылка находится в очереди на проверку или же она исключена из проверки в соответствии с вашими настройками;
• Красный – ссылка является «битой» или недоступна по тем или иным причинам (например, такое бывает, если сервер прервал допуск программы к сайту,  это будет видно в графе Status – будет написано что-то вроде TIMEOUT).

Если проверка ссылок прервана по каким-то причинам, через некоторое время повторите проверку, причем программа проверять будет только непроверенные ссылки. Для этого надо кликнуть по вкладке «File», у вас появится другой список команд, не такой как раньше, и нажать на ссылку «Retry broken links»:

Рис.6

Начнется допроверка или перепроверка битых/ непроверенных ссылок.

Кстати, обратите внимание, что на рис.6 в правой части указаны комбинации «горячих клавиш».

И еще посмотрите на нижний правый угол программы – там отображается общее время проверки, общее количество ссылок на сайте, сколько из них проверено и количество потоков в работе.

Перед тем, как приступить в анализу конкретных «битых ссылок», удовлетворим свое любопытство и посмотрим, что за анализ нам предлагает программа.

4.Отчет о «битых» ссылках

После того, как во всплывающем окне мы нажмем «Да», в вашем браузере откроется новая вкладка с отчетом о проделанной работе:

 Рис.7

Программа нашла у меня всего 2 битые ссылки и показывает данные о них для исправления:

• Верхняя строчка показывает URL ссылки, это облегчит ее поиск,
• Средняя строчка показывает тип ошибки – 404 или какая-то другая,
• Нижняя строчка показывает адрес страницы, на которой расположена «битая» ссылка.

В нижней части отчета идут таблицы:

 Рис.8

Мне кажется, что эти данные лучше использовать при дальнейшей работе по совершенствованию всего сайта, а для работы по устранению «битых» ссылок они не очень годятся. Для работы с битыми ссылками лучше вернуться в программу.

5.Анализ «битых» ссылок

Прежде всего, нам надо найти ссылку, помеченную красным цветом, и кликнуть по ней. После этого нажать на кнопку «URL Properties» (верхняя стрелка):

Рис.9

Откроется окно с таким же названием. Мы видим, что у нас на сайте в шаблоне отсутствует картинки и что на эту картинку ссылается одна страница. В данном конкретном случае это не моя ошибка, а автора шаблона, но исправлять ее надо мне: сделать и закачать картинку под таким же названием.

Вот примерно таким образом вы и должны работать с каждой (!) «битой» ссылкой. Довольно часто придется писать другим вебмастерам, чтобы что-то поправили у себя на сайте, или редактировать шаблон, или исправлять адрес ссылки и т.д. Зато поисковики будут страшно довольны.

Маленькая подсказка: кликните по «битой» ссылке правой кнопкой мыши и в списке команд можете выбрать копирование ссылки.

Все это (поиск «красных» ссылок) можно сделать довольно легко, если у вас общее количество ссылок не очень большое. А если их много-много тысяч? Автор программы предусмотрел и это. В программе имеется возможность показа только «битых» ссылок. Для этого необходимо кликнуть по вкладке «View»:

Рис.10

В открывшемся списке команд щелкните по верхней строчке и программа покажет только «битые» ссылки:

 Рис.11

Теперь вам работать будет проще. Работать с ними надо точно так же, как написано выше: кликаете по ссылке правой мышью… Рассмотрение самой программы мы закончили, теперь (справочно!) приведу типы различных ошибок, которые в отчете пишет программа, и их суть.

6. Какие бывают типы ошибок в отчете XENU

Error 404 (Not Found)

Ошибка 404 – та самая, из-за которой мы и ищем «битые» ссылки. Означает – «Страница не найдена». Их обязательно надо найти на страницах сайта и исправить.

403 Forbidden

Ошибка 403 – в доступе отказано. На такие ошибки большого внимания не обращайте. Они возникают из-за того, что сайт или отдельный файл потребовал что-то дополнительно, например, пароль.

12029 (No Connection)

Ошибка 12029 возникает при отсутствии соединения с сервером. Это не свидетельствует о вашей ошибке, беспокоится не стоит.

503 (Service Unavailable)

Ошибка 503 – Сервис недоступен. Связь с сервером имеется, но сервер не отвечает. Это не ваша ошибка.

12002 (Timeout)

Ошибка 12002 возникает из-за разных причин. Суть ее в том, что произошло прерывание соединения с сервером. В нашем случае – из-за большой нагрузки на сервер. Необходимо через некоторое время возобновить проверку.

12038 (SSL certificate common name incorrect)

Ошибка 12038 происходит из-за того, что имеется ошибка в сертификате безопасности SSL. Эта ошибка не является свидетельством того, что ссылка – «битая». Не обращайте внимания.

7.Наша благодарность автору программы

Эту замечательную и притом бесплатную программу создал немецкий программист Tilman Hausherr. Эту программу он вполне мог продавать за деньги, но он даже не просит пожертвований в свой адрес, заявляя, что и финансовый кризис 2008 года сумел пережить.

Вы можете отправить деньги, если хотите, в помощь тем социальным программам и институтам, которым он сам оказывает помощь. Список таких адресов приведен на его сайте в разделе FAQ.

Если вы работаете во Всемирно известных компаниях, например, в Газпроме, то можете оправить ему почтой благодарственное письмо.

Но вот что могут сделать абсолютно все: Вы можете лайкнуть в Facebook на странице программы и/ или на странице автора.

Давайте не будем выглядеть неблагодарными.

О том как найти на сайте и удалить с него (исправить) битые ссылки, написано в этой статье.

P.S. Кстати, ликвидация «битых» ссылок поможет вам в раскрутке вашего сайта. Цена продвижения в интернет может быть излишне велика, если у вас на сайте много нерабочих ссылок, имейте это ввиду.