masterspammer (masterspammer) wrote,
masterspammer
masterspammer

Category:

Loki Search - несказанно-подразумеваемое

Да, wget не подходит. Естественно. Как им управлять? Нужно:
  * изменять скорость закачки (пауза между страницами), количество потоков, перезакачивать
     уже закачанные, но уже устаревшие страницы, начиная с минимальной вложенности;
  * сохранять найденные ссылки, в том числе и на другие сайты
  * распределять закачку по узлам сети, на одно узле - много сайтов
  * возобновлять закачку __с того же места__ (не перезакачивая ничего) после перезапуска
  * взаимодействовать с другими экземплярами - пусть на одну страницу некого сайта нет ссылок на нём,
   но есть на другом (качает другой паук) и наоборот - они должны обменяться ссылками

Качаются параллельно много задач, разного размера (раньше была описана __ОДНА__ задача), размер заранее неизвестен, может изменяться, могут порождаться новые задачи и уходить в архив старые.

Задача - большой сайт, который вообще нереально выкачать весь "в лоб" - он выкачивается неделю (быстрее или забанят или он ляжет наглухо, если вдруг жара - то даже с перегревом и зависанием сервера), за эту неделю выкачанное устареет, надо перезакачать, но не переставая выкачивать отдалённые его места, то есть выкачивание - постоянный процесс причём в процессе страницы меняются как сами по себе, так и их уровень вложенности, количество на них ссылок и т.д.

И при этом - ни в коем случае не сожрать лишней памяти, не скачать чужую ссылку (над задачей работают сразу много пауков), не сделать слишком много обращений к странице и не зависнуть от какого-то ни было повода (рестарт и возобновление, только так).

P.S. Паука зовут Унголиант (в память истории об умершем сервере)
Tags: lokisearch, ЗакачкаФайлов, ТекстовыеАлгоритмы
Subscribe

  • (no subject)

    Лазерный рефлектометр (виброрефлектометр) - почти что священный Грааль (SpellChecker подсказывает "грабель", ну да, пусть будет "свяженный Грабель")…

  • Вспоминаю Гофмана и что-то бессытдно ржу

    Собственно Золотой Горшок - одна ведьма там возникла от взаимодействия одного из драконьих перьев «с какой-то свекловицей». С какой-то ЧЧЧЕГО??…

  • Охота пше* неволи

    Взял фанерины на боковины - а они кривые, две вообще расслоились (о чём я благополучно позабыл). Купил, разрезал, взгромоздил на велик и еле…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 0 comments