masterspammer (masterspammer) wrote,
masterspammer
masterspammer

Loki Search - несказанно-подразумеваемое

Да, wget не подходит. Естественно. Как им управлять? Нужно:
  * изменять скорость закачки (пауза между страницами), количество потоков, перезакачивать
     уже закачанные, но уже устаревшие страницы, начиная с минимальной вложенности;
  * сохранять найденные ссылки, в том числе и на другие сайты
  * распределять закачку по узлам сети, на одно узле - много сайтов
  * возобновлять закачку __с того же места__ (не перезакачивая ничего) после перезапуска
  * взаимодействовать с другими экземплярами - пусть на одну страницу некого сайта нет ссылок на нём,
   но есть на другом (качает другой паук) и наоборот - они должны обменяться ссылками

Качаются параллельно много задач, разного размера (раньше была описана __ОДНА__ задача), размер заранее неизвестен, может изменяться, могут порождаться новые задачи и уходить в архив старые.

Задача - большой сайт, который вообще нереально выкачать весь "в лоб" - он выкачивается неделю (быстрее или забанят или он ляжет наглухо, если вдруг жара - то даже с перегревом и зависанием сервера), за эту неделю выкачанное устареет, надо перезакачать, но не переставая выкачивать отдалённые его места, то есть выкачивание - постоянный процесс причём в процессе страницы меняются как сами по себе, так и их уровень вложенности, количество на них ссылок и т.д.

И при этом - ни в коем случае не сожрать лишней памяти, не скачать чужую ссылку (над задачей работают сразу много пауков), не сделать слишком много обращений к странице и не зависнуть от какого-то ни было повода (рестарт и возобновление, только так).

P.S. Паука зовут Унголиант (в память истории об умершем сервере)
Tags: lokisearch, ЗакачкаФайлов, ТекстовыеАлгоритмы
Subscribe

  • 3D в La Scala

    Это вот про такую картинку - где сзади стенки сходятся и зажимают треугольный рассекатель. И вот ещё про что.…

  • Немарксизм (не путать с неомарксизмом)

    Есть у меня такая привычка - сомневаться, что классы это классы; другими словами, что из принадлежности к классу следуют нетривиальные выводы,…

  • (no subject)

    Прокрастинация она прокрастинация и есть... а у меня она на остатках сил и в последнюю очередь (ну не умею я) - "заточил" 8 деталек под 62…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 0 comments