Веб скрапинг

Данные с чужих сайтов по расписанию: цены, наличие, карточки конкурентов. Результат приходит таблицей или в вашу систему.

от 3 Дней на источник
1 Месяц поддержки
1 Журнал сборов

Что входит

Состав зависит от сайта и того, куда класть результат. Первый источник — отдельная работа.

Источник

Страницы, с которых берём поля: цена, название, наличие, ссылка.

Защита

Обход антибота и прокси там, где сайт их требует.

Расписание

Сбор сам, с записью: когда прошёл и сколько строк принёс.

Результат

Таблица, файл или запись в вашу базу, CRM или API.

Изменения

Если вёрстка источника сломала сбор, это видно в журнале, а не молча.

Наши проекты

Архив фото повреждённых авто с аукционов Copart

Система для заказчика, который анализирует повреждения автомобилей с американских аукционов. Нужно было собирать фото тысяч лотов и раскладывать их так, чтобы с архивом было удобно работать. Что сделано: • Telegram-бот: заказчик отправляет выгрузку аукциона (Excel, CSV или zip), бот отбирает нужные машины и скачивает все фото каждого лота. • Отбор по году, маркам и типам повреждений. Настройки меняются кнопками прямо в боте — без программиста. • Аккуратное хранение: Повреждение / Марка / Год / Модель / Лот_VIN, у каждого лота файл с данными — VIN, комплектация, повреждения, пробег, тайтл, дата торгов. Исходные таблицы сохраняются без изменений, с контрольными суммами. • Прогресс в реальном времени, остановка и докачка, никаких дублей, проверка места на диске перед загрузкой. • Устойчивость к «живым» файлам из Excel: несколько листов, CSV из русского Excel, повторы, лишние колонки. • Доступ к архиву как к сетевому диску с Windows и macOS по защищённому SFTP. • Сервер настраивается и обновляется одной командой: Docker, фаервол, защита от подбора паролей, вход только по ключам. Работает на VPS с 1 ГБ памяти. • 195 автотестов; выкатка автоматически останавливается, если хоть один тест не прошёл. Результат: из ежедневной выгрузки на 50 000 лотов бот отбирает подходящие и собирает по ним архив — в среднем 12–13 фото на машину, без ручной работы. Стек: Python 3.12, aiogram 3, openpyxl, Docker, Ubuntu, OpenSSH/SFTP, pytest.

Мониторинг свободных слотов записи

Сервис для заказчика, которому нужно было вовремя узнавать о свободных датах записи в консульства Литвы: окна появляются редко и быстро заканчиваются. Что сделано: • Регулярная проверка расписания в онлайн-системе записи сразу по трём консульствам. • Уведомления в Telegram, как только появляется свободная дата, — с консульством и датой. • История найденных слотов: что и когда появлялось, без повторных уведомлений об одном и том же окне. • Подробные логи и скриншоты страницы при ошибках — проблему видно сразу, без догадок. • Перевод с Selenium на Playwright с асинхронной архитектурой: работа стала стабильнее и быстрее, а потребление ресурсов — ниже. Результат: заказчик узнаёт о свободном окне за секунды после его появления и успевает записаться, вместо того чтобы вручную обновлять страницу. Стек: Python, Playwright (ранее Selenium), asyncio, TinyDB, Telegram Bot API.

Форматы и цены

Первый источник начинается от суммы ниже. Несколько источников и доставка в вашу систему считаются отдельно.

Один источник

Мониторинг цен, наличия или каталога с одного сайта.

От 30,000 ₽

Несколько источников

Те же поля с разных сайтов в одной таблице.

По договорённости

В вашу систему

Выгрузка в таблицу, CRM или API и сообщение, если сбор встал.

По договорённости

Первый месяц поддержки входит в работу. Дальше — по договорённости, как и у остальных услуг.

Как мы работаем

Каждый этап заканчивается результатом, который можно проверить.

Разбор задачи — Созвон или переписка: процессы, цели и где сейчас теряются заявки.
Структура и смета — Фиксируем состав работ, этапы, срок и цену до начала разработки.
Разработка — Показываем результат по этапам, а не в конце. Правки — по ходу.
Запуск и поддержка — Публикуем, подключаем аналитику и месяц следим, что всё работает.

Вопросы по скрапингу

Можно начать с одного сайта?

Да. Формат «Один источник» закрывает один сайт. Остальные и выгрузку в вашу систему добавляем отдельно.

Что если сайт закроет доступ?

Сбор пишет ошибку в журнал. Если защита изменилась, починка входит в месяц поддержки, а дальше — по договорённости.

Сколько длится первый источник?

Обычно от трёх дней: поля, сбор, проверка на живых страницах и передача.

Давайте обсудим

Расскажите о задаче — ответим в течение дня с вопросами или первой оценкой.