Создам веб-паука для любого сайта, приложения, api

Напишу динамичную систему для веб-паука, есть готовые решения которые использую сам:

1. ProxyService - скрапер использует прокси, тем самым защищая владельца от блокировки, а так же обход где есть Country Restriction.
2. SeleniumHub - ферма браузеров для эмуляции пользователя, в случае если на сайте нужно выполнить операцию и только после забрать данные на парсинг.
3. ScraperService - стандартный сервис по скрапингу, быстрая загрузка страницы в фоне и последующий парсинг.

Подберу подход для любого сайта, есть примеры готового решения.

1. Yandex Market - скорость парсинга 100 тысяч товаров в час (все цены с магазинами, описание товара и прочее). Информацию складываю в БД PostgreSQL.

2. Tinkoff Investing - парсинг сделок топовых инвесторов, мгновенные оповещения в Telegram со всеми деталями, и ссылками на график сайты.

Решение поставляется в Docker образе, занимая на установку минимум времени.