Здравствуйте.
Предоставляю услуги по написанию быстрых парсеров.
Немного статистики:
В среднем, на парсинг 50.000 страниц - уходит около 9 часов...
Мои ускоренные парсеры в среднем тратят на эту работу 8 минут...
Как добиться скорости:
Несомненно, можно ускорить процесс используя многопоточность, но чаще всего, исполнители берут за это приличную сумму денег,но разработать решение которое будет и быстрым, и стабильным - получается не часто. Многопоточность = ошибки исполнения кода, ошибки = замедление. Максимальную скорость при этом развить, скорее всего, не получится.
Асинхронность (случай этого услуги). То что надо для высокой скорости. Это практически та же многопоточность, но защищенная от ошибок. При стандартном многопотоке, порядком выполнения потоков управляет процессор вашего пк, в асинхронности же - программист, что исключает множество ошибок.
Как скорость отразится в цене:
Немного странно, но писать асинхронный код - гораздо проще, чем многопоточный. Вы не переплатите, выбрав асинхронность, за место многопоточности
