Если Вам необходимо собрать большое количество общедоступной информации в интернет, Вам необходима специальная программа-парсер.
С ее помощью можно автоматизировать сбор информации, а также структурировать полученные данные.
Я могу помочь Вам в разработке, и под конкретно Ваши требования написать парсер, который будет делать за Вас всю рутинную работу.
Для разработки использую язык программирования Python и библиотеки: Beautifulsoup, Requests (возможно использовать и другие, зависит от Ваших целей).
Для парсеров много всевозможных фишек:
1. Эмуляция действий пользователей в браузере.
2. Парсинг в несколько потоков
3. Подключение через прокси-сервер
и т. д.
Обращайтесь, в любом случае задача будет решена!