Парсер групп Мой мир
Есть на складе
Программа Мой Мир собирает email-ы из социальной сети . Работат в 6 режимах (описание смотри ниже). На выходе создаются файлы Online.txt и Offline.txt либо общие для всех групп, либо для каждой группы в отдельной папке (см скрин настройки).
- Описание
- Отзывы
Особенности работы парсера Моего Мира
Парсинг по названию
Вводим название группы, которое берётся из ссылки в браузере. Например, из ссылки https://my.mail.ru/community/do.nice/ получится название do.nice.
Парсинг по ключевой фразе
Вводим фразу для поиска, например, «лучшие рецепты» (вводить без кавычек). На первом этапе программа сформирует список групп, взятых из поисковой выдачи (метод аналогичен этому https://my.mail.ru/my/communities-search?q=лучшие рецепты&st=search&head=1). Следующий шаг - это сбор с них участников (не более 2000 с каждой).
Парсинг по списку из групп файла
Файл с расширением txt (кодировка UTF-8) должен содержать в себе список названий, например:
For-man
do.nice
wichuga
etc
For-man
do.nice
wichuga
etc
Режим аналогичен предыдущему. Отличие в том, что этап сбора групп пропускается так как список групп загружается из файла.
Собрать друзей по списку почт
Файл с расширением txt (кодировка UTF-8) должен содержать в себе список почт, например:
pochta1@mail.ru
pochta2@mail.ru
pochta3@mail.ruПарсер заходит в профиль Мой Мир каждой из почт (если он существует и не скрыт) и собирает почты друзей. (не более 2000 с каждой)
Рекомендуется разбивать большие файлы с базой не более чем на 50 000. В среднем с файла с 50к почт - получается 1кк email.
pochta1@mail.ru
pochta2@mail.ru
pochta3@mail.ruПарсер заходит в профиль Мой Мир каждой из почт (если он существует и не скрыт) и собирает почты друзей. (не более 2000 с каждой)
Рекомендуется разбивать большие файлы с базой не более чем на 50 000. В среднем с файла с 50к почт - получается 1кк email.
Собрать активных участников
Для работы этого режима необходимо загрузить список групп (формат файла был описан выше). Далее указать необходимый временной интервал: "За сутки", "За неделю"...Программа будет заходить в каждую из групп, собирать посты, удовлетворяющие условиям. После чего парсить email-ы из комментариев и лайкнувших. В результирующем файле будут только почты и имя/фамилия (если отмечена опция "Собирать доп. инфо").
Парсинг списка групп по ключевой фразе
Этот режим входит во второй. Но по просьбам вынесен еще и отдельно. Вводим фразу для поиска и нажимаем старт. Получившийся список можно использовать также и в режиме «По списку групп из файла».
Основные возможности:
- Многопоточная реализация
- Использование аккаунтов mail.ru по желанию (без них выдача с одной группы будет не более 500 участников )
- Работа в 6 режимах.
- Разбиение по папкам (да/нет)
- Разбиение участников на онлайн/оффлайн
- Применение фильтра к списку найденных групп
- Сохранение доп. инфы об участниках в csv-файл (имя/возраст/город/последняя активность на сайте)
Максимальное количество потоков 4. В некоторых случаях программа управляет ими автоматически, в зависимости от количества участников или друзей, чтобы лишний раз не расходовать ресурсы системы. Продажа с привязкой к железу. Переустановка ОС не повлияет на лицензию.
Пока нет комментариев