Парсинг Яндекс Карт — это автоматический сбор сведений о компаниях из карточек организаций: названий, адресов, телефонов, сайтов. Это самый быстрый способ получить список действующих компаний нужного профиля в нужном городе. Разберём, что именно там есть, чего нет и как превратить такой список в рабочую базу.
Что есть в карточке компании
- Название — как его указал владелец карточки;
- адрес и координаты;
- телефон — обычно один, иногда несколько;
- сайт и ссылки на соцсети, если владелец их добавил;
- рубрики — к каким видам деятельности относится компания;
- часы работы, рейтинг и отзывы.
Главное преимущество карт — актуальность: компании сами поддерживают карточки, потому что от этого зависит поток клиентов. Если точка закрылась, карточку чаще всего помечают закрытой.
Чего в картах нет
- ИНН и юридического лица. Название на вывеске почти никогда не совпадает с названием в реестре.
- Руководителя. Карты не знают, кто принимает решения.
- Почты. В карточках её указывают редко.
- Всех телефонов. В карточке обычно номер для клиентов, а не для поставщиков.
Поэтому список с карт — только основа. Его дополняют данными с сайтов, из соцсетей и из реестров ФНС.
Как работает сбор
- Для каждого города и каждого ключевого слова выполняется поиск на картах — как если бы его делал человек.
- Из найденных карточек забираются название, адрес, телефоны, сайт и ссылки.
- Компании с одинаковыми телефонами и адресами объединяются, чтобы не было дублей.
- Дальше каждую компанию дополняют: ищут сайт и соцсети, собирают с них контакты, находят юрлицо и ИНН по открытым реестрам.
- В конце проверяют статус в реестре и убирают закрытые организации.
Почему сделать это вручную сложно
- Карты показывают ограниченное число результатов на один запрос — большой город приходится обходить по частям.
- Одна и та же компания встречается под разными названиями и в разных рубриках.
- Найти ИНН по названию на вывеске непросто: «Сладкий двор» на карте может оказаться ИП Ивановым в реестре.
- Ручное копирование сотни компаний занимает рабочий день, а данные устаревают уже через несколько месяцев.
Можно ли использовать собранные данные
Сведения в карточках компании публикуют сами, чтобы их нашли клиенты; сведения о юрлицах в реестрах ФНС открыты по закону. Такие данные можно собирать и использовать для деловых предложений. Но у индивидуальных предпринимателей ФИО и ИНН — это персональные данные, а реклама по телефону и почте без согласия получателя ограничена законом. О том, как работать с базой аккуратно, — в инструкции о холодных звонках и письмах.
FluxData собирает компании с Яндекс Карт и сразу дополняет их контактами с сайтов, ВКонтакте, Telegram, Max, ИНН, директором и ОКВЭД. Слова для поиска по отраслям — в каталоге, города — в списке городов.