Сбор и обработка сверхбольших данных

Еще в далеком 2010 году до эпохи «БигДаты» в России, мы поняли что собирать данные умеет каждый, а вот обрабатывать их и превращать в выводы далеко не все. На данный момент наше программное обеспечение собирает данные из открытого интернета в реальном времени с задержкой не более 5 минут из:

  • Веб - индекса сайтов
  • Открытых профилей социальных сетей (где разрешена индексация)
  • Блогов, форумов и СМИ
  • Государственных реестров
  • Собственной системы веб - аналитики
  • Данные окружающей среды (погода, экология, ветер, приливы и т.д.)

За последние 5 лет мы приобрели огромное количество дата - партнеров, с которыми мы обмениваемся обезличенными идентификаторами и обогощаем друг друга новыми заняниями о:

  • Геоперемещении внутри страны и за ее пределами
  • Покупках и чеках
  • Рекламных предпочтениях и взаимодействии с контентом

На данный момент мы храним более 9,7Пб чистых знаний о жителях СНГ, Европейского союза, Соединенных Штатов Америки и Азии.

Законность получения данных

Мы обрабатываем только открытую информацию. В случаях когда клиент передает нам персональные данные субъектов, то мы всегда проверяем наличие у клиента разрешения от субъектов на передачу данных третьим лицам. В аналитических отчетах, дашбордах и алгоритмах мы не допускаем аггрегацию данных менее чем о 1 000 субъектов.

Федеральный закон
«О персональных данных» от 27.07.2006 N 152-ФЗ


Статья 6 пункт 9:
Обработка персональных данных осуществляется в статистических или иных исследовательских целях, за исключением целей, указанных в статье 15 настоящего Федерального закона, при условии обязательного обезличивания персональных данных.

Статья 15:
Обработка персональных данных в целях продвижения товаров, работ, услуг на рынке путем осуществления прямых контактов с потенциальным потребителем с помощью средств связи, а также в целях политической агитации допускается только при условии предварительного согласия субъекта персональных данных. Указанная обработка персональных данных признается осуществляемой без предварительного согласия субъекта персональных данных, если оператор не докажет, что такое согласие было получено.

Все наши решения и продукты работают согласно Российскому 152 ФЗ «О персональных данных» и Европейскому GDPR