В ряду терминов цифрового новояза (blockchain, bitcoin, big data, virtual corporation, peering net и т.д.) термин big data (большие данные) относится к числу немногих, имеющих вполне достоверную дату рождения - 3 сентября 2008 г., когда вышел специальный номер старейшего британского научного журнала Nature, посвящённый поиску ответа на вопрос «Как могут повлиять на будущее науки технологии, открывающие возможности работы с большими объемами данных?».
Вообще, проблема работы с большими объёмами данных стара как мир. Интерес к ней обострился в 50-60-е гг. прошлого столетия, когда началась эпоха компьютеров, открывших новые возможности в деле накопления, хранения, классификации, обработки и распространения информации. На самом деле big data (БД) - новый бренд, модная упаковка уже существовавшего «товара». Устоявшегося определения БД нет. Иногда определяют БД как совокупность подходов, инструментов и методов обработки структурированных и неструктурированных данных огромных объёмов и значительного многообразия. Данная совокупность инструментов и методов имеет самое прямое отношение к решению задач бизнес-разведки (business intelligence).
В 2011 году известная международная консалтинговая компания McKinsey опубликовала исследовательский отчёт под названием «Большие данные: следующий рубеж в сфере инноваций, конкуренции и производительности» (Big data: The next frontier for innovation, competition and productivity). Отчёт содержал впечатляющий перечень методов, применяемых в сфере БД: методы класса Data Mining; краудсорсинг; искусственные нейронные сети, сетевой анализ, оптимизация, в том числе генетические алгоритмы; распознавание образов; прогнозная аналитика; имитационное моделирование; пространственный анализ; статистический анализ; визуализация аналитических данных и т.д. и т.п.
В шумихе, поднятой вокруг темы БД, много пены, но за ней скрывается борьба за рынки. И не просто борьба за рынки, а борьба за каждого отдельно взятого человека как потенциального потребителя и покупателя товаров и услуг. Компании, банки и другие организации всегда занимались бизнес-разведкой, но в старые добрые времена они изучали рынки и прогнозировали их развитие «вообще». В лучшем случае проводились социологические и маркетинговые исследования по разным группам населения и разным группам бизнеса; изучались потребности, вкусы и модели поведения на рынке этих групп; учитывалось влияние на рынок конкурентов. В эпоху всеобщей информатизации конкуренция обострилась, но одновременно появились и новые возможности. Они заключаются в том, что бизнес при желании может получить большое количество информации практически о любом человеке. Такая информация, правильно обработанная и интерпретированная, - ключ к человеку, средство превращения его в клиента и последующим прочным закреплением установленной с клиентом связи.
Такие возможности появились в связи с развитием информационных технологий.
С одной стороны, человек, став пользователем этих технологий, стал оставлять в информационном пространстве громадное количество различных следов. Особенно много следов современный человек оставляет в социальных сетях. Кроме того, он заполняет разного рода анкеты при получении дисконтных карт, при посещении банков, страховых компаний и т.п. А ещё участвует в социологических опросах, оставляет свои отзывы в гостиницах и магазинах, постоянно попадает в поле зрения средств видеонаблюдения.
С другой стороны, с каждым годом появляются всё более мощные технические средства, которые позволяют обрабатывать информацию, содержащуюся в этих следах. При целенаправленной работе по сбору и обработке таких следов можно создавать громадные базы данных почти о каждом человеке, а затем реконструировать его портрет. При этом сначала персональная информация будет использоваться для прогнозирования поведения человека, затем – для управления человеком.
Сбор больших массивов и их обработка для последующей продажи становятся самостоятельным бизнесом. Примером может служить американская компания Acxiom, созданная в 1969 году и первоначально занимавшаяся маркетинговыми исследованиями по заказам корпоративных клиентов. В 2000-е годы компания сделала приоритетным направлением своей деятельности сбор и обработку информации о физических лицах по всему миру. В 2012 году для хранения и анализа данных компания уже использовала более 23 тысяч серверов. По оценкам, Acxiom владеет персональной информацией, охватывающей примерно 80 процентов взрослого населения США. Известный российский специалист по конкурентной разведке Елена Ларина пишет: «Сегодня в Америке имеется несколько провайдеров данных о людях, социальных группах и компаниях. Крупнейший из них, Аcxiom, имеет полный набор данных более чем на 500 млн. человек, включая большинство взрослых американцев и жителей сопредельных стран. В данных содержится практически всё. От номеров социального страхования и водительского удостоверения до истории болезни и взаимоотношений с кредитными учреждениями. От девичьей фамилии матери до перечня мелких административных правонарушений. Общее число параметров цифровой личности каждого человека, включенного в базу компании, приближается к 50».
Особенностью компаний типа Аcxiom является то, что они стремятся объединяться с себе подобными, чтобы стать монополистами на мировом рынке сбора, обработки, накопления и продажи информации о физических лицах. Так, Аcxiom заключила соглашение о сотрудничестве и обмене информации с известной американской компанией TiVo Corporation, которая специализируется в области сбора и обработки цифровой видеоинформации. В феврале 2013 года Acxiom заключила соглашение с компанией Facebook (суточная активная аудитория данной социальной сети находится на уровне 700 млн. человек).
Другой особенностью компаний, занимающихся сбором персональных данных под невинной вывеской big data, является то, что они начинают работать по заказам государства. Взять ту же сеть Facebook. В середине 2013 года подтвердилась информация о том, что АНБ с 2007 года по разнарядке ФБР собирает информацию о пользователях соцсетей, включая их переписку, а также сведения о местонахождении граждан. В числе прочих интернет-сервисов, информацию о пользователях спецслужбам предоставляет и Facebook. В августе 2013 года Facebook под давлением общественности вынуждена была опубликовать первый отчёт о количестве частично переданной этой компанией информации в первом полугодии 2013 года в ответ на 25 тыс. запросов на получение информации о 38 тыс. пользователей. Запросы исходили не только от правительства США, но и ряда других стран.
Acxiom является чуть ли не официальным поставщиком информации о гражданах США и других государств для АНБ, Министерства обороны и Министерства внутренней безопасности США. Для понимания того, как в США организовано государственно-частное партнёрство под прикрытием вывески «Big Data», много даёт книга американца Эндрю Кина «Ничего личного: Как социальные сети, поисковые системы и спецслужбы используют наши персональные данные». Фактически чуть ли не каждая вторая компания Силиконовой долины, по мнению Эндрю Кина, работает на американские спецслужбы. Самым крупным заказчиком является Агентство национальной безопасности (АНБ). Кин «засвечивает» многих раскрученных бизнесменов Силиконовой долины, показывая, что их успехи построены исключительно на связях с АНБ и другими американскими спецслужбами. Вот, например, Питер Тиль, известный как основатель платёжной системы PayPal. «Конкуренцию Acxiom за звание самого зловещего государственно-частного партнерства, - пишет Эндрю Кин, - составляет созданный в 2004 г. Питером Тилем разведывательный стартап Palantir, компания, собирающая большие массивы данных в разведывательных и правоохранительных целях». Изначально частично профинансированная In-Q-Tel, венчурным подразделением ЦРУ, вложившим в нее 2 млн. долл. и в период с 2005 по 2008 г. обслуживавшая единственного клиента в лице ЦРУ, сегодня Palantir может похвастаться списком клиентов, включающим ФБР, ЦРУ, армию США, Корпус морской пехоты США, ВВС США и Министерство обороны. В 2013 г. эта частная компания была оценена в 9 млрд. долл. и привлекла инвестиции в размере 107,5 млн. долл. По словам Марка Боудена, автора популярной книги об операции по уничтожению Усамы бен Ладена, программы Palantir «вполне заслуживают популярного названия „убойных приложений“». От себя добавлю: все инновационные проекты Питера Тиля между собой взаимосвязаны. Та же платёжная система PayPal является одним из важных каналов поступления информации для конечных заказчиков – американских спецслужб.
Общий вывод: американский high-tech, сосредоточенный в основном в Силиконовой долине – это один большой проект под названием «Большой Брат следит за тобой», если воспользоваться знаменитым выражением Джорджа Оруэлла. Кстати, в 1998 году в США и Великобритании была учреждена ежегодная «Премия Большого Брата» (Big Brother Awards), названная так в честь того самого Большого Брата из романа Оруэлла «1984». Премию присуждают на основе опросов общественного мнения за самое грубое нарушение неприкосновенности частной жизни и свободы граждан. Сегодня такие премии учреждены более чем в двух десятках стран. В США в 2005 году номинантом премии была компания Acxiom, а в 2016 году в Бельгии этой премии удостоилась компания Facebook.
Вообще, проблема работы с большими объёмами данных стара как мир. Интерес к ней обострился в 50-60-е гг. прошлого столетия, когда началась эпоха компьютеров, открывших новые возможности в деле накопления, хранения, классификации, обработки и распространения информации. На самом деле big data (БД) - новый бренд, модная упаковка уже существовавшего «товара». Устоявшегося определения БД нет. Иногда определяют БД как совокупность подходов, инструментов и методов обработки структурированных и неструктурированных данных огромных объёмов и значительного многообразия. Данная совокупность инструментов и методов имеет самое прямое отношение к решению задач бизнес-разведки (business intelligence).
В 2011 году известная международная консалтинговая компания McKinsey опубликовала исследовательский отчёт под названием «Большие данные: следующий рубеж в сфере инноваций, конкуренции и производительности» (Big data: The next frontier for innovation, competition and productivity). Отчёт содержал впечатляющий перечень методов, применяемых в сфере БД: методы класса Data Mining; краудсорсинг; искусственные нейронные сети, сетевой анализ, оптимизация, в том числе генетические алгоритмы; распознавание образов; прогнозная аналитика; имитационное моделирование; пространственный анализ; статистический анализ; визуализация аналитических данных и т.д. и т.п.
В шумихе, поднятой вокруг темы БД, много пены, но за ней скрывается борьба за рынки. И не просто борьба за рынки, а борьба за каждого отдельно взятого человека как потенциального потребителя и покупателя товаров и услуг. Компании, банки и другие организации всегда занимались бизнес-разведкой, но в старые добрые времена они изучали рынки и прогнозировали их развитие «вообще». В лучшем случае проводились социологические и маркетинговые исследования по разным группам населения и разным группам бизнеса; изучались потребности, вкусы и модели поведения на рынке этих групп; учитывалось влияние на рынок конкурентов. В эпоху всеобщей информатизации конкуренция обострилась, но одновременно появились и новые возможности. Они заключаются в том, что бизнес при желании может получить большое количество информации практически о любом человеке. Такая информация, правильно обработанная и интерпретированная, - ключ к человеку, средство превращения его в клиента и последующим прочным закреплением установленной с клиентом связи.
Такие возможности появились в связи с развитием информационных технологий.
С одной стороны, человек, став пользователем этих технологий, стал оставлять в информационном пространстве громадное количество различных следов. Особенно много следов современный человек оставляет в социальных сетях. Кроме того, он заполняет разного рода анкеты при получении дисконтных карт, при посещении банков, страховых компаний и т.п. А ещё участвует в социологических опросах, оставляет свои отзывы в гостиницах и магазинах, постоянно попадает в поле зрения средств видеонаблюдения.
С другой стороны, с каждым годом появляются всё более мощные технические средства, которые позволяют обрабатывать информацию, содержащуюся в этих следах. При целенаправленной работе по сбору и обработке таких следов можно создавать громадные базы данных почти о каждом человеке, а затем реконструировать его портрет. При этом сначала персональная информация будет использоваться для прогнозирования поведения человека, затем – для управления человеком.
Сбор больших массивов и их обработка для последующей продажи становятся самостоятельным бизнесом. Примером может служить американская компания Acxiom, созданная в 1969 году и первоначально занимавшаяся маркетинговыми исследованиями по заказам корпоративных клиентов. В 2000-е годы компания сделала приоритетным направлением своей деятельности сбор и обработку информации о физических лицах по всему миру. В 2012 году для хранения и анализа данных компания уже использовала более 23 тысяч серверов. По оценкам, Acxiom владеет персональной информацией, охватывающей примерно 80 процентов взрослого населения США. Известный российский специалист по конкурентной разведке Елена Ларина пишет: «Сегодня в Америке имеется несколько провайдеров данных о людях, социальных группах и компаниях. Крупнейший из них, Аcxiom, имеет полный набор данных более чем на 500 млн. человек, включая большинство взрослых американцев и жителей сопредельных стран. В данных содержится практически всё. От номеров социального страхования и водительского удостоверения до истории болезни и взаимоотношений с кредитными учреждениями. От девичьей фамилии матери до перечня мелких административных правонарушений. Общее число параметров цифровой личности каждого человека, включенного в базу компании, приближается к 50».
Особенностью компаний типа Аcxiom является то, что они стремятся объединяться с себе подобными, чтобы стать монополистами на мировом рынке сбора, обработки, накопления и продажи информации о физических лицах. Так, Аcxiom заключила соглашение о сотрудничестве и обмене информации с известной американской компанией TiVo Corporation, которая специализируется в области сбора и обработки цифровой видеоинформации. В феврале 2013 года Acxiom заключила соглашение с компанией Facebook (суточная активная аудитория данной социальной сети находится на уровне 700 млн. человек).
Другой особенностью компаний, занимающихся сбором персональных данных под невинной вывеской big data, является то, что они начинают работать по заказам государства. Взять ту же сеть Facebook. В середине 2013 года подтвердилась информация о том, что АНБ с 2007 года по разнарядке ФБР собирает информацию о пользователях соцсетей, включая их переписку, а также сведения о местонахождении граждан. В числе прочих интернет-сервисов, информацию о пользователях спецслужбам предоставляет и Facebook. В августе 2013 года Facebook под давлением общественности вынуждена была опубликовать первый отчёт о количестве частично переданной этой компанией информации в первом полугодии 2013 года в ответ на 25 тыс. запросов на получение информации о 38 тыс. пользователей. Запросы исходили не только от правительства США, но и ряда других стран.
Acxiom является чуть ли не официальным поставщиком информации о гражданах США и других государств для АНБ, Министерства обороны и Министерства внутренней безопасности США. Для понимания того, как в США организовано государственно-частное партнёрство под прикрытием вывески «Big Data», много даёт книга американца Эндрю Кина «Ничего личного: Как социальные сети, поисковые системы и спецслужбы используют наши персональные данные». Фактически чуть ли не каждая вторая компания Силиконовой долины, по мнению Эндрю Кина, работает на американские спецслужбы. Самым крупным заказчиком является Агентство национальной безопасности (АНБ). Кин «засвечивает» многих раскрученных бизнесменов Силиконовой долины, показывая, что их успехи построены исключительно на связях с АНБ и другими американскими спецслужбами. Вот, например, Питер Тиль, известный как основатель платёжной системы PayPal. «Конкуренцию Acxiom за звание самого зловещего государственно-частного партнерства, - пишет Эндрю Кин, - составляет созданный в 2004 г. Питером Тилем разведывательный стартап Palantir, компания, собирающая большие массивы данных в разведывательных и правоохранительных целях». Изначально частично профинансированная In-Q-Tel, венчурным подразделением ЦРУ, вложившим в нее 2 млн. долл. и в период с 2005 по 2008 г. обслуживавшая единственного клиента в лице ЦРУ, сегодня Palantir может похвастаться списком клиентов, включающим ФБР, ЦРУ, армию США, Корпус морской пехоты США, ВВС США и Министерство обороны. В 2013 г. эта частная компания была оценена в 9 млрд. долл. и привлекла инвестиции в размере 107,5 млн. долл. По словам Марка Боудена, автора популярной книги об операции по уничтожению Усамы бен Ладена, программы Palantir «вполне заслуживают популярного названия „убойных приложений“». От себя добавлю: все инновационные проекты Питера Тиля между собой взаимосвязаны. Та же платёжная система PayPal является одним из важных каналов поступления информации для конечных заказчиков – американских спецслужб.
Общий вывод: американский high-tech, сосредоточенный в основном в Силиконовой долине – это один большой проект под названием «Большой Брат следит за тобой», если воспользоваться знаменитым выражением Джорджа Оруэлла. Кстати, в 1998 году в США и Великобритании была учреждена ежегодная «Премия Большого Брата» (Big Brother Awards), названная так в честь того самого Большого Брата из романа Оруэлла «1984». Премию присуждают на основе опросов общественного мнения за самое грубое нарушение неприкосновенности частной жизни и свободы граждан. Сегодня такие премии учреждены более чем в двух десятках стран. В США в 2005 году номинантом премии была компания Acxiom, а в 2016 году в Бельгии этой премии удостоилась компания Facebook.
