Рейтинг статьї
  1. 5
  2. 4
  3. 3
  4. 2
  5. 1
(1 голос, в середньому: 5 із 5)
Героїв Севастополя 03061 Україна, Київ
Big Data
Криптовалюти

Big Data та блокчейн – прорив в області аналізу даних

Big Data та блокчейн – прорив в області аналізу даних

Постійне прискорення зростання обсягу даних є невід’ємним елементом сучасних реалій. Соціальні мережі, мобільні пристрої, дані з вимірювальних пристроїв, бізнес-інформація – це лише кілька видів джерел, здатних генерувати гігантські масиви даних.

В даний час термін Big Data (Великі дані) став досить поширеним. Далеко не всі ще усвідомлюють те, наскільки швидко й глибоко технології обробки великих масивів даних змінюють найрізноманітніші аспекти життя суспільства. Зміни відбуваються в різних сферах, породжуючи нові проблеми і виклики, в тому числі і в сфері інформаційної безпеки, де на першому плані повинні знаходитися такі найважливіші її аспекти, як конфіденційність, цілісність, доступність і т. д.

На жаль, багато сучасних компанії вдаються до технології Big Data, не створюючи для цього належної інфраструктури, яка змогла б забезпечити надійне зберігання величезних масивів даних, які вони збирають і зберігають. З іншого боку, в даний час стрімко розвивається технологія блокчейн, яка покликана вирішити цю та багато інших проблем.

Що таке Big Data?

По суті, визначення терміна лежить на поверхні: «великі дані» означають управління дуже великими обсягами даних, а також їх аналіз. Якщо дивитися ширше, то це інформація, яка не піддається обробці традиційними методами через її великих обсягів.

Сам термін Big Data (великі дані) з’явився відносно недавно. Згідно з даними сервісу Google Trends, активне зростання популярності терміна припадає на кінець 2011 року:

біг дата

У 2010 році вже стали з’являтися перші продукти і рішення, безпосередньо пов’язані з обробкою великих даних. До 2011 року більшість найбільших IT-компаній, включаючи IBM, Oracle, Microsoft і Hewlett-Packard, активно використовують термін Big Data в своїх ділових стратегіях. Поступово аналітики ринку інформаційних технологій починають активні дослідження даної концепції.

В даний час цей термін набув значної популярності і активно використовується в самих різних сферах. Однак не можна з упевненістю сказати, що Big Data – це якесь принципово нове явище – навпаки, великі джерела даних існують вже багато років. У маркетингу ними можна назвати бази даних по покупкам клієнтів, кредитних історій, способу життя і т. д. На протязі багатьох років аналітики використовували ці дані, щоб допомагати компаніям прогнозувати майбутні потреби клієнтів, оцінювати ризики, формувати споживчі переваги і т. д.

В даний час ситуація змінилася в двох аспектах:

– з’явилися більш складні інструменти і методи для аналізу і зіставлення різних наборів даних;
– інструменти аналізу доповнилися безліччю нових джерел даних, що обумовлено повсюдним переходом на цифрові технології, а також новими методами збору і вимірювання даних.

Дослідники прогнозують, що технології Big Data найактивніше будуть використовуватися у виробництві, охороні здоров’я, торгівлі, держуправлінні і в інших найрізноманітніших сферах і галузях.

Big Data – це не якийсь певний масив даних, а сукупність методів їх обробки. Визначальною характеристикою для великих даних є не тільки їх обсяг, але також і інші категорії, що характеризують трудомісткі процеси обробки і аналізу даних.

В якості вихідних даних для обробки можуть виступати, наприклад:

– логи поведінки інтернет-користувачів;
– Інтернет речей;
– соціальні медіа;
– метеорологічні дані;
– оцифровані книги найбільших бібліотек;
– GPS-сигнали з транспортних засобів;
– інформація про транзакції клієнтів банків;
– дані про місцезнаходження абонентів мобільних мереж;
– інформація про покупках в великих ритейл-мережах і т.д.

Згодом обсяги даних і кількість їх джерел безперервно зростає, а на цьому тлі з’являються нові і удосконалюються вже наявні методи обробки інформації.

Основні принципи Big Data:

– Горизонтальна масштабованість – масиви даних можуть бути величезними і це означає, що система обробки великих даних повинна динамічно розширюватися при збільшенні їх обсягів.
– Отказоустойчивость – навіть при збої деяких елементів обладнання, вся система повинна залишатися працездатною.
– Локальність даних. У великих розподілених системах дані зазвичай розподіляються по значній кількості машин. Однак у міру можливості і в цілях економії ресурсів дані часто обробляються на тому ж сервері, що і зберігаються.

Для стабільної роботи всіх трьох принципів і, відповідно, високу ефективність зберігання і обробки великих даних необхідні нові проривні технології, такі як, наприклад, блокчейн.

Для чого потрібні великі дані?

Сфера застосування Big Data постійно розширюється:

– Великі дані можна використовувати в медицині. Так, встановлювати діагноз пацієнту можна не тільки спираючись на дані аналізу історії хвороби, але також беручи до уваги досвід інших лікарів, відомості про екологічну ситуацію району проживання хворого і багато інших чинників.
– Технології Big Data можуть використовуватися для організації руху безпілотного транспорту.
– Обробляючи великі масиви даних можна розпізнавати обличчя на фото та відеоматеріалах.
– Технології Big Data можуть бути використані ритейлерами – торговельні компанії можуть активно використовувати масиви даних із соціальних мереж для ефективного налаштування своїх рекламних кампаній, які можуть бути максимально орієнтовані під той чи інший споживчий сегмент.
– Дана технологія активно використовується при організації передвиборних кампаній, в тому числі для аналізу політичних уподобань в суспільстві.
– Використання технологій Big Data актуально для рішень класу гарантування доходів (RA), які включають в себе інструменти виявлення невідповідностей і поглибленого аналізу даних, що дозволяють своєчасно виявити ймовірні втрати, або спотворення інформації, здатні привести до зниження фінансових результатів.
– Телекомунікаційні провайдери можуть агрегувати великі дані, в тому числі про геолокації; в свою чергу ця інформація може становити комерційний інтерес для рекламних агентств, які можуть використовувати її для показу таргетированной і локальної реклами, а також для рітейлерів і банків.
– Великі дані можуть зіграти важливу роль при вирішенні відкриття торгової точки в певній локації на основі даних про наявність потужного цільового потоку людей.

Таким чином найбільш очевидне практичне застосування технології Big Data лежить в сфері маркетингу. Завдяки розвитку інтернету і поширенню всіляких комунікаційних пристроїв поведінкові дані (такі як число дзвінків, купівельні звички і покупки) стають доступними в режимі реального часу.

Технології великих даних можуть також ефективно використовуватися в фінансах, для соціологічних досліджень і в багатьох інших сферах. Експерти стверджують, що всі ці можливості використання великих даних є лише видимою частиною айсберга, оскільки в набагато більших обсягах ці технології використовуються в розвідці і контррозвідці, в військовій справі, а також у всьому тому, що прийнято називати інформаційними війнами.

У загальних рисах послідовність роботи з Big Data складається з збору даних, структурування отриманої інформації за допомогою звітів і дашборда, а також подальшого формулювання рекомендацій до дії.

Розглянемо коротко можливості використання технологій Big Data в маркетингу. Як відомо, для маркетолога інформація – головний інструмент для прогнозування і складання стратегії. Аналіз великих даних давно і успішно застосовується для визначення цільової аудиторії, інтересів, попиту і активності споживачів. Аналіз великих даних, зокрема, дозволяє виводити рекламу (на основі моделі RTB-аукціону – Real Time Bidding) тільки тим споживачам, які зацікавлені в товарі чи послузі.

Застосування Big Data в маркетингу дозволяє бізнесменам:

– краще дізнаватися своїх споживачів, залучати аналогічну аудиторію в Інтернеті;
– оцінювати ступінь задоволеності клієнтів;
– розуміти, чи відповідає пропонований сервіс очікуванням і потребам;
– знаходити і впроваджувати нові способи, що збільшують довіру клієнтів;
– створювати проекти, які користуються попитом і т. д.

Наприклад, сервіс Google.trends може вказати маркетологу прогноз сезонної активності попиту на конкретний продукт, коливання і географію кліків. Якщо зіставити ці відомості до статистичних даних, що збираються відповідним плагіном на власному сайті, то можна скласти план з розподілу рекламного бюджету із зазначенням місяця, регіону та інших параметрів.

На думку багатьох дослідників, саме в сегментації і використанні Big Data полягає успіх передвиборної кампанії Трампа. Команда майбутнього президента США змогла правильно розділити аудиторію, зрозуміти її бажання і показувати саме той меседж, який виборці хочуть бачити і чути. Так, на думку Ірини Белишевим з компанії Data-Centric Alliance, перемога Трампа багато в чому стала можливою завдяки нестандартному підходу до інтернет-маркетингу, в основу якого лягли Big Data, психолого-поведінковий аналіз і персоналізована реклама.

Політтехнологи та маркетологи Трампа використовували спеціально розроблену математичну модель, яка дозволила глибоко проаналізувати дані всіх виборців США систематизувати їх, зробивши надточний таргетинг не тільки за географічними ознаками, але також і по намірам, інтересам виборців, їх психотипу, поведінковими характеристиками і т. д. Після цього маркетологи організували персоналізовану комунікацію з кожною з груп громадян на основі їх потреб, настроїв, політичних поглядів, психологічних про Обен і навіть кольору шкіри, використовуючи практично для кожного окремого виборця свій меседж.

Що стосується Хілларі Клінтон, то вона в своїй кампанії використовувала «перевірені часом» методи, засновані на соціологічних даних і стандартному маркетингу, розділивши електорат лише на формально гомогенні групи (чоловіки, жінки, афроамериканці, латиноамериканці, бідні, багаті і т. д.) .

В результаті виграв той, хто гідно оцінив потенціал нових технологій і методів аналізу. Примітно, що витрати на передвиборну кампанію Хілларі Клінтон були в два рази більше, ніж у її опонента:

Трамп і Клінтон

Основні проблеми використання Big Data

Крім високої вартості, одним з головних чинників, що гальмують впровадження Big Data в різні сфери, є проблема вибору оброблюваних даних: тобто визначення того, які дані необхідно отримувати, зберігати і аналізувати, а які – не брати до уваги.

Ще одна проблема Big Data носить етичний характер. Іншими словами виникає закономірне питання: чи можна подібний збір даних (особливо без відома користувача) вважати порушенням меж приватного життя?

Не секрет, що інформація, що зберігається в пошукових системах Google і Яндекс, дозволяє IT-гігантам постійно допрацьовувати свої сервіси, робити їх зручними для користувачів і створювати нові інтерактивні додатки. Для цього пошуковики збирають призначені для користувача дані про активність користувачів в інтернеті, IP-адреси, дані про геолокації, інтересах і онлайн-покупках, особисті дані, поштові повідомлення і т. д. Все це дозволяє демонструвати контекстну рекламу відповідно до поведінкою користувача в інтернеті. При цьому зазвичай згоди користувачів на це не питається, а можливості вибору, які відомості про себе надавати, не дається. Тобто за замовчуванням в Big Data збирається все, що потім буде зберігатися на серверах даних сайтів.

З цього випливає наступна важлива проблема, що стосується забезпечення безпеки зберігання та використання даних. Наприклад, безпечна та чи інша аналітична платформа, якій споживачі в автоматичному режимі передають свої дані? Крім того, багато представників бізнесу відзначають дефіцит висококваліфікованих аналітиків і маркетологів, здатних ефективно оперувати великими обсягами даних і вирішувати з їх допомогою конкретні бізнес-завдання.

Незважаючи на всі складнощі з впровадженням Big Data, бізнес має намір збільшувати вкладення в цей напрямок. За даними дослідження Gartner, лідерами інвестують в Big Data галузей є медіа, ритейл, телеком, банківський сектор і сервісні компанії.

Перспективи взаємодії технологій блокчейн і Big Data

Інтеграція технології розподіленого реєстру з Big Data несе в собі синергетичний ефект і відкриває бізнесу широкий спектр нових можливостей, в тому числі дозволяючи:

– отримувати доступ до детальної інформації про споживчі переваги, на основі яких можна вибудовувати докладні аналітичні профілі для конкретних постачальників, товарів і компонентів продукту;
– інтегрувати докладні дані про транзакції і статистикою споживання певних груп товарів різними категоріями користувачів;
– отримувати докладні аналітичні дані про ланцюги поставок і споживання, контролювати втрати продукції при транспортуванні (наприклад, втрати ваги внаслідок всихання і випаровування деяких видів товарів);
– протидіяти фальсифікаціям продукції, підвищити ефективність боротьби з відмиванням грошей і шахрайством і т. д.

Доступ до докладним даними про використання та споживанні товарів значною мірою розкриє потенціал технології Big Data для оптимізації ключових бізнес-процесів, знизить регуляторні ризики, розкриє нові можливості монетизації і створення продукції, яка буде максимально відповідати актуальним споживчими перевагами.

Як відомо, до технології блокчейн вже проявляють значний інтерес представники найбільших фінансових інститутів, включаючи Citibank, Nasdaq, Visa і т. д. На думку Олівера Буссманна, IT-менеджера швейцарського фінансового холдингу UBS, технологія блокчейн здатна «скоротити час обробки транзакцій від декількох днів до декількох хвилин ».

Потенціал аналізу фінансової інформації з блокчейна за допомогою технології Big Data величезний. Технологія розподіленого реєстру забезпечує цілісність інформації, а також надійне і прозоре зберігання всієї історії транзакцій. Big Data, в свою чергу, надає нові інструменти для ефективного аналізу, прогнозування, економічного моделювання і, відповідно, відкриває нові можливості для прийняття більш виважених управлінських рішень.

Тандем блокчейна і Big Data можна успішно використовувати в охороні здоров’я. Як відомо, недосконалі і неповні дані про здоров’я пацієнта в рази збільшують ризик постановки невірного діагнозу і неправильно призначеного лікування. Критично важливі дані про здоров’я клієнтів медустанов повинні бути максимально захищеними, мати властивості незмінності, бути перевіряються і не повинні бути піддані будь-яким маніпуляціям.

Інформація в блокчейне відповідає всім перерахованим вимогам і може служити в ролі якісних і надійних вихідних даних для глибокого аналізу за допомогою нових технологій Big Data. Крім цього, за допомогою блокчейна медичні установи змогли б обмінюватися достовірними даними зі страховими компаніями, органами правосуддя, роботодавцями, науковими установами та іншими організаціями, такими, що потребують медичної інформації.

Big Data та інформаційна безпека

У широкому розумінні, інформаційна безпека є захищеність інформації і підтримуючої інфраструктури від випадкових або навмисних негативних впливів природного або штучного характеру.

В області інформаційної безпеки Big Data має з такими викликами:

– проблеми захисту даних і забезпечення їх цілісності;
– ризик стороннього втручання і витоку конфіденційної інформації;
– неналежне зберігання конфіденційної інформації;
– ризик втрати інформації, наприклад, внаслідок чиїхось зловмисних дій;
– ризик нецільового використання персональних даних третіми особами і т. l.

Одна з головних проблем великих даних, яку покликаний вирішити блокчейн, лежить у сфері інформаційної безпеки. Забезпечуючи дотримання всіх основних її принципів, технологія розподіленого реєстру може гарантувати цілісність і достовірність даних, а завдяки відсутності єдиної точки відмови, блокчейн робить стабільною роботу інформаційних систем. Технологія розподіленого реєстру може допомогти вирішити проблему довіри до даних, а також надати можливість універсального обміну ними.

Інформація – цінний актив, а це значить, що на першому плані має стояти питання забезпечення основних аспектів інформаційної безпеки. Для того, щоб вистояти в конкурентній боротьбі, компанії повинні йти в ногу з часом, а це значить, що їм не можна ігнорувати ті потенційні можливості і переваги, які містять в собі технологія блокчейн і інструменти Big Data.

Підписуйтесь на новини Google+ та в Facebook!

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *