Рекламная функция Объемы данных во всем мире растут с безумной скоростью. По данным компании IDC, занимающейся изучением рынка, к 2025 году объем данных в мире вырастет до 175 зеттабайт — объем данных, который, если его скопировать на носитель BluRay, создаст стопку дисков, 23 раза превышающую расстояние между Землей и Луной.
Это информационное цунами не собирается ослабевать, и общий объем данных, как ожидается, увеличится более чем вдвое в период с 2022 по 2026 год, говорит Джон Риднинг, вице-президент по исследованиям IDC Global DataSphere. Он прогнозирует, что корпоративные данные будут расти более чем в два раза быстрее, чем потребительские данные, в течение следующих пяти лет, «оказывая еще большее давление на корпоративные организации в плане управления и защиты мировых данных, создавая возможности для активации данных для бизнеса и общества».
Джонсон Ноэль — старший менеджер по техническим решениям в Hazelcast, платформе для потоковой обработки в реальном времени. Он согласен с тем, что предприятиям приходится бороться ни с чем иным, как с «взрывом данных».
«Если вы не можете справиться с объемами данных в том виде, в каком они существуют сейчас, если вы не можете выполнить свои соглашения об уровне обслуживания сейчас, у вас не будет никаких шансов через пять лет, когда этот объем данных увеличится в четыре раза или даже больше», предупреждает Ноэль.
«Многие предприятия просто не знают, как обращаться с этой информацией. Некоторые могут даже не осознавать ценность этих данных и, как правило, ничего с этим не делают. Но эта информация жизненно важна, потому что это сердце и легкие бизнеса». их дело».
Переход к обработке данных в реальном времени
В свете этих опасений Ноэль считает, что дальновидные предприятия осознают важность обработки данных «в реальном времени», чтобы максимизировать коммерческую ценность своих ресурсов данных. Эти платформы реального времени становятся все более популярным выбором для организаций, которые часто хранят и обрабатывают большие объемы цифровых транзакций, но, хотя некоторые базы данных имеют встроенные параметры кэширования, они могут добавить в уравнение критические микросекундные задержки и задержку. Проблема может быть особенно заметна для финансовых услуг, электронной коммерции, здравоохранения и государственных учреждений, где возможность чтения/записи данных в режиме реального времени диктует успех или неудачу «момент времени».
«Когда мы начинаем говорить о некоторых проблемах с данными, с которыми сталкиваются предприятия, становится ясно, что всегда были проблемы, которые нужно было преодолеть, но теперь, когда мы находимся в мире реального времени, эти проблемы гораздо серьезнее и гораздо более распространены. Итак. генерируется гораздо больше данных, и они перемещаются намного быстрее, чем раньше. И чем больше данных, тем больше разнообразие, источники, форматы и повышенная вероятность разреженности и достоверности данных». добавляет Ноэль.
«Если бы компании могли предоставлять информацию в режиме реального времени, они получили бы преимущества, но в настоящее время многие из них неизменно не могут этого сделать, потому что у них нет соответствующих возможностей».
Чтобы помочь решить проблемы, связанные с обработкой растущих объемов данных в реальном времени, Hazelcast разработала платформу потоковой обработки в реальном времени, которая позволяет предприятиям легко и быстро создавать приложения, которые немедленно воздействуют на данные. Hazelcast — это платформа обработки потоков в реальном времени, интегрированная с хранилищем с малой задержкой и функцией машинного обучения.
Помимо распределения данных в хранилище с малой задержкой (сочетание памяти и высокопроизводительных твердотельных накопителей), Hazelcast предоставляет набор API-интерфейсов для доступа к ЦП в кластере для максимальной скорости обработки. Таким образом, в Hazelcast оперативная память и локальное хранилище всех членов кластера объединяются в единое хранилище данных с малой задержкой, чтобы обеспечить быстрый доступ к данным. Эта распределенная модель предназначена для обеспечения отказоустойчивости и масштабируемости данных организаций, поскольку в случае выхода из строя одного элемента резервные копии основных критически важных данных перераспределяются между оставшимися элементами.
Ноэль отмечает, что преимущество распределенного хранилища с малой задержкой заключается в том, что оно обеспечивает возможность очень высокопроизводительного доступа к данным, предлагая возможность эластичного увеличения и уменьшения емкости.
Он добавляет, что Hazelcast обеспечивает основу для разработки и развертывания быстрых, масштабируемых приложений, позволяющих предприятиям выполнять крупномасштабные вычисления, моделирование и другие рабочие нагрузки, требующие больших объемов данных и вычислений, в режиме реального времени. Это также ускоряет транзакции предприятий, значительно сокращая задержку доступа к данным за счет многоуровневого хранения данных, полученных из множества разрозненных хранилищ данных.
Конечно, некоторые поставщики технологий заявляют, но не обеспечивают обработку данных в режиме реального времени: «Есть некоторые поставщики, которые говорят, что они работают в режиме реального времени, но все, что они делают, это собирают информацию в режиме реального времени. приходится загружать в базу данных или какой-либо другой сервис, а затем выполнять обработку, а потом, конечно, уже слишком поздно». объясняет Ноэль.
«Настоящий режим реального времени включает в себя непрерывный сбор, анализ, канонизацию и выполнение функций (таких как обработка в соответствии с правилами или моделями машинного обучения) данных, поступающих вне базы данных или любой другой службы — другими словами, весь процесс должен выполняться в хранилище с очень малой задержкой и доставляться пользователям или нижестоящим процессам задолго до того, как они коснутся базы данных».
Ноэль добавляет, что обработка данных Hazelcast дает коммерческие преимущества: «Обработка — это область, в которой мы отличаемся от других традиционных решений. Идея обработки данных на самом деле заключается в возможности немедленного доступа к созданным данным, их обогащения, а затем предоставления информации в реальном времени. времени, чтобы можно было немедленно принять меры для получения ценности, которая в противном случае была бы упущена».
«Речь идет о том, чтобы убедиться, что вы делаете правильные звонки вовремя, все время».
Банки сокращают время отклика клиентов
Коммерческие преимущества обработки данных в режиме реального времени, безусловно, были убедительны для BNP Paribas Bank Polska, который развернул событийно-ориентированную архитектуру для увеличения возможностей получения дохода. Финансовое учреждение, входящее в банковскую группу BNP Paribas, чья деятельность охватывает 71 страну, недавно выступило с инициативой по расширению внедрения своих продуктов.
Это включало продвижение личных кредитов для любого клиента, чей остаток на банковском счете был низким и который не мог предоставить запрошенную сумму наличными через банкомат. Однако ранее развернутая в банке пакетно-ориентированная инфраструктура, основанная на технологиях CRM и хранилища данных, означала, что представление предложения клиенту обычно занимало до двух дней.
Чтобы ускорить этот процесс ответа, ИТ-команда BNP Paribas подключила платформу обработки потоков Hazelcast в реальном времени к существующей шине обмена сообщениями публикации/подписки и превратила среду в архитектуру, управляемую событиями. Это дало ему возможность реагировать на события в режиме реального времени, тем более что они уже собирали информацию о взаимодействии с клиентами.
Когда данные о событиях были прочитаны Hazelcast, они были быстро дополнены поиском данных в хранилище с малой задержкой, что предоставило контекст, необходимый для принятия более эффективных решений о том, как реагировать на клиента. Затем все событие может быть опубликовано обратно на шину для использования нижестоящими процессами. Одним из примеров нисходящего действия является отправка покупателю SMS-сообщения о товарном предложении, которое можно отправить сразу после события.
«Когда мы начинали, мы не знали, сможет ли система поддерживать различные типы бизнес-логики и ожидаемые объемы кампании, чтобы это было жизнеспособным усилием», — заявил Шимон Домагала, корпоративный архитектор, BNP Paribas Bank Polska.
«Но было легко и относительно дешево начать работу, чтобы увидеть, как может работать программное обеспечение. И мы получили хорошие результаты, так как коэффициент конверсии предложений в четыре раза выше, чем раньше, а кампании прибыльны».
Облачные сервисы добавляют больше гибкости
Далее Ноэль из Hazelcast отмечает, что, хотя большинство корпоративных клиентов его компании в настоящее время развертывают технологию Hazelcast локально, а собственные ИТ-команды отвечают за внедрение и управление программным и аппаратным обеспечением, наблюдается растущая тенденция к внедрению облачного программного обеспечения. -предложения как услуга. Одним из них является Hazelcast Viridian Serverless, который представляет собой облачный сервис самообслуживания с оплатой по факту использования. Другим является Hazelcast Viridian Dedicated, лицензированная по контракту версия облачного управляемого сервиса компании, предлагающая клиентам выделенные определенные серверы (экземпляры облака).
«Мы ожидаем увидеть движение [towards cloud-based services] от клиентов, которые используют в помещении в данный момент. Возможно, они больше не хотят управлять окружающей средой. Наши облачные сервисы позволяют им сосредоточиться на своих приложениях, а не на проблемах инфраструктуры. Мы предоставили им свободу выбора», — объясняет Ноэль.
Работая над следующим логическим шагом за пределами данных в реальном времени, Ноэль указывает на внедрение моделей машинного обучения. Он объясняет, что использование технологий Hazelcast позволяет создавать решения, экстраполирующие данные в реальном времени для прогнозирования событий, которые еще не произошли.
Например, рассматриваются приложения для отрасли здравоохранения, которые могут прогнозировать, улучшится или ухудшится заболевание, поражающее пациента, на основе информации, которая собирается в режиме реального времени. Эти приложения могут отслеживать жизненно важные признаки пациентов в больнице, включая насыщение кислородом, сердцебиение, температуру и артериальное давление, и эти данные в режиме реального времени загружаются в Hazelcast и дополняются контекстом и значением запись за записью, немедленно, чтобы врачи могли действовать на основе этих данных.
«Благодаря всей этой информации врач может сказать, меняется ли состояние здоровья пациента, а приложение может классифицировать это по степени срочности — высокой, средней или низкой, — чтобы показать, требуется или потребуется человеку срочное внимание», — говорит Ноэль. .
«Вы можете создавать приложения для здравоохранения, которые могут предсказать (используя модель машинного обучения), если этому пациенту может потребоваться срочная помощь, поэтому вы становитесь более проактивным, а не реактивным. В режиме реального времени вы реагируете на кого-то, кто только что заболел. Прогнозировать, что они заболеют, даже лучше, чем в режиме реального времени, и мы предоставляем платформу для операционализации предварительно созданных моделей для запуска в потоке при создании данных».
Преимущества, предоставляемые платформами обработки данных в режиме реального времени, конечно же, не ограничиваются банковским делом и здравоохранением — любая организация, пытающаяся справиться с огромными объемами постоянно обновляемой информации, может извлечь выгоду. Они просто должны знать, как лучше всего справиться с этим в первую очередь.
Вы можете узнать больше о платформе Hazelcast Real-Time Stream Processing, посетив эту бесплатную конференцию, виртуально или лично, в Лондоне 9 сентября.й Март – голова здесь чтобы зарегистрироваться и получить доступ к более подробной информации.
При поддержке Hazelcast.
