Тренды в Big Data на ближайшие 10 лет

1
978

Эпоха больших данных уже наступила — объемы данных, генерируемых в науке, бизнесе, индустрии и управлении IT, растут экспоненциально. Аналитика больших объемов приводит к переходу на облачную обработку информации. Джеймс Кобиелус, ведущий аналитик SiliconAngle Wikibon по ИИ, науке о данных и разработке приложений, написал статью, где подробно рассказывает о тенденции развития аналитики больших данных в течение следующего десятилетия, о барьерах на пути развития и внедрения аналитики больших данных.

Аналитика Big Data: переход на облачную обработку информации.
Сегодняшний рынок аналитики больших данных сильно отличается от отрасли, существовавшей несколько лет назад. Грядущее десятилетие ознаменуется переменами и инновациями в каждом сегменте этой глобальной индустрии.

Аналитическая группа SiliconAngle в своем отчете Wikibon прогнозирует, что общий рынок аналитики больших данных будет расти на 11% в год, и к 2027 году достигнет $103 млрд. во всем мире. Большая часть роста рынка в последующие годы будет благодаря анализу больших данных в интернете вещей (IoT), мобильности и других случаях использования периферийных вычислений.

Поставщики общедоступных облачных сервисов расширяют свое влияние. Индустрия больших данных объединяет трех основных поставщиков общедоступных облаков — Amazon Web Services, Microsoft Azure и Google Cloud Platform. Большинство поставщиков программного обеспечения создают решения, которые работают во всех индустриях. Эти и другие поставщики общедоступных облаков больших данных, включая таких известных, как IBM и Oracle, предлагают управляемые озера данных IaaS и PaaS, в которые клиентам и партнерам рекомендуется разрабатывать новые приложения и в которые они переносят устаревшие приложения. Как следствие, поставщики Pure Data platform/NoSQL кажутся плоскими, теряют свою значимость в большом пространстве данных, в котором все больше доминируют диверсифицированные поставщики публичных облаков.

Преимущества общедоступного облака над частными облаками продолжают расширяться. Общедоступные облака становятся предпочтительной платформой анализа больших данных для каждого сегмента клиентов. Это связано с тем, что общедоступные облачные решения созревают быстрее, нежели локальные стеки, добавляя более богатые функциональные возможности с более конкурентоспособной стоимостью владения. Общедоступные облака расширяют экосистемы интерфейса прикладного программирования и совершенствуют свои инструменты администрирования быстрее, чем это происходит в мире решений для анализа больших данных, предназначенных для локальных развертываний.

Гибридные облака становятся промежуточной точкой для корпоративных больших данных на пути к более полному развертыванию в общедоступных облаках.
Гибридные облака входят в планы больших данных большинства крупных предприятий, но преимущественно в качестве переходной стратегии. Причина заключается в том, что баланс склоняется к тому, что предприятия размещают больше своих активов больших данных в общедоступных облаках.
Поэтому признавая эту тенденцию, традиционные поставщики больших данных оптимизируют свои продукты для гибридных вариантов использования. Кроме того, локальные платформы больших данных повторно выбираются для развертывания в общедоступных облаках.


Нравится материал? Подпишись!

Облачная конвергенция хранилищ больших данных ускоряется время от времени. Пользователи начинают наращивать темпы консолидации своих изолированных ресурсов больших данных в общедоступные облака. Растущее доминирование публичных облачных провайдеров рушится кросс-бизнес силосов (silos), которые до сих пор поражали частные архитектуры больших данных предприятий. Так же важно, решения для больших данных, как в облачной и локальной, сходятся в комплексные предложения, предназначенных для того, чтобы упростить и ускорить окупаемость. Больше провайдеров предоставляют стандартизированный API для упрощения доступа, ускорения развития.

Инновационные стартапы с большими данными выводят на рынок все более сложные ИИ-приложения. Инновационные поставщики приложений начинают нарушать большой конкурентный ландшафт данных с помощью решений на базе ИИ. Угроза со стороны новых участников рынка возрастает в каждом сегменте больших данных, при этом большинство инноваций разрабатывается для общедоступных или гибридных облачных развертываний. За последние несколько лет на рынок вышло много новых стартапов в области баз данных, потоковой обработки и обработки данных.

Разрушительные подходы к большим данным становятся жизнеспособными альтернативами установленным платформам. Вскоре новое поколение провайдеров платформы больших данных “unicorn” появится на основе подхода следующего поколения, которое сочетает IoT, blockchain и потоковые вычисления.
Большая часть этих платформ больших данных следующего поколения будет оптимизирована для управления сквозным конвейером devops для машинного обучения, глубокого обучения и ИИ. Кроме того, платформы больших данных разрабатываются для микрослужб AI на периферийных устройствах.

Hadoop становится просто частью головоломки больших данных.
Мы видим признаки того, что рынок рассматривает Hadoop, файловую систему HDFS и набор инструментов для обработки данных, больше как устаревшую технологию больших данных, чем как стратегическую платформу для разрушительных бизнес-приложений. Тем не менее, Hadoop — это зрелая технология, которая широко используется для ключевых случаев использования, таких как неструктурированная обработка информации, во многих ИТ—организациях пользователей и по-прежнему имеет длительный срок службы во многих организациях. Имея в виду эту долгосрочную перспективу, поставщики продолжают расширять свои предложения, обеспечивая более плавную совместимость между независимо разработанными аппаратными и программными компонентами.

Пользователи все чаще смешивают и сопоставляют многовидовые развертывания больших данных в открытых экосистемах. Меньше поставщиков больших данных предоставляют решения, в которых используются запатентованные, нестандартные или неконвертируемые компоненты. Клиенты используют преимущества сегодняшнего высококонкурентного рынка для извлечения постоянных усовершенствований от поставщиков аналитики больших данных. Поставщики, в свою очередь, разделяют свои инструменты на модульные архитектуры, в которых клиенты могут менять компоненты на различных функциональных уровнях. Это лучший подход для поставщиков, которые хотят получить устойчивую долю на рынке, на котором блокировка поставщика полного стека уходит в прошлое.

Базы данных деконструируются и собираются в рамках новаторских подходов. С архитектурной точки зрения, база данных, как мы привыкли знать, убывает. Мы движемся в будущее, в котором потоковая передача, в памяти и бессерверные инфраструктуры анализа больших данных будут господствовать. Поставщики изучают новые способы повторного поиска основных возможностей баз данных для удовлетворения возникающих требований, таких как автоматизированные конвейеры машинного обучения и когнитивная аналитика Интернета вещей. В этой эволюции аналитические и прикладные базы данных сходятся, поскольку более высокопроизводительные транзакционные аналитические возможности интегрированы в платформы данных всех типов. Кроме того, компонент Database storage engine становится репозиторием в основном для машинных данных, которые можно адресовать с помощью альтернативных структур, таких как индексы ключевых значений и схема объектов.

Цепочки инструментов обработки и анализа данных все чаще автоматизируют сквозной конвейер devops. Расширенное программирование больших данных будет продолжать расти в изощренности. (sophistication. )Разработчики имеют доступ к растущему спектру инструментов devops для автоматизации различных задач в области разработки, развертывания и управления машинного обучения, глубокого обучения и других ресурсов ИИ. Растущий диапазон этих решений даже использует специализированные алгоритмы машинного обучения для управления такими функциями развития машинного обучения, как настройка гиперпараметра.

Пакетные приложения для анализа больших данных становятся все более доступными. В течение ближайшего десятилетия многие пользователи получат большие решения для анализа данных в виде предварительно построенных, предварительно обработанных и плагированных облачных сервисов. Более того, эти службы автоматически адаптируют и настраивают встроенное обучение машинам, глубокое обучение и модели ИИ для постоянного достижения оптимальных результатов в бизнесе. И многие из этих услуг будут включать предварительные модели, которые клиенты могут настраивать и распространять на свои собственные конкретные потребности.

Барьеры на пути развития и внедрения аналитики больших данных.

Хотя прогноз для внедрения аналитики больших данных выглядит радужным, остается много постоянных проблем, которые мешают попыткам пользователей максимизировать ценность своих инвестиций в эти технологии. Главными среди них являются:

  • Чрезмерная сложность. Среды и приложения для анализа больших данных по-прежнему слишком сложны. Поставщикам необходимо будет продолжать упрощать интерфейсы, архитектуры, функции и инструменты этих сред. Это позволит расширить возможности анализа больших данных для основных пользователей и разработчиков, многие из которых не имеют собственного ИТ-персонала с необходимыми специализированными навыками.
  • Большие расходы. Процессы администрирования и управления аналитикой больших данных по-прежнему слишком изолированы, дорогостоящи и неэффективны для многих ИТ-специалистов. Поставщикам потребуется создать предварительно упакованные рабочие процессы, которые помогут большим группам специалистов более эффективно, быстро и точно управлять данными, метаданными, аналитикой и определениями служб.
  • Собственные приложения. Профессиональные службы анализа больших данных по-прежнему необходимы для разработки, развертывания и управления многими пользовательскими приложениями. Это особенно актуально для управляемых данными приложений, которые охватывают гибридные облака, используют различные платформы и инструменты и включают в себя непостижимо сложные процессы обработки данных. Поставщикам необходимо усилить содержимое предварительно упакованных приложений для распространенных приложений анализа больших данных, предоставляя пользователям визуальные инструменты самообслуживания для определения сложной бизнес-логики без внешней помощи.

Для корпоративных ИТ главная рекомендация Wikibon — начать миграцию большего количества ваших усилий по разработке аналитики больших данных в общедоступные облачные среды. Это ускорит вашу способность воспользоваться преимуществами быстрорастущих недорогих предложений, предоставляемых Amazon Web Services, Microsoft, Google, IBM и другими поставщиками общедоступных облаков. Следует подумать о создании гибридного облака предприятия, чтобы обеспечить плавный переход к общедоступному облаку в течение следующих нескольких лет.

Автор статьи: Айзада Куандыкова