Будущее флеш-технологий

Инновационные технологии сделали информационную отрасль двигателем изменений по всему земному шару. Системы хранения данных - это одна из основ информационной отрасли, и они также претерпевают колоссальные изменения. В последнее десятилетие можно было наблюдать быстрое развитие флеш-носителей, стремительное увеличение емкости жестких дисков с нескольких сотен гигабайт до десятков терабайт, а также постоянное улучшение технологий межсетевого взаимодействия. Кроме того, появилось множество новых концепций (таких как разделение данных по уровням, дедупликация, RAID 2.0, распределенные EC, FCoE и NVMe) и новых видов хранилищ (конвергентное хранилище, CI, HCI, общедоступное облачное хранилище, SDS и объектное хранилище). Некоторые из этих идей были полезными, например, флеш-память, другие, такие как FCoE, не вошли в широкое пользование. Часть технологий (например, вторичное хранилище) пока находятся на стадии развития, а какие-то, например, пленка, все еще активно используются, хотя считаются устаревшими. Нет никаких сомнений в том, что сегодня изменения происходят гораздо быстрее, чем десять лет назад, не говоря уже о более далеких временах.

Как Huawei, ведущему в отрасли поставщику инфраструктурных решений ИКТ, удается наилучшим образом сочетать технологии, позволяющие клиентам компании идти в ногу со временем?

Изменения архитектуры центров обработки данных

Несмотря на все нововведения, требования к центрам обработки данных (ЦОД) остались прежними. Клиенты ждут от ЦОД высоких производительности, емкости, степени надежности и защищенности при снижении совокупной стоимости владения. По мере развития технологий архитектура центров обработки данных постоянно меняется для удовлетворения растущих требований.

Huawei считает, что облачные центры обработки данных станут наиболее востребованной технологией в ближайшие годы. А если точнее, то ожидается, что в ЦОД будут наиболее часто использоваться гибридные облака. Согласно отчету RightScale о состоянии облачных сервисов за 2018 год (State of the Cloud Report 2018, RightScale), 81% компаний используют несколько облачных сервисов, а 51% из них остановили выбор на гибридном облаке.

Облачная стратегия крупных компаний
Более 1000 сотрудников
Одно общедоступное облако 9%
Одно частное облако 4%
Нет стратегии 5%
Несколько облачных сервисов 81%
Несколько частных облачных сервисов 10%
Несколько общедоступных облачных сервисов 21%
Гибридное облако 51%

Отчет RightScale о состоянии облачных сервисов за 2018 год

Специалисты в области ИТ активно обсуждают и анализируют преимущества облачных центров обработки данных. Исходя из важности применения гибридных облаков для ЦОД, Huawei полагает, что гибридное облако станет наиболее часто используемой инфраструктурой в средних и крупных предприятиях в ближайшие пять-десять лет. В рамках архитектуры гибридного облака рабочие нагрузки ЦОД обычно делятся на два типа: основные и второстепенные (инновационные). Для обработки этих типов рабочих нагрузок применяются различные ИТ-стратегии.

К основным рабочим нагрузкам относятся ERP-системы, базовые системы обработки транзакций, например, банковские сервисы категории А, и базовые системы разработки продуктов. Для предоставления этих сервисов требуется высокая производительность и надежность. При этом требуется соблюдать правила в отношении прав на интеллектуальную собственность и безопасности, а соответствующие данные обычно хранятся в локальных центрах обработки данных. Для второстепенных рабочих нагрузок, к которым относятся резервное копирование, архивирование и инновационные сервисы, такие как Интернет вещей (IoT) и искусственный интеллект (ИИ), требуются хранилища большой емкости, но при этом более дешевые, легко масштабируемые, всегда доступные и гибко настраиваемые. Такие сервисы обычно развертываются в облачных центрах обработки данных или в одном или нескольких общедоступных облаках.

Такой гибридный подход к развертыванию служб лучше соответствует требованиям корпоративных клиентов к центрам обработки данных. Рассмотрим, например, холдинговую компанию по производству автомобилей, которая в основном занимается исследованиями и разработками, производством и продажей комплектующих. В собственности такой компании находится более 200 заводов с годовым оборотом в сотни миллиардов долларов, а штаб-квартира предоставляет им облачные сервисы и занимается обслуживанием. Каждый объект на периферии представляет собой кластер OpenStack и управляется из штаб-квартиры с помощью платформы ManageOne. Центры обработки данных подключены к общедоступному облаку. Это позволяет сделать в облаке резервную копию любых данных второстепенных рабочих нагрузок или данных, генерируемых производственными центрами. Гибридная облачная инфраструктура, состоящая из общедоступного и частного облаков Huawei, отвечает требованиям в области масштабируемости и гибкости.

Однако, при использовании гибридной облачной инфраструктуры возникают большие проблемы с хранением данных. Как можно создать свободный поток данных и организовать единое управление несколькими объектами? Как поставщики систем для локального и облачного хранения данных, такие как Huawei (Общедоступное облако Huawei), могут в полной мере реализовать преимущества гибридной среды? Решение этой задачи во многом определит разработку будущих систем хранения. Специалисты Huawei считают, что в будущем не будет независимых систем хранения, а все они будут интегрированы в облако. Поэтому в будущих локальных и облачных системах хранения Huawei будет использоваться единая архитектура для организации свободного потока данных, унификации управления всеми объектами и стандартизации документооборота. Это позволит Huawei предоставлять клиентам наиболее удобную гибридную облачную архитектуру с полным спектром услуг и помочь им быстрее развертывать облачные центры обработки данных.

Инновационные способы применения в промышленности

Во всех отраслях происходят фантастические изменения, но инновации повышают нагрузку на ИТ-системы, особенно на системы хранения. Рассмотрим, например, системы безопасности, которые постоянно обновляются на основе технологий ИИ, таких как распознавание лиц, обнаружение следов и выявление аномальных объектов и событий. Для внедрения этих инноваций требуется высокопроизводительное хранилище данных, обеспечивающее различные типы доступа: видео, изображения, MPPDB и блоки. Оно также должно обладать большой емкостью и предоставлять широкие возможности для управления жизненным циклом данных (горячие, теплые и холодные данные). Для внедрения инноваций также необходимо, чтобы данные в хранилище можно было обрабатывать локально (NDP - Near Data Processing) с поддержкой графических процессоров. Традиционные системы хранения данных, используемые для услуг безопасности, имеют большую емкость, низкую стоимость и большую пропускную способность, поэтому разница становится очевидной.

Рост объемов финансовых интернет-услуг вызвал повышение спроса на различные методы массового доступа и привел к перебоям в предоставлении услуг. Соответственно выросли требования к надежности систем хранения. Например, в 2017 году, во время проведения торгового фестиваля «Double 11» в Китае, число онлайн-транзакций достигло 256 000 в секунду, вдвое превысив показатели 2016 года. Также число операций по обработке баз данных достигло пикового значения 42 миллиона в секунду, что больше, чем число операций за целый день до фестиваля. ИТ-инфраструктура оказалась под большим давлением в попытках справиться с таким огромным потоком данных.

Похожую ситуацию можно наблюдать в индустрии мобильных игр. Перед запуском игры трудно предсказать, как быстро будет расти или падать количество пользователей. В качестве примера можно привести игру Flappy Bird, которая была выпущена в мае 2013 года, а сверхпопулярной стала в начале 2014 года. Число скачиваний быстро достигло миллионов в день, что невозможно было предсказать.

 

Бурный рост скачиваний Flappy Bird на AppStore (Источник: http://zachwill.com/)

В сфере социальных сетей серьезное увеличение трафика вследствие какого-либо популярного события можно отследить на примере сервиса Weibo. В октябре 2017 года один из серверов Sina Weibo вышел из строя из-за резкого увеличения нагрузки, вызванного тем, что одна из знаменитостей использовала этот сервис, чтобы представить свою новую возлюбленную. Согласно официально опубликованным данным, публикация собрала 462 884 репоста, 986 409 комментариев и 2 566 617 лайков.

 

Изменение числа репостов и комментариев
Репосты
Комментарии
Круги на графике выделяют лидеров общественного мнения в определенный момент времени.
Сообщение было опубликовано в 12:00 8 октября, а максимальное количество репостов и комментариев было отмечено в 12:10 8 октября.
На пике число репостов и комментариев достигло 34 856 и 5 996 соответственно. Затем скорость публикаций постепенно начала снижаться.

Данные о трафике микроблога

В сфере производства внедрение принципов Индустрии 4.0 и гибких производственных схем привело к появлению большого количества вариаций продукта и непредсказуемости продаж. Для подобных инноваций требуются очень гибкие системы, и специалисты Huawei уверены, что только распределенные системы и облачное хранение соответствуют этим требованиям.

К другим важными новым технологиям относятся высокоскоростные службы анализа данных, например, анализ на предмет мошенничества с кредитными картами в финансовой сфере. Многие отрасли также используют инновации: интернет транспортных средств (анализ и предотвращение столкновений), управление трафиком (анализ состояния дороги в режиме реального времени) и производство (автоматизация проектирования электроники - Electronic Design Automation, EDA). Для предоставления этих услуг требуются хранилища с невероятной скоростью доступа к данным.

Если говорить в общем, то инновации в различных отраслях привели к повышению требований к системам хранения. В наше время требуется интеллектуальная обработка озер данных, распределенное хранение, хранение в облаке и сверхбыстрый доступ к данным. Продукты Huawei созданы с учетом этих требований, они предлагают пользователем наилучшие характеристики и задают тенденции для развития систем хранения данных в будущем.

Непрерывное развитие носителей

В области хранения данных важнейшие прорывы связаны с развитием носителей информации.

За последние несколько лет флеш-систем хранения данных (all-flash, AFA) вышли на передний план. Учитывая снижение цен на флеш-носители, можно ожидать, что AFA будут все чаще применяться в центрах обработки данных.

 

Изменение цены на различные носители

Но способны ли современные флеш-системы реализовать все преимущества флеш-технологий? Huawei полагает, что производителям хранилищ предстоит еще много работы, прежде чем можно будет использовать весь потенциал технологии.

Помимо этого, рост вычислительных возможностей процессоров отстает от развития носителей памяти. Если сравнивать жесткие диски с твердотельными накопителями, то производительность последних по сравнению с первыми выросла в сотни или даже тысячи раз. Новое поколение SCM-памяти произвело еще один скачок в производительности, уменьшив задержку до микросекунд.

Задержка (мкс)
NVMe^TM позволяет устранить 20 мкс задержки контроллера
SSD 3D XPoint^TM имеет задержку менее 10 мкс
Постоянная память (SCM) 3D XPoint^TM
SSD NAND +SAS/ SATA
SSD NAND +NVMe^TM
SSD 3D XPoint^TM +NVMe^TM
PM 3D Xpoint^TM
Задержка привода
Задержка контроллера (например, SAS HBA)
Задержка ПО
На основе данных из презентаций SNIA компании Intel

Повышение производительности носителей памяти по мере их развития

Производительность процессоров от поколения к поколению растет всего на 20-30%, из-за чего именно процессоры могут ограничить возможности систем AFA.

Один из способов решения этой проблемы - использовать больше процессоров, увеличивая количество ядер ЦП на накопитель SSD. В современных флеш-системах, например в OceanStor Dorado6000, количество ядер на накопитель может достигать 3,7:1. Однако большее количество процессоров приводит к более высокому энергопотреблению, проблемам с отводом тепла и повышению затрат на обслуживание, поэтому это не самый удачный вариант развития. Для решения этой проблемы Huawei рассчитывает использовать более дешевые процессоры с меньшим энергопотреблением, но большим количеством ядер (многоядерные процессоры). Это позволит увеличить описанное выше соотношение (ядра/накопители).

Еще одно решение - использовать интеллектуальные дисковые модули, чтобы передать им некоторые функции (NDP). К этим функциям относятся сжатие, проверка надежности, восстановление и балансировка. Снятие части нагрузки с процессора помогает снизить потребление ресурсов сети и увеличить производительность.

Huawei выпустит соответствующие технологии и обеспечит возможность каскадного подключения и расширения серверной платформы JBoF с помощью NVMeOF. Другим решением является оптимизация программного обеспечения, совершенствование параллельной обработки и эффективности вычислений с помощью безблокировочного режима и режима выполнения до завершения. Intel SPDK - это попытка осуществить задумку. Флеш-система Huawei OceanStor Dorado разработана с целью обеспечения высокой эффективности параллельной обработки и высокой производительности, мы продолжаем ее оптимизировать.

Разница между производительностью носителей и требованиями к ним также видна на стороне сети. Причины этому те же, что указаны выше. Для хранения начали применяться сети на базе протокола NVMe, и Huawei стала одной из первых компаний, выпустившей подобную систему хранения. Huawei планирует и дальше развивать сети, полностью работающие на NVMe (NVMe over Fabric), для систем хранения и центров обработки данных.

Еще одна заметная тенденция - быстрое развитие флеш-носителей. Хранилища становятся больше и быстрее. Если говорить об объеме хранилищ, то появление технологии QLC позволило расширить возможности применения флеш-памяти, предоставив еще один аргумент в пользу отказа от жестких дисков. Однако технология QLC может привести к проблемам с надежностью и производительностью, поэтому ее еще необходимо оптимизировать для использования в системах хранения (так же как в случае с SMR), а также осторожно выбирать варианты применения. Один из вариантов применения QLC - теплое хранилище.

Что касается скорости работы хранилищ, настоящим прорывом стала технология SCM. Чтобы использовать режим с байтовой адресацией SCM, необходимо существенно изменить архитектуру систем хранения. Для этого придется превратить блоковую архитектуру в байтовую и ввести новые требования к структуре данных нового поколения, механизму транзакций и созданию баз данных на основе SCM. Huawei проводит серьезные исследования и планирует выпустить сверхбыстрое хранилище на базе SCM в будущем.

Постоянное развитие инструментов защиты данных

Пользователи постоянно требуют улучшения механизмов защиты данных, и в этой области появилось немало новинок. Например, облачное резервирование/аварийное восстановление (DR) помогают снизить затраты с помощью облачных технологий. Технология управления копированием данных (CDM) оптимизирует процессы миграции и повторного использования копий данных, а также управления ими, тем самым расширяя возможности традиционных систем резервного копирования. Сверхточные моментальные снимки (совершаются за считанные секунды) делаются с меньшими интервалами, что позволяет увеличить их количество. Благодаря этому в системах хранения можно использовать механизм непрерывной защиты данных (обычно для традиционной CDP необходимо отдельное устройство), таким образом повышая уровень их защиты. Решение 3DC DR можно улучшить до 4DC DR или даже межоблачного DR.

Все эти новые технологии говорят о том, насколько важны пользовательские данные. Huawei продолжит совершенствовать технологии защиты данных и применять их во флеш-системах хранения, распределенных и облачных хранилищах.

Широкий взгляд для выявления новых возможностей

Помимо уже внесенных изменений и нововведений, появляются новые технические разработки, которые могут значительно повлиять на будущее систем хранения. Среди них технологии ИИ и блокчейн.

В последние годы ИИ является одной из самых обсуждаемых тем в отрасли, и уже началось его использование в хранилищах. Многие производители, включая Huawei, развернули системы обслуживания хранилищ с применение искусственного интеллекта для прогнозирования сбоев, выявления проблем, анализа производительности и оценки заполненности накопителей. Такой механизм оценки состояния системы значительно сокращает затраты на эксплуатацию и техническое обслуживание. И это только начало. ИИ будет все чаще применяться в системах хранения, например, для организации интеллектуальной оценки нагрузки, создаваемой сервисами, и динамической настройки параметров хранилища (параметры предварительной выборки кэша, алгоритмы выбора диска и алгоритмы дедупликации) для оптимизации использования системы. Кроме того, интеллектуальный алгоритм будет автоматически оптимизировать режим распределения данных в распределенных системах хранения, уменьшая потребление сетевых ресурсов и обеспечивая балансировку системы. Huawei продолжит развивать возможные сферы применения ИИ.

По сравнению с ИИ применение блокчейна в хранении данных еще находится в зачаточном состоянии. Основная особенность блокчейна - невозможность отказа от факта участия в информационном обмене, поэтому возможным вариантом использования этой технологии является создание надежных систем хранения, где все журналы активности пользователей, рабочие записи и даже данные проверяются и отслеживаются. Надежные системы, например, для хранения контрактов, могут обеспечить конкурентное преимущество в областях с высокими требованиями к защите данных.

Заключение

В сфере хранения данных происходят огромные изменения: гибридное облако, интеллектуальные технологии, озера данных, новые типы носителей, технологии защиты данных и новые технологические возможности. В эпоху новых типов хранения Huawei по-прежнему будет придерживаться принципа "Данные по требованию", а также постоянно внедрять новые технологии, чтобы клиенты получали все более качественные и совершенные системы хранения данных и могли эффективнее управлять данными.



Автор Денис Дубинин