about NetApp

В блоге Vaughan Stewart была найдена интресная картинка:

Да, это то что вы подумали. Начиная с Data ONTAP 7.3.3 и 8.0.1 на WAFL теперь работает компрессия (лицензия бесплатна, как iSCSI, или дедупликация, например), причем использование компрессии не отменяет и не заменяет, и может использоваться как совместно с дедупликацией, так и по отдельности. Это такая же знакомая и привычная онлайн-компрессия как на NTFS, например.

Компрессия пригодится в случаях, когда на диске лежат различные по содержимому данные, но не слишком дублирующиеся внутри на уровне 4KB-блоков WAFL. Тем не менее содержимое этих файлов вполне может сжиматься классическими LZ-алгоритмами. Например у меня на ноутбуке папка Program Files диска C: сжата почти на 30% от ее, примерно 2GB, объема.
Хороший пример – homedir различных пользователей организации. Хотя в хоумдирах иногда и попадаются идентичные документы и файлы у разных людей, в основном же, как показывает практика, большая часть содержимого хоумдиров достаточно уникальна, и не слишком эффективно дедуплицируется. Однако вполне поддается традиционному zip-like сжатию с неплохими показателями.

Для 7.3.3 компрессия идет как PVR, то есть доступна по запросу, но запланирована как стандартная опция в 8.0.1, которая выйдет этой осенью.

Любопытная новость обнаружилась в блоге Дейва Хитца, вице-президента, сооснователя компании, и первого блоггера NetApp (теперь в корпоративном каталоге блоггеров уже десятки имен, но он был первым,и одним из первых блоггеров в индустрии систем хранения вообще).

За прошедшие 52 недели, то есть, по простому, за календарный год (364 дня), NetApp, впервые в своей истории, отгрузила клиентам 1000 петабайт объема хранения, то есть, иначе, ровно экзабайт дискового пространства. Единица с восемнадцатью нулями байт.
Такая вот веха.

Хочу обратить внимание моих читателей на существование специальной группы на YouTube, под названием NetApp TV. В этой группе выкладываются видеоподкасты, скринкасты и демонстрации различных технологий NetApp. Может быть интересно.
Вот, например, рассказ про новинку - NetApp Data Motion.
Data Motion это средство прозрачной и непрерывающей миграции данных (и работающей с этими данными нагрузки в виде клиентов) между системами хранения NetApp, что-то вроде того, что делает VMware vMotion для виртуальных машин, но для данных.
Требует лицензии SnapMirror и Multistore, в продакшн выходит на ONTAP 8 в начале следующего года.

Один из клиентов NetApp - фотохостинг Flickr, принадлежащий ныне Yahoo, взял недавно новую высоту.
Четыре миллиарда закачанных пользовательских фотографий, при этом следует помнить, что при выбранной Flickr архитектуре хранения, каждая фотография хранится в виде 4-5 файлов разного разрешения, то есть суммарное количество файлов хранения еще в 4-5 раз больше.

Я уже писал про Flickr, с некоторыми подробностями по используемой архитектуре, в посте ранее, где приводились некоторые подробности на конец 2007 года. Думаю, что можно проэкстраполировать те данные, чтобы получить представление о сегодняшней ситуации.

Однако 4 миллиарда это не рекорд. Так, другой клиент NetApp, компания Facebook, хранит свыше 15 миллиардов фотографий (на апрель этого года).

По некоторым признакам, кроме PAM, все же будут у NetApp и обычные SSD в виде “дисков”.
Некоторе сведения об этом найдены тут: SearchStorage

Третьим шагом будет поддержка SSD в самих дисковых массивах, которую сейчас предлагают все крупные производители. “Позже в этом году мы проведем сертификацию дисков SSD в дисковых полках”, сказал Jay Kidd (NetApp’s Chief Marketing Officer). “Вы сможете добавить их к существующим системам, возможно с помощью дополнительных дисковых полок, которые поддерживают SSD”
Kidd сказал, что NetApp будет использовать SSD с нативным интерфейсом SAS.

Объявлена новая стратегия NetApp в области Cloud Systems.
Анонсирован выход в сентябре Data ONTAP 8, продукта объединяющего “классическую” 7G и ONTAP GX.

Ну и по мелочи: новая дисковая полка DS4243 - 24 диска SAS/SATA в корпусе 4U
PAM II - новая модель в линейке Performance Acceleration Module - 256GB flash-памяти (up to 4TB) (в PAM I была только RAM 16GB)
В начале 2010, с выходом 7.3.3, появится функция NetApp Data Motion - средство nondisruptive и прозрачного для приложений перемещения данных между системами NetApp и tier-ами хранения, например между SAS/FC и SATA-разделами.

Наконец то дошел до публикации мой перевод Руководства по наилучшим методам использования и настройки систем хранения NetApp для виртуальных инфраструктур VMware VI версии 3.
Это совместная работа специалистов NetApp и VMware, поможет использующим VMware с этими СХД, впрочем в работе рассматривается много вопросов и “аппаратно-независимых”, которые будут полезны при использовании и не только NetApp, например организацию и настройку многопутевых подключений ethernet-системы хранения (iSCSI, NFS) к серверам фермы VMware VI с помощью транкинга.

Шел он к публикации долго. Настолько долго, что за это время уже успел выйти следующий документ, по работе с VSphere (VI 4). Но тут уж не моя вина. Пока не ясно, будем ли мы готовить новый перевод, но если - обязательно сообщу.

По крайней мере, как я знаю, это единственная такая инициатива на русском языке среди производителей систем хранения.

Читать тут:
http://www.netwell.ru/production/techbiblioteka.php

По ряду просочившихся слухов, уже в этом году NetApp выкатит следующее поколение своей OS Data ONTAP версии 8. Напомню, что при переходе от 6.х.х к 7 мы получили aggregates и FlexVols, не считая множества более мелких новинок (давших впоследствии и Thin Provisioning, и дедупликацию).
Переход с “семерки” на “восьмерку” будет не менее революционным: в версии 8 будут слиты в единый продукт линейки ONTAP “classic” и ONTAP GX - версия OS, работающая ныне на многоузловых кластерны системах GX, наследник многострадальной покупки Spinnaker Networks в 2004-м, которую все так прожевать с тех пор не удавалось.

Более подробная статья про GX на русском найдена здесь: Распределенное grid-хранение: настоящее и будущее.

Таким образом, в основную “линейку” OS попадут такие возможности, как поддержка grid (напомню, на сегодня 7G поддерживает только двухузловые, “классические” кластеры, а GX до 24 узлов), возможности плавного масштабирования системы хранения без прерывания работы, путем добавления дополнительных “узлов” кластера; Global Namespace в файловой системе, на все узлы грида; “volume moves” - перемещение хранимых данных между узлами системы, в зависимости от уровня их загрузки, чем-то похожее на Vmotion и Storage Vmotion у нынешних VMware; страйпинг данных по всем входящим в grid системам хранения, балансировка нагрузки, и так далее.

Известно также, что группа Advanced Technologies group, в составе NetApp, занимается задачей создания OS ONTAP, работающей под гипервизором виртуализатора (совместно с разработчиками XEN), что в перспективе может открыть новые возможности, например интеграции новых функциональных модулей без ущерба для стабильности и безопасности базового функционала системы хранения. Напомню, что Data ONTAP, несмотря на то, что в консоли можно сказать ifconfig, и при определенных условиях, даже ps :), не является “UNIX-ом”, так как, среди прочего, например, не имет user space, и работает в “чистом” kernel space, что значительно затрудняет добавление нового кода, в особенности third part.
Если эти разработки закончатся успешно, то NetApp сделает еще один шаг на своем последовательном пути виртуализации “всего и всюду”.

В дополнение к прошлым постам про “Большие игры больших мальчиков”

Facebook и Oracle

На днях также обнаружил, что такой популярный сервис хранения фотографий как Flickr (я и сам им пользуюсь), также хранит свои данные на системах хранения NetApp.
Что, в общем неудивительно, так как Flickr вот уже несколько лет входит в Yahoo!, а Яху, как известно, крупнейший в мире (по объемам хранения) клиент NetApp.
И даже более того, после ухода Джерри Янга с поста CEO, его заняла Кэрол Берц, в прошлом также один из руководителей NetApp.

Интересная статья о архитектуре Flickr была найдена на сайте highscalability.com, кстати и вообще это любопытное место, если вы интересуетесь принципами построения высоконагруженных решений.

По состоянию на конец 2007 года:

• Более четырех миллиардов запросов в день
• Примерно 35 миллионов фотографий в дисковом кэше Squid
• Около двух миллионов фотографий в оперативной памяти Squid
• Всего приблизительно 470 миллионов изображений, каждое представлено в 4 или 5 размерах
• 38 тысяч запросов к memcached (12 миллионов объектов) в секунду
• 2 петабайта дискового пространства
• Более 400000 фотографий добавляются ежедневно

Оригинал статьи.
Ее русский перевод.

К сожалению, никаких подробностей о том, что именно используется, пока не обнаружено. “Сервера хранения NetApp”. Ну и правильно, включили - работает, чего обсуждать. “сало як сало” ;) Как это похоже на NetApp…

Наверняка все, кто интересуется темой, уже в курсе, но лишний раз напомнить не помешает.
У NetApp действует программа гарантии 50% экономии дискового пространства, при использовании их систем для хранения данных в виртуализованных средах.
Суть проста. Если вы применяете системы хранения NetApp под виртуальные машины VMware или Citrix Xen, то вы получаете результат, на не менее чем вдвое меньшем объеме дисков, чем у любого предложения конкурента. Если у вас такое не получилось, то NetApp обязуется предоставить недостающие диски за свой счет.
Гарантии это вам не маркетинговое бла-бла. :)

Разумеется реализация должна проводиться по опубикованным Best Practices.
Кто следит за темой, тот, наверное, понимает, что NetApp рискует немногим. За счет использования Deduplication, Snapshots, FlexClone и Thin provisioning в этих системах результаты получаются, зачастую, даже лучше чем 50%.
Но попробуйте. Может именно вам удастся развести NetApp на бесплатные диски. ;)

Баннер сверху ведет на вебсайт на русском языке, с материалами программы.