about NetApp

Простая, малоизвестная, но весьма полезная команда – logger. Эта команда пишет данную ей в аргументе текстовую строку в системный лог (/etc/messages). С ее помошью можно заносить в лог определенные записи, например отмечать там свои действия.

fas1> logger   *** Starting shelf firmware upgrade ***

Запущенная без аргумента она ожидает ввода со stdin (клавиатуры), завершаемого “по юниксному” – точкой в начале новой строки

fas1> logger 
—– > System going down for UPS system maintenance  < —–
System is expected to halt ungracefully while we test battery duration
-  > Sysadmin
.

Малоизвестная, но полезная команда консоли environment позволит наблюдать за различными показателями “среды обитания” системы хранения, таких как, например, температура, скорости вращения вентиляторов охлаждения, или состояние блоков питания.

fas> environment status – показывает всю доступную информацию 
fas> environment shelf – показывает информацию, относящуюся к дисковым полкам 
fas> environment chassis all – показывает информацию о шасси контроллера
fas> environment chassis list-sensors – показыват все датчики шасси, их состояния и пороги

Пример вывода команды environment status shelf:

          Environment for adapter 3:
                  Shelves monitored: 1    enabled: yes
                  Swap in progress? no    Environmental failure? no

                  EDM 1 (active):
                  SES Configuration, via loop id 3 in shelf 0x0:
                   logical identifier=0x3003040000000000
                   vendor identification=EuroLogc
                   product identification=Eurologic EDM
                   product revision level=0x01000101
                  Vendor-specific information:
                   backplane byte=0x1e     cabinet id=0x0
                   Backplane Type : Single Fibre Channel Backplane
                   Backplane Function : Storage System
                   Kernel Version : 1.0.A          App. Version : 1.1.A
                  Shelf:0         SES path:3.3    Device mask: 0x7f
                  Power Supply present: 0x3; with error: 0x0
                  Fans present: 0x3; with error: 0x0
                  Temperature Sensor present: 0x1; with error: 0x0
                  SES Electronics present: 0x1; with error: 0x0
                  Shelf temperature: 29C (84F)
                  High thresholds: critical: 55C (131F); warning 50C (122F)
                  Low thresholds: critical: 0C (32F); warning 10C (50F)

                  Disks physically present on adapter 3
                    Devices 0x1f-0x00: 0000007f
                    Devices 0x3f-0x20: 00000000
                    Devices 0x5f-0x40: 00000000
                    Devices 0x7f-0x60: 00000000

В админской консоли, будь то терминал консольного порта, телнет или ssh, при подключении можно вывести на экран подключающегося (до ведения логина) какую-нибудь полезную информацию. В Linux/UNIX это часто называется banner или motd (message of the day).

Например туда можно написать какую-нибудь полезную информацию о контакте с дежурным админом:

В экстренных случаях, для контакта с системным администратором данной системы, позвоните по номеру +7-916-1234567 (круглосуточно)

Или принадлежности данной системы в большом хозяйстве датацентра:

Данная система хранения принадлежит отделу автоматизации ОАО Проммехавтоматика (комната 414, здание Б), ответственный Приходько Б.П.

Или вывесить в нем строгое предупреждение любителям посканировать открытые порты:

Все что вы получаете на свой компьютер может быть использовано против вас. Обращение к данной системе записывается, оставайтесь на месте, за вами выехали.

Для того, чтобы вывести сообщение при подключении, запишите его в файл /etc/issue или /etc/motd

Самым простым способом будет сделать это непосредственно из консоли с помощью команды wrfile, которая перенаправляет нажатия клавиш в файл, завершить запись файла можно нажатием Ctrl-C:

fas> wrfile /etc/issue
Warning: This system to be accessed only by Acme Corporation employees.
Have a nice day.
 
<Ctrl+C> error: broken pipe

Иногда бывает важно сделать так, чтобы трафик определенных протоколов вообще не ходил по определенным портам. Например, у нас есть система хранения, лицензированы протоколы iSCSI, CIFS и настроена репликация SnapMirror. Каждый из этих протоколов работает в своей физической сети. По CIFS ходят юзеры за файлами, по iSCSI прицеплены сервера, а SnapMirror льет свои данные по третьей сети, выделенной только под трафик репликации.

И мы хотели бы гарантировать, что каждый трафик будет существовать только в своей сети. До ONTAP 7.3 минимальные средства такого управления были только для iSCSI. Можно было разрешить или запретить iSCSI на конкретном порту, и только. Но начиная с 7.3 появилась новая возможность.

fas> options interface.cifs.blocked e0b
fas> options interface.iscsi.blocked e1a,e1b,e1c,e1d
fas> options interface.nfs.blocked e0a,e0c
fas> options interface.snapmirror.blocked e0d

Из приведенных примеров, как мне кажется, все понятно. Обратите внимание, что настройки на обоих контроллерах кластера должны быть строго идентичны! Также имейте ввиду, что данные настройки не работают для iSCSI HBA и TOE-карт, то есть это только для обычных NIC, как onboard, так и карт расширения.

NDMP – Network Data Management Protocol – это разработанный еще в 90-х годах компаниями NetApp и Legato(ныне EMC Software Group) сетевой IP-протокол, и концепция архитектуры резервного копирования для NAS-устройств. Основной идеей, создавшей концепцию NDMP, являлось желание дать NAS-системам хранения, представляющим из себя обычно довольно мощный сервер сам по себе, возможность самостоятельно, своими силами осуществлять резервное копирование своего содержимого.

(Дальше много текста с картинками)

Continue reading ‘NDMP – что это, и как использовать?’ »

Иногда пользователям попадается система хранения с “богатым прошлым”, “доставшаяся в наследство”, или иной странный некомплект. Часто встает вопрос, как привести такую систему в исходное состояние, избавившись от “тяжелого наследства” установленной конфигурации прежних владельцев.

Для начала, вам следует найти консольный кабель. Он идет в комплекте поставки но, в случае, когда концы системы утеряны, бывает с ними же уходит и кабель.

В качестве консольного кабеля прекрасно подойдет аналогичный консольный кабель RJ-45-to-DB-9 от оборудования Cisco. Его распиновка такова:

Pinouts RJ45
Pin# Signal
1    connected to pin 8
2    Not connected
3    TXD (from appliance)
4    GND
5    GND
6    RXD (to appliance)
7    Not connected
8    connected to pin 1 

Для справки также привожу распиновку стандартного RS-232 serial DB-9

Pinouts DB9
Pin# Signal Data Flow Description
1    DCD    input     data carrier detected
2    SIN    input     serial input
3   SOUT    output    serial output
4    DTR    output    data terminal ready
5    GND    N/A       signal ground
6    DSR    input     data set ready
7    RTS    output    request to send
8    CTS    input     clear to send
9     RI    input     ring indicator 

Для сброса системы в “состояние с завода” следует выполнить в консоли загруженной системы, войдя от имени root, следующие команды:

>priv set advanced

>halt -c factory

После перезагрузки все ранее сделанные изменения конфигурации в /etc сотрутся, и будет запущен стартовый скрипт setup, обеспечивающий начальную установку впервые включенной системы.

Если необходимо сменить неизвестный или утерянный пароль root, следует, с подключенным к serial port кабелем и консолью, включить контроллер, и, при загрузке, на предложенную подсказку, нажать Ctrl-C и выбрать (3) Change password.

Обратите внимание, что сбросить пароль root возможно только с консольным подключением в контроллер.

Возможно вы уже знакомы с так называемым special boot menu, которое появляется, если при загрузке с сериальной консоли нажать Ctrl-C. Любопытно, что кроме 6 предлагаемых вариантов, в этом меню есть и скрытые варианты. Например, если туда, вместо предлагаемых номеров, ввести WAFL_check [aggrname], где [aggrname] это имя соответствующего аггрегейта, то начнется подробная проверка консистентнсти WAFL на нем. Это может помочь если, по какой-то причине, состояние дисков и WAFL на них настолько нарушено, что система хранения не загружается, или не в состоянии разрулить проблему обычными средствами.

По сути это аналог fsck в single mode для привычных unix-type filesystem.

Пример:

Special boot options menu will be available.
NetApp Release 7.0.4P1: Mon Feb 27 14:36:15 PST 2006
Copyright (c) 1992-2006 Network Appliance, Inc.
Starting boot on Sat Mar 24 15:36:18 GMT 2007
(1) Normal boot.
(2) Boot without /etc/rc.
(3) Change password.
(4) Initialize all disks.
(4a) Same as option 4, but create a flexible root volume.
(5) Maintenance mode boot.
Selection (1-5)? WAFL_check aggr01
Sat Mar 24 15:38:15 GMT [wafl.vol.inconsistent:ALERT]: Aggregate aggr01 is inconsistent. Please contact NetApp Customer Support.
Sat Mar 24 15:38:15 GMT [raid.vol.replay.nvram:info]: Performing raid replay on volume(s)
Sat Mar 24 15:38:15 GMT [raid.cksum.replay.summary:info]: Replayed 0 checksum blocks.
Sat Mar 24 15:38:15 GMT [raid.stripe.replay.summary:info]: Replayed 0 stripes.
Checking aggr01…
WAFL_check NetApp Release 7.0.4P1
Starting at Sat Mar 24 15:38:17 GMT 2007
Phase 1: Verify fsinfo blocks.
Phase 2: Verify metadata indirect blocks.
Phase 3: Scan inode file.
Phase 3a: Scan inode file special files.
Phase 3a time in seconds: 9
Phase 3b: Scan inode file normal files.
(inodes 5%)
(inodes 10%)
…
(inodes 92%)
(inodes 97%)
(inodes 99%)

Следует также отметить, что не зря эта команда запрятана так далеко и неочевидно. WAFL зарекомендовала себя чрезвычайно стабильной и надежной файловой системой, и нужда в таком своеобразном fsck возникает, на самом деле, очень редко.

Когда я, еще в 2007 году писал небольшой обзор программы IOmeter, которой как раз незадолго до этого измерял показатели производительности некоторых моделей систем хранения NetApp, я не предполагал, что эта небольшая заметка станет с той поры “бестселлером” блога. Неожиданно для себя я обнаружил, что подробного описания работы с таким популярным средством тестирования и измерения на русском языке просто нет. Не так давно коллега track написал гораздо более подробное описание настройки и работы с IOmeter, и c его любезного согласия, я публикую этот текст у себя в блоге.

Программа IOmeter - это популярный тест для тестирования производительности дисковой подсистемы и локальной сети. Тест является “100% синтетикой”.
К сожалению, некоторая неочевидность процесса тестирования в нем, устаревший внешний вид, отсутствие полноценного онлайн-хелпа, и документации, а также русскоязычного описания, часто вызывают затруднения при попытках его использовать. Также в интернете практически отсутствует подробное описание методики работы с ним, и описание используемых терминов и фич.
Continue reading ‘Тестирование с помощью программы IOmeter’ »

А сегодня я не буду писать ничего специального, вместо этого я еще раз привлеку ваше внимание, что совместно с компанией-дистрибутором Netwell, мы переводим и публикуем важные работы из техбиблиотеки NetApp.

На сегодня уже сделаны, можно пойти и почитать:

Разработка файловой системы для специализированного файлсервера NFS
Dave Hitz, James Lau, & Michael Malcolm
Фундаментальная работа 1993 года, описывающая основу основ внутреннего мира систем NetApp, то, с чего собственно все и началось - ту самую, для многих загадочную, “файловую систему” WAFL, Write Anywhere File Layout.
Описание общее, но поможет разобраться в главном.

Поддержка систем NetApp. Руководство пользователя
Global Services | NetApp
Руководство и настольная книга админа системы хранения. Вкратце и понятно о том, что входит в понятие “поддержка” того или иного уровня, как оказывается, “куда бежать и кому звонить”, в случае чего. Как создать кейс, как изменить его статус, полезные ссылки и правила.

Руководство по наилучшим способам использования систем NetApp с Oracle
Eric Barrett, Bikash R. Choundhury, Bruce Clarke | NetApp | TR 3369
Несколько устаревшее, но все равно во многом полезное руководство по настройке и использованию систем хранения NetApp под базы данных Oracle на разных платформах: Windows, Linux, Solaris, и других. Полезные советы и рекомендации по настройкам.

Руководство по наилучшим способам использования систем NetApp с VMware Virtual Infrastructure 3
M. Vaughn Stewart, Michael Slisinger, Larry Touchette, | NetApp | TR 3428
Пусть и не по наиболее свежей версии - vSphere (этот перевод появится в следующем году) но все равно чрезвычайно полезное, всеобъемлющее руководство наилучших практик по использованию систем хранения NetApp для хранения данных виртуальных инфраструктур.
Полезные советы, тонкая настройка, особенности установки и настройки как на стороне системы хранения, так и на стороне VMware ESX/VI.

Использование FlexClone для создания клонов файлов и LUN
Uday Boppana | NetApp | Октябрь 2009 | TR 3742
Одна из краеугольных и фундаментальных технологий современных систем NetApp - возможность создания клонов данных - расширена в версии 7.3.1. Теперь клонировать не занимая на диске места можно не только том целиком, но и отдельный файл, LUN, и даже, при определенных условиях, отдельный файл внутри LUN!

Использование Thin Provisioning в системах хранения NetApp
Rick Jooss | Январь 2008 | TR-3483
Продолжая тему фундаментальных технологий, помогающих экономить пространство на дисках, сокращать затраты и повышать степень использования оборудования - технология Thin Provisioning, встроенная в все системы хранения NetApp, поможет экономно распределять место на дисках в соответствии с потребностями задач - столько сколько нужно, ни больше, ни меньше.

Руководство по установке и настройке дедупликации в системах NetApp FAS и V-Series
Carlos Alvarez | NetApp | TR-3505-0309
И если уж мы заговорили о передовых и уникальных технологиях NetApp, то невозможно пройти мимо по прежнему уникального на рынке предложения - дедупликации на “боевых”, рабочих, primary системах. Средства, позволяющего NetApp гарантировать, что, при использовании его на данных виртуальных сред, экономия объемов хранения по сравнению с любым конкурентом, составит по меньшей мере 50%!
Средства, бесплатно поставляющегося с любой системой хранения NetApp.
В документе подробное описание его работы, а также советы по установке, настройке, и примению с разными прикладными системами.

Руководство по сайзингу для SQL Server 2005/2008 и систем хранения NetApp
John S. Parker | NetApp | TR-3779
Документ, наиболее полезный специалистам по конфигурированию NetApp, рассказывает о деталях сайзинга - количественного анализа и расчета производительности системы хранения NetApp, хранящей базы данных MS SQL Server 2005.

Руководство по наилучшим методам использования систем хранения NetApp с MS Exchange 2007
Brad Garvey, Shannon Flynn | NetApp | TR 3578
Также не обойден вниманием и другой популярнейший продукт Microsoft - всеобъемлющая “система передачи сообщений”, ставшая дефакто стандартом в корпоративном мире - MS Exchange 2007. Рассмотрены рекомендации и наилучшие решения по настройке и использованию этой системы на хранилищах NetApp, оптимизация производительности и использование средсв обеспечения надежности и высокой готовности.

Заканчиваем наш длинный список команд, полезных для повседневного использования админом NetApp.

• snapmirror intialize : инициализирует отношения репликации snapmirror
• snapmirror update : обновляет вручную реплику snapmirror
• snapmirror resync : ресинхронизирует snapmirror
• snapmirror quiesce : приостанавливает связь реплик snapmirror
• snapmirror break : разбивает установленные отношения репликации snapmirror
• snapmirror abort : прерывает работу snapmirror
• snapmirror status : показывает статус snapmirror
• lock status -h : показывает локи, удерживаемые контроллером
• sm_mon : управляет локами
• storage download shelf : устанавливает прошивки полок
• software get : загружает на контроллер OS
• software install : устанавливает OS
• download : обновляет установленную OS
• cf status : показывает статус кластера
• cf takeover : переносит на себя ресурсы кластерного партнера
• cf giveback : возвращает ресурсы кластерного партнера
• reboot : перегружает контроллер