Работа саппорта NetApp: чему равен NBD

Я попросил одного пользователя NetApp, расположенного вне Москвы (с Москвой как раз все просто, и не слишком интересно  да?) поделиться информацией об оперативности работы службы сервиса NetApp. Как вы помните, стандартный сервисный уровень по доставке вышедших из строя запчастей у NetApp, это Next Business Day (NBD), что в условиях страны, растянутой на 9 часовых поясов и с отдаленными точками, куда “только вертолетом можно долететь”, представляет собой известный челлендж для любого сервиса.

Городок с населением 250 000 чел, 660 км Москвы, пользователь - крупное промпредприятие.

Вылетало за время эксплуатации системы три диска.

Далее выдержки из логов кейсовой системы NetApp по этому стораджу (форматирование потерялось, но не суть), я выделил даты событий, дата и время даны по калифорнийскому (PST) времени, в котором работает саппорт NetApp. Первая – регистрация события по отчету autosupport, второе – реакция человека в саппорте, командующего складу на отгрузку. Далее – когда запчасть доставлена на сайт фактически. Доставка производится со склада в Москве (и Петербурге).


1) Case #: 2xxxx Status:
Closed
Priority:
Occasional disruption or problem (P3)
Symptom:
DSKFLT:Disk /aggrsata/plex0/rg0/0a.19 Shelf 1 Bay 3 [NETAPP X269_SMOOS01TSSX NA01] S/N [9QJ7W7V4]
System Name: NETAPP2040-2 Bug #: Reference #:
Serial Number: 200000xxxxx Part Number: FAS2040-R5 System ID: 135xxxx OS Version: 8.0.1RC1 7-MODE AutoSupport: ON
Case text : Customer Input - 03/10/2012 12:52:00 PST
Visibility  : PUBLIC     Note :
I need help. My disk drive has failed. Help me. Send me new disk.
RMA  DSKFLT:Disk /aggrsata/plex0/rg0/0a.19 Sh - 03/10/2012 18:27:30 PST : WF_BATCH   Status: Delivered    Assigned To:  Ahamed Hussain
Update : ‘Return Order from PR ‘80009xxxx - 03/10/2012 22:15:59 PST : TPL_APL   Status: Closed    Assigned To:  Ahamed Hussain
1. We will ship one
SP-269A-R5
to replace the failed part. This part w ill be shipped to the following address and contact:

12 марта – диск у нас

2) Case #: 20027xxxx Status:
Closed
Priority:
Occasional disruption or problem (P3)
Symptom:
DSKFLT:Disk /aggrsas2/plex0/rg0/0d.01.10 Shelf 1 Bay 10 [NETAPP X410_S15K7288A15 NA00] S/N [3SJ0VS340000xxxxx]
System Name: NETAPP2040-2 Bug #: Reference #:
Serial Number: 200000xxxx Part Number: FAS2040-R5 System ID: 135xxx OS Version: 8.0.1RC1 7-MODE AutoSupport: ON
Update : Case text : Symptom - 12/24/2011 18:23:47 PST : ASUP_PP   Status: Assigned To:  RAI Ranjit Visibility  : PUBLIC     Note :
DSKFLT:Disk /aggrsas2/plex0/rg0/0d.01.10 Shelf 1 Bay 10 [NETAPP X410_S15K7288A15 NA00] S/N [3SJ0VS3400009034xxxx]
Update : ‘Return Order from PR ‘8000869583 - 12/26/2011 00:50:51 PST : TPL_APL   Status: Closed    Assigned To:  Kabra Mitesh Visibility  : PUBLIC

28 декабря – диск у нас.

3) Case #: 200275xxxx Status:
Closed
Priority:
Occasional disruption or problem (P3)
Symptom:
DSKFLT:File system Disk /aggrsata/plex0/rg0/0a.24 Shelf 1 Bay 8 [NETAPP X269_SMOOS01TSSX NA01] S/N [9QJ7WHD6] failed.
System Name: NETAPP2040-2 Bug #: Reference #:
Serial Number: 20000xxxx Part Number: FAS2040-R5 System ID: 13509xxxxOS Version: 8.0.1RC1 7-MODE AutoSupport: ON
Update : Case text : Symptom - 12/17/2011 14:33:21 PST : ASUP_PP   Status: Assigned To:  Dey Tanmoy Visibility  : PUBLIC     Note :
DSKFLT:File system Disk /aggrsata/plex0/rg0/0a.24 Shelf 1 Bay 8 [NETAPP X269_SMOOS01TSSX NA01xxx] S/N [9QJ7WHD6xxx] failed.
Update : ‘Return Order from PR ‘8000865813 - 12/19/2011 01:36:21 PST : TPL_APL   Status: Closed    Assigned To:  Rao Sandeep Visibility  : PUBLIC

21 декабря – диск у нас.

Отмечу –что все три диска вылетали на выходных, а NBD начинался в понедельник.

С батарейкой (питание для NVMEM, другой кейс. прим. romx) все печальнее – пришлось 2 дня сильно пинать саппорт (пороли чушь) через русский netapp, огромное спасибо Роману Ройфману и Денису Атаманенко за оперативную помощь и участие - короче, супер саппорт!


Вот такие результаты, по моему вполне неплохие, и приятный отзыв.

Отдельно хочу объяснить лишний раз то, как исчисляется в сервисе Next Business Day.

Во-первых, как я уже сказал выше, в стране российских размеров любая ограниченная временем доставка вынуждена учитывать самолетные расписания. Поэтому Next Business Day трактуется как Best Available Flight (ближайший самолет), это нормально, у UPS нет штата гарипоттеров на метлах, они вынуждены работать с рейсами гражданской авиации. Если на Краснодар есть 10 рейсов в день, а на, допустим, Салехард, только один рейс “Когалымавиа” в два дня, то это также накладывает свои возможности на сроки доставки, ничего тут не поделать. Смотрим реалистично на окружающий мир, да?

Во-вторых о том, когда начинается и когда заканчивается Business Day. Бизнес день начинается утром, в 8 утра, и заканчивается в 5 вечера. Если гарантийный эвент происходит после окончания рабочего дня (или не успевает  попасть в отгрузку в российский UPS до конца этого рабочего дня) , то он обрабатываетя, как произошедший в рабочее время следующего рабочего дня. Если поломка происходит в выходные, или, допустим, в 8 вечера в пятницу, то бизнес-день, которым будет начата реакция на данное событие, будет понедельник. Что, собственно, вытекает из названия Business Day. Соответственно Next Business Day для события, случившегося вечером в пятницу, будет вторник.

Также следует учитывать разницу в часовых поясах, время в кейсах саппорта NetApp дается по Стандартному Тихоокеанскому американскому времени (PST, GMT-8:00), так как головной офис расположен в Калифорнии. Однако поддержка для EMEA это Бангалор, Индия (GMT+5:30). Это смещение таже следует учитывать при исчислении Business Day, потому что если у нас рабочий день еще в разгаре, в Калифорнии (или Индии) он мог еще не начаться или уже закончиться, и они прочитают ваш кейс (и отдадут команду на отгрузку со склада) только когда наступит  рабочий день. Может повезти, но общее правило таково.

Если такой режим не устраивает – есть круглосуточный вариант (SupportEdge Standard и Premium, за деньги), но при этом помните, что и вы, в свою очередь, должны иметь круглосуточную службу, например, если запчасть приезжает в 4 утра в субботу, курьера надо встретить и запчасть у него принять, что логично, то есть 24х7 сервис требует такого же участия и вас. Оно логично, как мне кажется. Просто это надо хорошо осознавать заказывая такой уровень поддержки. Или же каждый раз договариваться с курьером службы доставки о переносе сроков. И нельзя, если у вас по кейсу выставлен priority – high, и индусы работники техподдержки сели решать вашу проблему, сказать им вечером пятницы, “чуваки, давайте, пока, у меня, там пиво, девки, рокенрол сегодня, давайте там, до встречи в понедельник”. В этом случае ваш кейс просто бросят, и вы будете его всю следующую неделю поднимать и требовать к себе внимания. Круглосуточная поддержка она с обеих сторон круглосуточная.

В общем, вот такие вот “вести с мест”. Спасибо пользователю за предоставленные материалы и возможность написать этот пост.

Ранее я уже интересовался темой, и писал аналгичный пост в 2010 году, с другими похожими примерами, и сходными результатами.

15 комментариев

  1. vladmv:

    г.Абакан, 4000км от Москвы. Выслали батарейку - шла неделю (причем, мы её получили через 3 дня после того, как в системе индусов появилась пометка - получено). Батарейка не совсем помогла - выслали память. Ждём еще. Наверно 14/06 получим..

  2. vladmv:

    По Севморпути, наверное, или в сплав по Енисею :)

    > (причем, мы её получили через 3 дня после того, как в системе индусов появилась пометка - получено)

    А у вас точно в профиле системы адрес указан именно ВАШ, а не, допустим, офиса где-нибудь в Красноярске? Кто именно доставил вам коробку - UPS-овский курьер?
    Такое бывает, когда путь непрямой, например запчасти на систему приходят в головной офис или сервисному партнеру, а он уж “попуткой”…

    > Наверно 14/06 получим..

    Знаете, после историй, как люди по полгода ждут доставку с активным CarePack или SMARTnet (не преувеличиваю), это для страны очень хороший результат. Правда.
    И мой опыт, о котором я тут уже не раз писал, говорит, что опоздания это скорее исключения, чем правило.

  3. Vladmv:

    Был адрес Заказчика. Может из-за размера организации произошла путаница (не уточнял).
    В принципе у нас терпимо. DELL за 3 дня матплату присылает. 3COM(HP) за две недели коммутатор. IBM за неделю запчасти..
    Индусы конечно укурки какие-то ;)

  4. Vladmv:

    Путаница с адресами - одна из первых причин задержки доставки, по моему опыту. Чего там только бывает порой написано!

    В вашем случае меня насторожила отметка о доставке, появившаяся значительно ранее самой доставки. Вы с этим не разбирались? Кто расписался за доставку? UPS большая и серьезная фирма, им просто нет необходимости чтобы ее курьеры шли на откровенный и наказуемый подлог с отметкой доставки ранее физической доставки адресату. Это не Почта России. ;-/
    Значит груз был куда-то доставлен, где кто-то расписался в его получении. Кто-то из “ваших”, смотрите.

    Вторая причина - неработающий, или плохо работающий Autosupport. Он у вас вовремя отрабатывает? Можете кусок лога из описываемой истории привести, типа того как в статье, чтобы было видно даты и время событий в кейсе?

  5. Pavel Kosachev:

    Немного не согласен про уровни поддержки. Производитель дает пару вариантов 8х5, 7х24. Например 8х5 нам не подходит, т.к. если у кейса будет статус ошибки или проблемы незначительно влияющие на функционирование и производительность системы, но при этом требуется остановка системы или перерыв в сервисе, однозначно работы будут проводиться в выходные или утром/вечером, что не входит в 8х5, 8х7 никто не предлагает потому что её стоимость будет стремиться к стоимости 24х7, именно поэтому мы выбрали 24х7.

    Далее, производители лукавят, и не где не говорят о времени восстановления системы (хотя от некоторые производители все таки это предлагают), везде есть время реакции, это означает, что с поступления информации о проблеме, инженер тех. поддержки в течении указанного периода времени (NBD или 4 часа), должен отреагировать (перезвонить и выяснить детали, но совершенно не означает, что система заработает через указанное время или к вам приедут детали, т.ч. получается что построение сервиса со временем функционирования 24х7 и гарантированным SLA нетривиальная задача в рамках одной СХД, хотя также это применимо и к серверам, сетевым компонентам).

  6. Pavel Kosachev:

    > Немного не согласен про уровни поддержки. Производитель дает пару вариантов 8х5, 7х24.

    Вы про кого сейчас, про NetApp? В таком случае вы ошибаетесь. У NetApp есть два сервисных плана, один - NBD, второй - 24×7, 4 часа (в америках есть еще 2hr, в России его нет).

    http://www.netapp.com/us/support/supportedge.html

    Так что советую разобраться лучше в вопросе.

    > Далее, производители лукавят, и не где не говорят о времени восстановления системы

    Ну вы понимаете, что “время восстановления системы” это достаточно сложный и размытый параметр, который нельзя гарантировать, никак.
    Можно гарантировать сроки доставки. Но “срок восстановления” совсем не исчерпывается “сроком доставки запчасти”, как вы понимаете.

    > везде есть время реакции, это означает, что с поступления информации о проблеме

    Нет, вы снова ошибаетесь.
    Смотрите по ссылке выше:

    “Replacement Parts Target Response Objectives and Installation” - “Next business day Customer installs all Replacement Parts.”

    “Замена части на системе заказчика и инсталляция” - “Следуюшй рабочий день, пользователь самостоятельно устанавливает все заменяемые части”

    Здесь ясно говорится о том, что речь идет именно о процессе замены, а не о “реакции саппорта”.

    Я знаю, что то, что вы пишете, так для серверов HP или иных вендоров, но у NetApp это вот так как написано выше.

    Есть отдельно “Target Response Objectives for Remote Technical Support” с четырьмя уровнями priority, при наличии SupportEdge, но это отдельная категория.

    > но совершенно не означает, что система заработает через указанное время

    Разумеется, если проблема не исчерпывается заменой запчасти, то ее замена не может привести к тому, что “система заработает”. Это невозможно гарантировать (по крайней мере в рамках технических терминов). Ну, это данность нашего мира, увы.
    Может выйти из строя последовательно несколько частей, проблема может быть вызвана багой в софте, который потребует сложного исследования и написания патчей. Разные могут быть причины, мешающие восстановлению работоспособности системы в целом за гарантированный период времени.

    Я не видел н одного SLA, который бы гарантировал восстановление работоспособности системы (впрочем видел один случай, когда невозможность восстановления работоспособности была просто застрахована в страховой компании на солидную сумму - так можно, да).

  7. Yaroslav:

    А как же контракты Call-To-Repair у “некоторых” других вендоров? Про это страшно написать? :)

  8. Yaroslav:

    Страшно? Вы о чем?
    В блоге aboutnetapp я пишу о NetApp. Заголовок поста: Работа саппорта NetApp.
    Другие вендоры вполне могут написать о своем сервисе в своих блогах, с удовольствием почитаю.

    PS. С не меньшим удовольствием почитаю также о расценках такого сервиса в России.

  9. А в Москве все происходит вот так (из случайно найденного в Твиттере):

    https://twitter.com/unfilled/statuses/215340236643897344
    Прикольно. Ночью сдох диск на NetApp’овской полке. Данные с него переехали на другой диск, а автосаппорт отправил просьбу заменить.
    12:08 AM - 20 Jun 12

    https://twitter.com/unfilled/status/215340368311496704
    Интересно как быстро новый привезут. В Москве вроде гарантируется доставка на след. рабочий день.
    12:08 AM - 20 Jun 12

    https://twitter.com/unfilled/status/215651752291205120
    А NetApp молодцы, через 6 часов после открытия кейса выслали новый жесткий диск.
    8:45 PM - 20 Jun 12

    https://twitter.com/unfilled/status/215706393246834688
    Охренеть. Винт к NetApp’у пришел. 24-х часов не прошло.
    12:23 AM - 21 Jun 12

  10. Юрий:

    > PS. С не меньшим удовольствием почитаю также о расценках такого сервиса в России.
    Насчет СХД не скажу, нет под рукой, по серверам HP как раз из свежего КП:
    На blade-шасси с серверами и интерконнектами общей стоимостью $120K набор Care Pack’ов 6hr CTR 24×7 with Collaborative Support, 3 year стоит $12400. ИМХО, не так уж и дорого…

  11. Юрий:

    Спасибо.
    А вот тут вот пишут:
    http://forum.ixbt.com/topic.cgi?id=66:9387-3#82
    что “примерно 30% от цены”. Мы об одном и том же?
    Речь именно про “гарантированное время доставки”, а не “гарантированное время ответа”.

  12. Юрий:

    Для HP Call-to-repair - это гарантированное время восстановления. Ну, понятно, что “гарантированное” - это абстракция, 100% гарантию дает только страховой полис :) По условиям это звучит так: “При возникновении критических неисправностей оборудования, которые не могут быть быстро решены удаленно, компания HP предпримет все экономически целесообразные усилия для восстановления работоспособности поддерживаемого оборудования в течение периода времени, указанного при первоначальном обращении в глобальный центр решений HP. Фиксированное время восстановления – это период времени, который начинается в момент поступления и регистрации первого обращения заказчика в службу поддержки HP, и заканчивается, когда HP определит, что восстановление оборудования выполнено”. Время 6 часов (или 24, если контракт на 24 часа) действует только в определенном радиусе (120км, что-ли) от сервисцентров HP, дальше время увеличивается.

    А для СХД, вполне вероятно, цена такого контракта в %%% от цены оборудования может быть выше - в них все-таки существенно больше деталей (собственно, дисков), вероятность отказа которых велика.

    P.S. Кстати, нашел и КП на суппорт по СХД: на Storwize V7000 (~$140K) суппорт на 3 года с гарантированным временем ремонта 24 часа - $25K. Так что или IBM жаднее, чем HP, или на СХД суппорт дороже.

  13. Shkodnitsa:

    Подскажите, если ли информация о работе саппорта NetApp в Украине?

  14. Shkodnitsa:

    Нет, Украина это отдельная страна, насколько я знаю, не входящая в зону действия российского (московского) представительства, про то что там делается и как и кто там с ними работает не имею представления даже.

  15. [...] Next Business Day Onsite delivery в России? Несколько лет назад я делал подобное исследование по записям логов в Autosupport, и [...]

Оставить комментарий

20/0.154

Данный блог не спонсируется, не аффилирован, и не санкционирован компанией NetApp, Inc. Излагаемая в этом блоге точка зрения выражает мнение исключительно его автора и может не совпадать с позицией NetApp, Inc.

This content is not endorsed, sponsored or affiliated with NetApp, Inc. The views expressed in this blog are solely those of the author and do not represent the views of NetApp, Inc.