Про “культ бенчмарков”

В ближайшее время я намерен расширить список упоминаемых в этом блоге вендоров, так как мне в руки попал новенький лист FUDа от очередного автора, и я счел неправильным никак на это не отреагировать. Но для начала а хотел бы отдельным постом поговорить о странном, на мой взгляд, “культе бенчмарков”, распространенном среди многих специалистов, в особенности начинающих свое знакомство с мощными, “энтерпрайзными” системами хранения. Я бы хотел поговорить на эту тему ровно один раз, и больше к этой теме не возвращаться, написав своеобразное примечание к обсуждаемому в постах далее FUD-у, чтобы там не говорить на эту тему много, и не отвлекаться от более важных и насущных вопросов.

Я обратил внимание, что все чаще в материалах вендоров муссируется тема рекордных результатов в бенчмарках, и эти “рекорды” используются для того, чтобы аргументировать “преимущества” марки, причем, порой, даже именно марки, даже не модели или конфигурации этой модели, а просто “Наш сторадж сделал миллиард IOPS, поэтому мы крутые, покупайте наши стораджи”.

Бенчмарк SPC-1 это очень сложный тест. Это не fancy-приложение, которое запускается, что-то делает 10 минут, рисуя переливающиеся графики, а потом пишет: “О-о! Круто! 100500 супермарков!”, или, наоборот, “Фу-у! Отстооой! Всего 150 попугаев!”. Строго говоря, даже приводимые данные по достигнутым IOPS значат не слишком много сами по себе. Проведенные тесты по SPC-1 требуют внимательного чтения всего отчета. Хотя бы сокращенного Executive Report, но настоящие инженеры просто обязаны прочесть еще более интересный Full Disclosure, с полным описанием проведенного тестирования. И уж абсолютно точно совершенно недостаточно извлечь из всего отчета одну строчку с циферками IOPS (или $/IOPS), и ей оперировать где-либо, в отрыве от того, как она получена. Строго говоря, в таком сложном бенчмарке, как SPC-1 интересен даже не столько результат как таковой, сколько процесс его достижения, описанный как раз в Full Disclosure, и многочисленные сопутствующие результаты, latency, например, как самый очевидный. Но это совсем не одна строчка 3DMark, исходя из которой можно сделать вывод “фу-у, отстоой!”, или “вау, круто!”.

Люди, понимающие все это, но тем не менее оперирующие, с целью сформировать какое-либо мнение, исключительно достигнутыми каким-то стораджем IOPS-ами, откровенно и осознанно вводят в заблуждение своих читателей.

Я в этом блоге, как вы, должно быть, уже заметили, люблю приводить аналогиии из мира автомобилей. Дело в том, что автомобили – штука понятная почти любому, а во-вторых, в мире автомобилей можно подобрать аналог почти для любого явления. Поэтому, говоря о бенчмарках и правильном отношении к ним, я снова воспользуюсь этой аналогией.

Бенчмарки, особенно такие “крутые”, как SPC-1, это гонки Формулы-1. Это красиво, зрелищно, захватывающе, но разумные люди понимают, что “Формула” – отдельно, а повседневная жизнь автовладельца и автомобилиста – отдельно. Из того факта, что в очередной гонке болид Renault обошел болид Ferrari совершенно не следует, что в реальной жизни ваш Renault обгонит соседский Ferrari. :) Но почему-то в случае бенчмарков систем хранения это сплошь и рядом считается не так, и результаты восьмиконтроллерного кластера с 1920 дисками за 6 миллионов долларов, или Full Flash системы с тремястами SSD, в восприятии читателя (не без “дружеской” помощи вендора) проецируются на его, добрый милый сторадж entry-level с двумя полками по 15 дисков.

Да, безусловно, наличие результатов и участие в программе тестирования Storage Performance Counsil (SPC) это – хорошо. Это означает, что вендор готов “показывать свой товар лицом”, готов отвечать на “вопросы”, ему не стыдно за то, что он разработал и продает. За это не стыдно не всем, но очень многим, начиная от NetApp, HP, IBM, кончая даже Oracle и Huawei. Даже если результаты будут неидеальными и нерекордными в абсолютном исчислении, это уже само по себе подтверждает открытость вендора и отсутствие “засад” в его решениях. В тестах, куда как более, чем в Олимпиаде “важна не победа, а участие”. Однако неправильно будет пытаться любой ценой установить рекорд. И еще неправильнее будет строить рекламу “купите наш Рено Логан, наш автомобиль обогнал вчера Ferrari на GP!” в особенности понимая, где здесь манипуляция (а технари такого уровня, участвующие в написании подобных текстов не могут не видеть, где тут манипуляция).

Ну а теперь, позвольте перейти к FUD-у. На следующей неделе я опубликую подробный откомментированный разбор очередного текста “чем плох NetApp” по мнению одного из наших конкурентов. не переключайте ваши веб-браузеры. :)

Оставить комментарий

20/0.134

Данный блог не спонсируется, не аффилирован, и не санкционирован компанией NetApp, Inc. Излагаемая в этом блоге точка зрения выражает мнение исключительно его автора и может не совпадать с позицией NetApp, Inc.

This content is not endorsed, sponsored or affiliated with NetApp, Inc. The views expressed in this blog are solely those of the author and do not represent the views of NetApp, Inc.