"Независимые" competitive отчеты - можно ли им верить?

25 май, 2010 - 11:43Арсен Бандурян

На днях читал отчет о сравнительном тестировании одной независимой лаборатории, в которой продукция одного вендора с мировым именем буквально разрывает в клочья продукцию пяти других вендоров с мировыми именами - во всех тестах!  При этом в двух тестах только у него одного эта технология вообще работоспособна. Идиллия.

Понятное дело, отчет выложен на сайте вендора и заботливо прикреплен к пресс-релизу. Особенно мне понравился тест, красноречиво демонстрирующий, что у ПЯТИ других разработчиков заявленная технология (которая у некоторых на рынке уже более двух лет) вообще не работает. У меня, как у человека технического, сразу возникает желание ознакомиться с конфигами. Увы, никаких конфигов в отчете не прилагается (указаны модели и версии прошивок и приведена диаграмма стенда), сценарии тестирования расписаны так, что при повторении возникает огромное пространство для творчества. Да и зачем? Действительно, пять контор-конкурентов годами кормят рынок маркетинговой шелухой от семечек, заявляя нерабочие технологии (видимо, сговорились между собой), пока не нашелся смельчак, выведший их на чистую воду с помощью доблестного вендора. :) На самом деле, видимо, люди умеют настраивать оборудование только одного этого вендора, а остальные работали на дефолтах.

Вот мне интересно, кто все еще верит в этот цирк? Напоминает отчеты эпохи Cisco vs Nortel, когда одни заказывали отчеты в одном независимом тестлабе, вторые - во втором, и при сравнении одних и тех же продуктов в отчетах первого всегда была лучше Cisco, а у второго - всегда Nortel.

Лично я считаю, что для того, чтобы получилось технически объективное тестирование, его необходимо проводитьпо правилам "вот сценарии тестов; есть вот столько времени; по истечении ждем вас там-то там-то с оборудованием, инженером и конфигом - покажете, как оно работает. Для честности прошьем железки на месте прошивками, которые мы вчера скачали с вашего сайта (версия ХХХ)". И обязательно добавить в отчет конфиги и стоимость стенда по GPL - то, что у одного вендора делает одна железка, у другого делают три. Вот тогда хороший получится десматч. А так - разве что задать неудобный вопрос самоуверенному сейлу вендора (особенно на презентации).

А что вы думаете по поводу "независимых" competitive отчетов, которые публикуют сами вендоры? Кто-то им еще верит?