`

СПЕЦІАЛЬНІ
ПАРТНЕРИ
ПРОЕКТУ

Чи використовує ваша компанія ChatGPT в роботі?

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Арсен Бандурян

"Независимые" competitive отчеты - можно ли им верить?

+57
голосов

На днях читал отчет о сравнительном тестировании одной независимой лаборатории, в которой продукция одного вендора с мировым именем буквально разрывает в клочья продукцию пяти других вендоров с мировыми именами - во всех тестах!  При этом в двух тестах только у него одного эта технология вообще работоспособна. Идиллия.

Понятное дело, отчет выложен на сайте вендора и заботливо прикреплен к пресс-релизу. Особенно мне понравился тест, красноречиво демонстрирующий, что у ПЯТИ других разработчиков заявленная технология (которая у некоторых на рынке уже более двух лет) вообще не работает. У меня, как у человека технического, сразу возникает желание ознакомиться с конфигами. Увы, никаких конфигов в отчете не прилагается (указаны модели и версии прошивок и приведена диаграмма стенда), сценарии тестирования расписаны так, что при повторении возникает огромное пространство для творчества. Да и зачем? Действительно, пять контор-конкурентов годами кормят рынок маркетинговой шелухой от семечек, заявляя нерабочие технологии (видимо, сговорились между собой), пока не нашелся смельчак, выведший их на чистую воду с помощью доблестного вендора. :) На самом деле, видимо, люди умеют настраивать оборудование только одного этого вендора, а остальные работали на дефолтах.

Вот мне интересно, кто все еще верит в этот цирк? Напоминает отчеты эпохи Cisco vs Nortel, когда одни заказывали отчеты в одном независимом тестлабе, вторые - во втором, и при сравнении одних и тех же продуктов в отчетах первого всегда была лучше Cisco, а у второго - всегда Nortel.

Лично я считаю, что для того, чтобы получилось технически объективное тестирование, его необходимо проводитьпо правилам "вот сценарии тестов; есть вот столько времени; по истечении ждем вас там-то там-то с оборудованием, инженером и конфигом - покажете, как оно работает. Для честности прошьем железки на месте прошивками, которые мы вчера скачали с вашего сайта (версия ХХХ)". И обязательно добавить в отчет конфиги и стоимость стенда по GPL - то, что у одного вендора делает одна железка, у другого делают три. Вот тогда хороший получится десматч. А так - разве что задать неудобный вопрос самоуверенному сейлу вендора (особенно на презентации).

А что вы думаете по поводу "независимых" competitive отчетов, которые публикуют сами вендоры? Кто-то им еще верит?

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365

+57
голосов

Напечатать Отправить другу

Читайте также

Журналистам вообще верить нельзя.
"Человеку пять тысяч лет ср..ли в голову маркетологи, а вы хотите там убрать за 5 минут?" (с) Пелевин

Так журналистам или маркетологам? Определитесь ;)

Да никому нельзя. ;)

Даже себе %)

Мне — можно.

;))

А где кавычки и знак копирайта? :)
Вообще-то это сказал незабвенный Мюллер

Я в курсе. Ок, специально для тебя: «, », ©. :)

На счет "независимых лабораторий". Кроме "независимости" нужно доказать и свою компетентность. Уже давно прошло то время, когда сам факт публикации чего бы то ни было кому-то что-то доказывал без привязки к компетентности и профессионализму автора.

Тогда, поставим вопрос по-другому: я это понимаю, вы это понимаете, многие профессионалы это понимают. А вот те, на кого направлены эти публикации, очевидно не понимают. Ибо если понимали бы - уже давно бы такие публикации перевелись. Как сделать так, чтобы понимали? Ведь примеров победы сил маркетинга над силами разума и в корпоративном сегменте не счесть.

Арсен, самый страшный враг некомпетентности -- правда. Что вам помешало назвать своими именами героев? Пусть страна знает их в лицо :)

Вонь начнется... Плюс, скажут, что я лицо заинтересованное. Надо же будет как-то ответить :)
Вот

> Ибо если понимали бы - уже давно бы такие публикации перевелись.
Ну реклама-то живее всех живых... а ведь, пожалуй, любой здравомыслящий человек понимает, что в рекламе... гм... несколько преувеличивают характеристики рекламируемого продукта :-)

Хороший маркетолог - мертвый маркетолог.

Касательно теоретической возможности самой ситуации, когда из 6 моделей оборудования 5 не выполняют в полной мере функций, задекларированных производителем, вполне согласуется с тем, что 95% товаров на рынке - полный отстой.
Яркий пример - мышки. На 4 нормальных производителей полсотни отстойных. Но люди покупают.

Камменты рулят!

кто понимает неизбежное - тот не дёргается понапрасну...

В таких звітах навчився відціжувати правду від неправди, як багато хто навчився не помічати банери на сайтах. Але це вимагає практичних експериментів.

Коли працював консультантом у одного з інтеграторів, то по суті робота зводилася до уважного прочитання документації, і реальної перевірки всіх заявлених в ній функціональностей продукту. А правда розказувалася на презентаціях клієнту того чи іншого рішення. За це власне клієнти нам гроші і платять.

Это да. :)
Когда после презентации отводишь инженера с сторону и спрашиваешь: "Ладно, а что из этого РЕАЛЬНО работает?" :)
К сожалению, пока что имеем победу сил маркетинга над силами разума, что значительно усложняет работу ВСЕМ.

Вот еще одно такое же "независимое" исследование Miercom для Cisco: http://www.bradreese.com/blog/4-23-2011.htm

Вот еще одно независимое исследование Miercom для Cisco, в котором топовый контроллер Cisco Flex 7500 (до 2000 ТД) убедительно побеждает SMBшный Motoroa RFS4000 (до 6 ТД) с устаревшей прошивкой WiNG5.0. О конфигурации опять ничего.

http://www.cisco.com/en/US/prod/collateral/wireless/ps6302/ps8322/ps1163...

 

Ukraine

 

  •  Home  •  Ринок  •  IТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Мережі  •  Безпека  •  Наука  •  IoT