`

СПЕЦИАЛЬНЫЕ
ПАРТНЕРЫ
ПРОЕКТА

Архив номеров

Как изменилось финансирование ИТ-направления в вашей организации?

Best CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Будни лидеров онлайн-торговли. Опыт RIA.com

+55
голосов

Classified ads, или Classifieds, существуют столько, сколько печатаются газеты. Online classifieds – явление безбумажной коммерции, заигравшее новыми красками в отсутствие ограничений бумаги. Благодаря многомерности бизнеса на публикации объявлений, онлайн легко вовлекает участников и расширяет форматы контактов покупателей и продавцов.

Компания RIA.com строит в Украине вертикальные (специализированные) рынки online classifieds. В месяц к ресурсам AUTORIA, DOMRIA и RIA.com обращаются около 8 млн веб-пользователей и еще более 1 млн заходит через мобильные приложения. На их суммарном счету около 40 миллионов сессий (посещений ресурсов) ежемесячно.
 
RIA.com отличается от конкурентов тем, что проверяет контент, который публикуется на сайтах проекта - над этим работают целые подразделения, свои команды инспекторов и модераторов. В арсенале их инструментов алгоритмы машинного обучения, базы данных, партнерство с  государственными организациями – например, по юридической проверке авто. Компания тесно сотрудничает с разработчиками программного обеспечения, которые взаимодействуют с сайтами через API. Сегодня запросов к API около пяти миллионов в месяц и их количество динамично растет. Для современных онлайн-рынков программная интеграция с каналами продвижения – вопрос не престижа, но выживания.
 
По словам Олега Черния, CTO RIA.com, с первых дней проекта пользователей не ограничивали лимитами по загрузке фотографий. Один из самых популярных проектов AUTORIA до сих пор в шутку называют «фотохостингом для авто».

 

Будни лидеров онлайн-торговли. Опыт RIA.com

Своя CDN

Создатели ресурса еще в ту далекую доинстаграмову эпоху разделяли две основные задачи: хранение контента и его раздачу. Сохранности данных угрожают отказы оборудования, хакерские атаки, рейды силовиков. Можно защитить информацию, перенести данные в облачные хранилища и надежные юрисдикции – это снижает риски потерь, но скорее отдаляет контент от пользователя, чем создает комфортные условия для него. Получается однобоко: с хранением контента все хорошо, а вот с доставкой его потребителю - плохо.
 
В Украине построена достаточно хорошая сетевая инфраструктура, есть множество точек обмена трафиком UA-IX, Dtel-ix, Giganet, X.ua и др. Для местного пользователя пинг к локальным серверам составляет 3-7 мс – в то время как задержки обращения к европейским площадкам не опускаются ниже 30-50 мс. Пока немецкий сервер только отзовется, с украинского уже можно получить небольшой файл. В пиковые часы кэширующие сервера RIA.com раздают около 4000 фото в секунду.

Будни лидеров онлайн-торговли. Опыт RIA.com

 
Популярные в мировом масштабе веб-ресурсы пользуются сетями доставки контента (CDN) для ускорения загрузки страниц клиентами. Содержимое страниц передается на сервер, географически близкий к пользователю, что позволяет сэкономить драгоценные миллисекунды за счет кэширования изображений, видео, загруженных файлов. Без CDN ресурсы приходится размещать локально или самостоятельно кэшировать контент на локальных серверах. RIA.com так и поступает. Получается лучше, чем у Amazon S3, Google Cloud Platform, Akamai – потому что контент локальный и серверы локальные, а еще – благодаря фокусировке на определенном типе контента.
 
Явные и скрытые нагрузки

В день сервера RIA.com получают около 15 миллионов запросов страниц от реальных пользователей и еще практически столько же от всевозможных ботов: Google, Yandex, Bing, Yahoo, специализированных поисковых сайтов lun, automoto и других автоматизированных систем. Эту скрытую нагрузку обычно не показывают традиционные системы аналитики, но ее приходится учитывать в требованиях к программной платформе, оборудованию и месту его размещения. Приближая доставку трафика к клиенту, вы косвенно влияете и на скорость ранжирования вашего контента поисковиками.

Рецепты оптимизации от RIA.com

Олег Черний спокойно делится технологическими подробностями - за эти годы команда RIA.com набила множество “шишек”, этот опыт может быть полезен молодым проектам, которые только начинают выстраивать свою серверную архитектуру. В конце концов, не так уж много в Украине генераторов локального контента.
 
Выбор железа

В локальную сеть CDN компании входят несколько серверов на разных площадках крупных украинских дата-центров. Приходится следить за обновлением серверных платформ: хочешь быстрой работы сайтов по безопасному протоколу https – используй современные процессоры с поддержкой аппаратного шифрования AES-NI (Intel Advanced Encryption Standard) в Linux. В противном случае, шифрование съест производительность CPU. А еще таким серверам надо много RAM. Сегодняшний стандарт сервера: 1U, два 12-14-ядерных высокочастотных Intel Xeon Scalable, 128-256GB RAM.
 
Критичен выбор накопителей. Локальные серверы раздачи контента – это передняя кромка хранения, кэширующий буфер, находящийся под смешанной нагрузкой. Одновременная вычитка фото (потоковых данных) с быстрым переключением между областями хранения контента равносильна чтению случайного доступа. Как в любом кэше, его содержимое постоянно перезаписывается, следуя рейтингам просмотров (частоте запросов к фото) и алгоритмам пополнения. Следовательно, важна и высокая скорость потоковой записи на кэширующие носители.
 
При большом количестве конкурентных потоков чтения высокую скорость обслуживания запросов лучше всего обеспечивают NVMe SSD. Нужны достаточно емкие – ведь речь о десятках тысяч фотографий. Применяемые RIA.com HGST Ultrastar SN260 емкостью 7.68TB обладают выдающимися характеристиками: Random Read 4K - 1,200,000 IOPS, Sequential Write 128K – 2,200 MB/s.

Постоянное содействие серверным проектам RIA.com оказывает компания Entry. По мнению ее управляющего Андрея Тищенко, многие бизнесы могли быть намного эффективнее, уделяй заказчики так же много внимания оптимизации оборудования под свои приложения, как это делает RIA.com. Если коротко, “хорош тот инструмент, который уместен”.
 
Внимание к настройкам

Мало поставить на систему свежее ядро Linux. Важно примонтировать папку кэширования файловой системы с опциями оптимизации записи и следить за размещением контента в каталогах (большое количество файлов в одном каталоге может быть узким горлышком для системы). Исключить блокировки - в многоядерных системах множество рабочих процессов одновременно принимают соединения, блокировка одного из них скажется на всей очереди входящих запросов. Эта проблема решается современными настройками ядра.
 
Кроме учета потерь на шифрование трафика, экспериментируют с протоколами. К примеру, более новый HTTP/2 мультиплексирует одно соединение для передачи нескольких файлов, тогда как для HTTP/1.1 браузер клиента откроет несколько соединений. Как ни удивительно, использование старого протокола может дать выигрыш, если надо одновременно получить много фото или другой статики на одной странице, сравнительно большого размера (> 50K).
 
Главное правило – мониторить: исходящий и входящий трафик, iowait (ожидание системы ввода вывода), место на диске, загрузку процессоров, записывать скорость отдачи файлов сервером в логи HTTP-сервера. Все это поможет контролировать процесс раздачи.
 
Правка контента

Сеть серверов RIA.com доставки контента потребителю создает восходящую спираль спроса: довольны пользователи, при деле поисковые роботы. Размещение точек выдачи в Украине и следование нехитрым правилам дополняют SEO-оптимизацию для поисковых систем. К примеру, Google подталкивает к переходу на прогрессивные форматы хранения фото: оказывается, что популярный jpeg на 20-30% тяжеловеснее гугловского WebP. Внимание к ключевым словам, тегам и копирайтам в Exif-описаниях файлов, творит чудеса. В http-заголовках важно указать время кеширования для всего контента.
 
Ближе к потребителю

Время показало, что фокусировка на раздаче контента – залог успеха любого онлайн-бизнеса: от рядового интернет-магазина до лидеров classifieds национального масштаба. Продажа товаров впрямую зависит от комфорта работы пользователей с ресурсом.
 
Советы от AUTORIA:

  • Размещайте серверы поближе к пользователям, проверяйте пинг к своему провайдеру: если он выше 5-10 мс, меняйте такого провайдера;
  • Скорее всего трафик необходимо будет шифровать, если сайт работает по протоколу https – значит, актуальные процессоры с аппаратным шифрованием справятся лучше старых;
  • Не жалейте денег на RAM, и уделите особое внимание накопителям, с которых раздается контент. Никакие механические HDD не справятся с потоком запросов к популярному ресурсу. Только SSD;
  • Если контента много, но посетителей ресурса мало, поручите его раздачу CDN-оператору. Специализированные системы с этой задачей справятся лучше и это будет дешевле модернизации собственной инфраструктуры.

Оптимизация быстродействия - процесс бесконечный, но не стоит отказывать себе в удовольствии посоревноваться с конкурентами в искусстве быть быстрыми. Раздавайте контент поближе к вашему пользователю - он обязательно это оценит, а вместе с ним это заметит Google и отблагодарит :)
       

+55
голосов

Напечатать Отправить другу

Читайте также

 
 
IDC
Реклама

  •  Home  •  Рынок  •  ИТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Сети  •  Безопасность  •  Наука  •  IoT