60% корпоративных данных во всем мире хранятся в облаке. К 2025 году предполагается, что этот объем будет достигать более 100 зетабайт (а это примерно 100 триллионов гигабайт).

Компании-лидеры в использовании облачного пространства еще буквально 10 лет назад пользовались собственными серверами, а теперь — применяют подход мультиклауд и привязывают к облаку все больше своих сервисов. Рассказываем об их опыте: как они сотрудничают с провайдерами и сколько тратят на облачные услуги.

Netflix

Еще в 2013 году по словам тогдашнего директора по глобальным корпоративным коммуникациям компании Джориса Эверса существовало «33 миллиона версий Netflix» — по 1 на каждого зрителя. То есть сейчас, учитывая количество подписчиков, этих версий уже почти 700 миллионов. Для того чтобы все могли получать релевантные рекомендации, нужна большая база данных, поэтому Netflix является компанией с одним из крупнейших объемов использования облачных мощностей.

Об облаке в Netflix задумались еще в 2008 году, когда база данных дала сбой и три дня клиенты не могли получить доступ к своим заказам. Руководство осознало, что надеяться только на собственные IT-мощности неудобно, поэтому начало договариваться с Amazon Web Services о предоставлении услуг.

Одним из аргументов такого решения стало то, что так инженеры могут тратить больше времени на разработку сервисов, а не на обслуживание серверов. И вот, спустя долгих 7 лет миграции всех данных, в 2015 году Netflix закрыли свой последний дата-центр. Теперь показатель доступности их медиа-услуг — 99,99%, то есть максимальное время простоя составляет 52,6 минуты в год, а не по три дня как раньше.

Netflix использует AWS для хранения файлов, обработки рекомендаций, перекодировки видео, для базы данных и инструментов аналитики. Для этого требуется более 100 тысяч виртуальных машин. Счет на облако для компании составляет около $27,78 миллиона в месяц — и всего платформа по официальным данным планирует в 2023 году потратить на AWS и сервисы по стримингу почти миллиард долларов.

Благодаря облачным мощностям команда по спецэффектам Netflix смогла
всего за 8 месяцев обработать более 600 кадров сериала «Корона»
в условиях локдауна, работая дистанционно

В компании удалось подстроить облако полностью под себя. Во-первых, вся база данных разбита на 1000 микросервисов — так что в архитектуре облака все функции и отдельные услуги Netflix работают отдельно. Поэтому работа с любым из микросервисов в случае сбоя не положит всю систему. Во-вторых, с таким массивом данных платформе важно эффективно отслеживать смету, поэтому для этого разработали уникальную аналитику расходов, где видно, как связаны бизнес-показатели и использование отдельных облачных ресурсов.

Кроме стриминга видео, Netflix пользуется облаком и в повседневной работе — креативные команды объединены так называемыми "рабочими станциями", виртуальным пространством, где можно обмениваться файлами и коммуницировать сотрудникам из разных стран. А еще — быстрее создавать спецэффекты и другой видео-контент.

ChatGPT

OpenAI, компания, которая стоит за разработкой искусственного интеллекта ChatGPT, ежедневно платит за работу системы где-то от $100 тысяч до $700 тысяч по разным подсчетам — то есть минимум $0,0003 за каждое сгенерированное слово. Система построена на базе Microsoft Azure, и выбор этого провайдера был неслучайным — Microsoft владеет 49% акций OpenAI, инвестировав в компанию $10 миллиардов.

Облако помогает ChatGPT проводить высокоэффективные вычисления (HPC), хранить необходимые для обучения данные и быть доступным сервисом для пользователей во всем мире. А делает это все суперкомпьютер Voyager-EUS2 — Microsoft Azure является единственным глобальным поставщиком публичных облачных услуг (CSP), который предлагает суперкомпьютеры для искусственного интеллекта с возможностью масштабировать мощности. Voyager-EUS2 имеет быстродействие в 39,531 петафлопса — а это 39 квадриллионов вычислительных операций в секунду.

Так выглядит суперкомпьютер такого типа, как используется для ChatGPT

Open AI также получает благодаря облаку гибкость в использовании ресурсов. Во время высокого спроса на модель ChatGPT Microsoft Azure может автоматически предоставлять больше мощностей, чтобы справиться с повышенной нагрузкой. И наоборот, когда спрос спадает, ресурсы можно высвободить, чтобы сэкономить расходы.

NASA

До 2014 года не существовало единого архива всех мультимедийных материалов NASA, и в поисках нужных изображений приходилось заходить на разные сайты. С 2000 года все данные хаотично публиковались в веб-архивах разных подразделений агентства. Были попытки исправить это копированием файлов с разных ресурсов на один и созданием единого поиска — но классификация мультимедиа на разных сайтах проводилась по-разному, и найти по ключевым словам нужный документ было невозможно.

Поэтому с 2014 года NASA начинает все сначала. Огромное количество фотографий, видео- и аудиофайлов, которые ранее хранились в 60 различных веб-архивах из 10 центров, решают хранить в одном централизованном месте с применением облачных технологий от AWS.

Теперь когда пользователь хочет послушать, как звучат горы, увидеть снимки Марса или посмотреть NASA TV, он идет на единый сайт и пользуется поиском или удобным рубрикатором. Казалось бы, обычный процесс — но в нем задействованы 11 отдельных сервисов Amazon.

Помощь извне нужна даже крупному государственному агентству, которое обладает суперкомпьютерами, способными проводить исследования космоса, изучение погодных условий и океанских течений, проектирование и разработку космических устройств. И собственно "железо" — это хорошо, но для структурирования огромного массива данных облако все равно удобнее.

Галерея файлов NASA, расположенная в облаке

Spotify

В 2016 году этот стриминговый сервис перенес 1200 отдельных сервисов и более 20 тысяч рабочих процессов из собственных дата-центров в облако Google Cloud. Теперь сложными задачами по поддержке инфраструктуры занимается не команда Spotify, а поставщик облачных услуг, обеспечивая все: от развернутой аналитики до инструментов по машинному обучению.

Однако у компании есть еще отдельный тип запроса к облачному провайдеру — максимально персонализированная реклама и поисковая выдача. С ним она обратилась к другому оператору, Oracle. Spotify использует отдельный инструмент Moat Analytics для измерения эффективности рекламы в цифровых кампаниях. Это помогает отчитываться перед рекламодателями: в частности, благодаря облачным измерениям было определено, что компания перевыполняет план по показателю видимости рекламы на своей платформе на 21,5%.