60% корпоративних даних у всьому світі зберігаються в хмарі. До 2025 року передбачається, що цей обсяг сягатиме понад 100 зетабайтів (а це приблизно 100 трильйонів гігабайтів).

Компанії-лідери у використанні хмарного простору ще буквально 10 років тому користувалися власними серверами, а тепер — застосовують підхід мультиклауд та прив’язують до хмари все більше своїх сервісів. Розповідаємо про їх досвід: як вони співпрацюють з провайдерами та скільки витрачають на хмарні послуги.

Netflix

Ще у 2013 році за словами тодішнього директора з глобальних корпоративних комунікацій компанії Джоріса Еверса існувало “33 мільйони версій Netflix” — по 1 на кожного глядача. Тобто зараз, враховуючи кількість підписників, цих версій уже майже 700 мільйонів. Для того, щоб всі могли отримувати релевантні рекомендації, потрібна неабияка база даних, тому Netflix є компанією з одним із найбільших об’ємів використання хмарних потужностей.

Про хмару в Netflix замислилися ще у 2008 році, коли база даних дала збій і три дні клієнти не могли отримати доступ до своїх замовлень. Керівництво усвідомило, що сподіватися лише на власні ІТ-потужності незручно, тому почало домовлятися з Amazon Web Services про надання послуг.

Одним з аргументів такого рішення стало те, що так інженери можуть витрачати більше часу на розробку сервісів, а не на обслуговування серверів. І ось, через довгих 7 років міграції усіх даних, у 2015 році Netflix закрили свій останній дата-центр. Тепер показник доступності їх медіапослуг - 99,99%, тобто максимальний час простою становить 52,6 хвилини на рік, а не по три дні як раніше.

Netflix використовує AWS для збереження файлів, обробки рекомендацій, перекодування відео, для бази даних та інструментів аналітики. Для цього потрібно понад 100 тисяч віртуальних машин. Рахунок на хмару для компанії складає близько $27,78 мільйона на місяць — і всього платформа за офіційними даними планує у 2023 році витратити на AWS та сервіси зі стримінгу майже мільярд доларів.

Завдяки хмарним потужностям команда зі спецефектів Netflix змогла
всього за 8 місяців обробити понад 600 кадрів серіалу «Корона»
в умовах локдауна, працюючи дистанційно

У компанії вдалося підлаштувати хмару повністю під себе. По-перше, уся база даних розбита на 1000 мікросервісів — тож в архітектурі хмари всі функції та окремі послуги Netflix працюють окремо. Тож робота з будь-яким із мікросервісів у разі збою не покладе всю систему. По-друге, з таким масивом даних платформі важливо ефективно відстежувати кошторис, тож для цього розробили унікальну аналітику витрат, де видно, як пов’язані бізнес-показники та використання окремих хмарних ресурсів.

Окрім стрімінгу відео, Netflix користується хмарою і в повсякденній роботі — креативні команди об’єднані так званими “робочими станціями”, віртуальним простором, де можна обмінюватися файлами й комунікувати працівникам із різних країн. А ще — швидше створювати спецефекти та інший відеоконтент.

ChatGPT

OpenAI, компанія, яка стоїть за розробкою штучного інтелекту ChatGPT, щоденно сплачує за роботу системи десь від $100 тисяч до $700 тисяч за різними підрахунками — тобто мінімум $0,0003 за кожне згенероване слово. Система побудована на базі Microsoft Azure, і вибір цього провайдера був невипадковим — Microsoft володіє 49% акцій OpenAI, інвестувавши в компанію $10 мільярдів.

Хмара допомагає ChatGPT проводити високоефективні обчислення (HPC), зберігати необхідні для навчання дані та бути доступним сервісом для користувачів у всьому світі. А робить це все суперкомп’ютер Voyager-EUS2 — Microsoft Azure є єдиним глобальним постачальником публічних хмарних послуг (CSP), який пропонує суперкомп'ютери для штучного інтелекту з можливістю масштабувати потужності. Voyager-EUS2 має швидкодію в 39,531 петафлопса — а це 39 квадрильйонів обчислювальних операцій в секунду.

Так виглядає суперкомп'ютер такого типу, як використовується для ChatGPT

Open AI також отримує завдяки хмарі гнучкість у використанні ресурсів. Під час високого попиту на модель ChatGPT Microsoft Azure може автоматично надавати більше потужностей, щоб впоратися з підвищеним навантаженням. І навпаки, коли попит спадає, ресурси можна вивільнити, щоб заощадити витрати.

NASA

До 2014 року не існувало єдиного архіву всіх мультимедійних матеріалів NASA, і в пошуках потрібних зображень доводилося заходити на різні сайти. З 2000 року всі дані хаотично публікувалися в вебархівах різних підрозділів агенції. Були спроби виправити це копіюванням файлів з різних ресурсів на один та створенням єдиного пошуку — але класифікація мультимедіа на різних сайтах проводилася по-різному, і знайти за ключовими словами потрібний документ було неможливо.

Тому з 2014 року NASA починає все спочатку. Величезну кількість фотографій, відео- та аудіофайлів, які раніше зберігалися в 60 різних вебархівах з 10 центрів, вирішують зберігати в одному централізованому місці за застосуванням хмарних технологій від AWS.

Тепер коли користувач хоче послухати, як звучать гори, побачити знімки Марса чи подивитися NASA TV, він іде на єдиний сайт та користується пошуком або зручним рубрикатором. Здавалося б, звичайний процес — але в ньому залучені 11 окремих сервісів Amazon.

Допомога ззовні потрібна навіть великій державній агенції, яка володіє суперкомп’ютерами, здатними проводити дослідження космосу, вивчення погодних умов та океанських течій, проєктування та розробку космічних пристроїв. Та власне “залізо” — це добре, але для структурування величезного масиву даних все одно зручнішою є хмара.

Галерея файлів NASA, розміщена на хмарі

Spotify

У 2016 році цей стрімінговий сервіс переніс 1200 окремих сервісів та понад 20 тисяч робочих процесів з власних дата-центрів у хмару Google Cloud. Тепер складними задачами з підтримки інфраструктури займається не команда Spotify, а постачальник хмарних послуг, забезпечуючи все: від розгорнутої аналітики до інструментів з машинного навчання.

Однак у компанії є ще окремий тип запиту до хмарного провайдера — максимально персоналізована реклама і пошукова видача. З ним вона звернулася до іншого оператора, Oracle. Spotify використовує окремий інструмент Moat Analytics для вимірювання ефективності реклами в цифрових кампаніях. Це допомагає звітувати перед рекламодавцями: зокрема, завдяки хмарним вимірюванням було визначено, що компанія перевиконує план у показнику видимості реклами на своїй платформі на 21,5%.