Каждую секунду на видеохостинге YouTube появляется огромное количество нового контента. Сложно представить хранилища для такого объема данных. Компания Google не раскрывает все свои секреты, но все же постараемся разобраться, где и насколько надежно хранятся видео YouTube.
Дата-центры Google
Дата-центры Google представляют собой центры, предназначенные для обработки данных. Они содержат компьютерные узлы, накопительные диски, внешние и внутренние сети, системы охлаждения и программное обеспечение. Google не предоставляет официальных данных относительно того, сколько именно серверов, но по приблизительным оценкам некоторых исследовательских компаний их количество может составлять более 2,5 млн.
Дата-центр в штате Айова Интересный факт: в 2006 году компания Google купила YouTube за 1,65 млрд долларов. Сейчас владельцы видеохостинга получают больше 20 млрд в год.
Существует множество центров обработки данных компании Google, расположенных на нескольких континентах. В Северной Америке их 15, в Южной Америке – 3, в Европе – 8, в Азии – 5.
Типы серверов, используемых в дата-центрах:
- веб-серверы;
- индексирования данных;
- рекламные;
- сбора данных;
- документов;
- проверки правописания.
Файловая система Google
GFS или файловая система компании Google представляет собой проприетарную кластерную файловую систему. Она была разработана Google для того, чтобы максимально надежно и эффективно обеспечивать доступ к данным. Версия Colossus является последней (представлена в 2010 году).
Дата-центр в штате Джорджия. Разноцветные трубы – это система охлаждения, а сотрудники передвигаются по помещениям на велосипедах
Файловая система необходима для удовлетворения основных потребностей компании в хранении и дальнейшем использовании данных (в основном для системы поиска). GFS способна к генерации больших объемов информации. «Предком» GoogleFS являлась BigFiles, которая была разработана Сергеем Брином и Ларри Пейджем, когда компания только начала свое существование.
Резервируются ли видео YouTube и каков общий размер хранилищ данных?
Данные на серверах Google хранятся в виде синхронизированных между собой копий одновременно в нескольких дата-центрах. Таким образом, даже если один из центров обработки данных выйдет из строя, видеоконтент никуда не пропадет. Какие объемы хранилищ – неизвестно. Согласно некоторым неофициальным оценкам, объем ежегодно загружаемых файлов составляет около 120 ПБ (1 ПБ = 1015 байт).
Интересный факт: согласно данным Google, ежеминутно на платформу YouTube загружается более 500 часов контента. Это 30 тыс. часов в час или 720 тыс. часов в день.
