ХабрПостыНовостиМегапосты?

Облака это надежно?

Есть такой австралийский пенсионный фонд Unisuper, недавно инфраструктура прилегла на недельку. Хотя казалось бы — все сделано правильно — Google Cloud, два разных региона.

Но что-то пошло не так. Гугл решит их private cloud удалить, в обоих регионах. В итоге все же Unisuper нашли у себя бекапы на другом сервисе.

Ошибка, никогда такого не случалось. И меры чтобы больше так не случалось приняли.

Ссылки:
@vikarti
10.05.2024 13:57 UTC
Первоисточник

Комментарии

@dartraiden
10.05.2024 09:15 UTC
+4

Посыл неверный. Облака не менее надёжны, чем локальное хранение данных. Локальное хранение точно так же подвержено сбоям, умиранию оборудования, атакам шифровальщиков.

Ни облачное, ни локальное хранение не отменяет необходимость создания резервных копий и их правильное хранение (несколько географически разнесённых копий, вот это всё).

10.05.2024 09:22 UTC
+3

Облака не менее надёжны, чем локальное хранение данных

Очень спорное утверждение!

К управлению облачным хранилищем имеют отношение слишком много людей и софта .

Вероятность ошибки резко возрастает.

Тем более владелец облачного хранилища в большинстве случаев несёт чисто номинальную ответственность за потерю данных.

10.05.2024 19:05 UTC
+1

Мне кажется, если сравнить статистику того, насколько часто данные теряются у пользователей и у крупных облачных провайдеров, то выбор для рядовых пользователей должен быть очевиден.

Оптимально, как и Unisuper хранить в облаке одну из копий. Ведь именно это их и спасло

10.05.2024 21:52 UTC
0

А другие две облачные копии их данных не спасло☠️

22.05.2024 09:02 UTC
0

Буду признателен, если дадите еще инфу касаемо ответственности владельцев облачных сервисов ?
Тема чрезвычайно важная !
международное законодательство ? Юридическая практика по инцидентам ?

11.05.2024 03:55 UTC
+2

Так в данном случае были географически разнесенные копии. Но у одной конторы. И в итоге спас только бекап у другого провайдера. А если бы бекап тоже был в Google Cloud Storage?

@AlexM2001
10.05.2024 09:15 UTC
+7

Никогда такого не было, и вот опять (C)

Твоя информация за пределами локального хранилища уже тебе не принадлежит.

И не может адекватно контролироваться. Да, я зануда)))

@HEXFFFFFFFF
10.05.2024 09:16 UTC
+5

Поучительно. Использовать облака нужно только в очень редких случаях, когда это оправдано задачей. Тенденция современных "разработчиков" засовывать что попало в облако происходит от полной некомпетентности и отсутствия знаний.

10.05.2024 09:28 UTC
+1

И если уж используешь облако, надо иметь полностью контролируемую тобой актуальную копию и пусть чахленький, но собственный сервер - чтобы в случае сдувания облака хоть как-то, но работало всё. :)

10.05.2024 09:46 UTC
+6

Ну так если умеешь поднять собственный сервер то в 99% случаев облако уже не нужно. Стоимость содержания собственного сервера, как правило, на порядок меньше цены облака. Надежность и секьюрность в разы лучьше.

10.05.2024 10:11 UTC
+5

Я бы все таки отметил преимущество у облаков - это способность масштабироваться по ресурсам. Поэтому в периоды изменений, активного роста, проб чего-то нового - они вполне могут быть.
Во всех остальных случаях, имхо, собственный сервер выигрывает.

10.05.2024 10:41 UTC
+1

Масштабироваться по ресурсам горизонтально по серверам - имхо, это история для Яндекса, Телеграма и прочих по масштабу компаний.

Недавно натыкался на ссылку на статью - все эти big data и высокие нагрузки сейчас для средних компаний +- влезают на хороший сервер (128Гб+ ОЗУ + 12+ ядер процессора). У меня хостинг-провайдер вообще поддерживает скейлинг этих параметров по запросу - т.е. взял, поменял, перезагрузил, добавил или убавил ресурсов.

11.05.2024 04:07 UTC
0

Тут вопрос еще что делать что надо если перезагрузить этот сервер или сбой железа. Правда даже 2-х узловой кластер с каким-никаким резервированием делается достаточно просто - внезапно Proxmox вполне себе может в репликацию (если они на zfs) виртуалок каждые N минут и автоперезапуск если нода сдохла. Ну да - на совсем бытовых QLC SATA SSD и встроенных 1 Gbit/s сетевых это не очень хорошо работает. Ну так (если совсем с деньгами плохо) - 10 Gbit/s сетевые на алиэкспрессе можно совсем дешево найти,

Но - свой сервер = админ который понимает как он работает + (если оно не в датацентре) необходимость обеспечивать резервированное питание и интернет.

10.05.2024 10:29 UTC
+5

Под собственным сервером вы подразумеваете собственное железо на своей территории или аренду (виртуального) сервера в дата-центре? В первом случае едва ли это будет дешевле, учитывая необходимость обеспечивать бесперебойное питание, кондиционирование, запас запчастей, инженер/сисадмин на зарплате (или вы сами, но тогда часть вашего времени отнимается от других задач) и так далее. В датацентрах и облаках это все дешевле из-за эффекта масштаба.

10.05.2024 10:41 UTC
+1

Стоимость содержания собственного сервера, как правило, на порядок меньше цены облака.

Смотря на каких масштабах. Для небольших проектов или проектов с сильно не стабильной нагрузкой (когда в праздники например нагрузка вырастает многократно) вполне может оказаться обратное.

10.05.2024 11:00 UTC
+1

Есть ещё такая штука "хайлоад", если один сервер текущую нагрузку не тянет, а в облаке малость сверху заплатил и масштабируйся под входящие RPS. В таком случае собственный сервер может быть резервной площадкой на случай "разгона облаков".

10.05.2024 12:42 UTC
+1

Весь вопрос только в количестве облаков и хайлоада. В моем пузыре - проектов про которые я знаю как разработчик, работал там или знаю хорошо людей которые там работают - хайлоад это примерно 3 проекта. Ну, может быть 5. Из примерно полусотни.

А в облаках хостятся примерно 40 из этой же полусотни. И поэтому возникает вопрос о том - действительно ли им нужна эта масштабируемость, если чаще всего уровень RPS стабилен и не очень высок.

11.05.2024 20:04 UTC
+1

Ну так если умеешь поднять собственный сервер то в 99% случаев облако уже не нужно.

А потом пожар/потоп/маски шоу и ты потерял все

Стоимость содержания собственного сервера, как правило, на порядок меньше цены облака

Ну если речь реально об одном сервере, то да. А если 100+, то уже спорно. А завтра у нас закрылся проект, и что теперь делать с 30ю серверами, которые брались под него. Или наоборот пришел новый клиент и надо 20+ серверов на завтра. А после завтра нам надо нагрузочное иестирование на 500 серверах. Быстро закупите и настроите ? И таких примеров очень много

Надежность и секьюрность в разы лучьше.

С какого перепуга ?

@MSigillite
10.05.2024 14:51 UTC
+6

Просто оставлю это здесь

10.05.2024 21:50 UTC
0

График тех кто уже "наступил на грабли")

@Dupych
11.05.2024 02:23 UTC
+1

Дома сервер.

У меня собственное облако NextCloud на 1 ТБ

Ставится за 10 минут..

Только и читаю новости, что WD навернулось, Dropbox сломался.

Со своим облаком спокойнее

Копии хранятся.

  1. Сам сервер на Ubuntu.

  2. Бэкап виртуалки на месяц VeeamBackup

  3. На домашнем ПК.

11.05.2024 04:22 UTC
+1

Nextcloud у меня вот тоже есть. На домашнем недо-кластере.

Но:

  • железо жрет в минимальном режиме примерно полкиловатта (да, там не самое энергоэкономичное железо)

  • если вырубят свет - хоумлаба где то 1.5 часа живет всего.

  • ...без интернета потому что у обоих провайдеров UPS нет а резервирование через сотовый модем пока тоже нет.

  • обновление прошивки свитча например надо делать очень осторожно (ну или настроить наконец failover на кластере)(или купить второй такой же и MLAG городить)

  • прошлая попытка с современным Nextcloud - вообщем AI-распозновалки для фоток и прочее - как выяснилось нормально работают только на Linux (и вообще запускать Nextcloud из под TrueNAS это не очень хорошая идея)

  • У Syncthing(и Dropbox) проблем с именами файлов хитрыми (которые обожает делать плагин для синхронизации Memex для Obsidian) - нет, у Nextcloud есть (видимо проблема в их приложении).

  • Приложение Nexcloud под macOS НЕ умеет в синхронизацию по запросу. Dropbox и OneDrive умеют. Да, на github более менее расписано про проблемы и понятно что вроде как у них есть тестовая версия...но Dropbox просто работает, и хорошо работает.

И все равно подписки Dropbox у меня давно нет а OneDrive не будет продлеваться. :)

11.05.2024 04:54 UTC
0

Спасибо за подробное описание вопроса!

Habr образовательный!?

11.05.2024 06:54 UTC
0

Последние два пункта решаются другой тулзой для синхры. В моем случае это FolderSync, емнип, он и на маке был.

Нативное клиентское приложение nextcloud действительно немного всратенько.

Из трунаса все работает норм, правда, стоит отметить, что у меня scale, не bsdшный трунас)

11.05.2024 09:31 UTC
0

Ответ был в контексте скорее "Nextcloud отличная замена для Dropbox/etc". :) Вариантов то я много знаю. Пришлось изучать. Разное. Но мне это вообщем то интересно в том числе. Про такие отличия Scale и Core было вот не очевидно сначала.(сейчас Nextcloud вообще в виртуалке живет на Proxmox, Truenas Scale (на замену Synology) будет видимо не раньше чем у меня будет отдельная железка под него как NAS).

То что нет offsite-бекапа всего хозяйства - да, это проблема и я это понимаю.

01.06.2024 08:09 UTC
0

У меня в proxmox живёт и truenas, и nextcloud ( ну там на самом деле все хуже - на трёх виртуалках у меня кубер и именно в нем nextcloud )

В целом, жизнеспособно. Диски в truenas прокинуты как есть. Оверхеда или проблем со скоростью дискового массива нет в моем случае. Но если будет возможность прокинуть железный raid контроллер в виртуалку truenas, то это будет, кмк, надёжнее.

11.05.2024 08:51 UTC
+1

В облаке сервер.

У меня облака амазона и майкрософта.

Ставится за 0 минут.

Только и читаю новости, что у кого-то квартиру ограбили, батарею прорвало, где-то целый город затопило, где-то пожар случился, у кого-то 380В по проводам пришло.

С копиями на разных континентах спокойнее.

Копии хранятся.

  1. Сам ноутбук

  2. Внешний диск

  3. Backblaze

  4. Амазон

  5. Syncthing в другую страну

11.05.2024 15:42 UTC
0

Дома сервер.
У меня собственное облако NextCloud на 1 ТБ

А в чём недостаток обычного файлового сервера Linux с хранилищем на RAID-1 по сравнению с таким вариантом использования?

P. S. Насколько я понял, в способе доступа к файлам. NextCloud предлагает разные протоколы и web-интерфейс. Ну, это на любителя.

11.05.2024 16:16 UTC
0

Одно другое - не исключает.

Для Nextcloud пофиг какой там RAID и прочее. Это уровнем ниже.

Зато - есть аналог Dropbox'а с синхронизациями (а не сетевой шарой), есть доступ по WebDAV, есть куча всяких интересных приложений для работы с этими данными вроде фоточек, или там функционального аналога Google Docs (через интеграцию collabora/onlyoffice) и так далее.

Зато можно освежить в памяти как настраивать nginx + php-fpm (или вообще apache+mod_php), узнать почему использование webdav для кучи файлов не всегда - самая хорошая идея и так далее.

Вообще на хабре были статьи про Nextcloud.

11.05.2024 17:59 UTC
0

Одно другое - не исключает.
Для Nextcloud пофиг какой там RAID и прочее. Это уровнем ниже.

Да, спасибо. Уже посмотрел. Любопытный комбайн.

@Dupych
11.05.2024 15:57 UTC
+1

У меня 5 и диск в хотспаре.

У WD пользователей диск стоял перед ними на столе, только они не могли до своих файлов добраться WD CLOUD сломался.

У меня Некстклооуд бесплатный сервер те он у меня и доступ по паролю и допкоду. Но если что данные могу вытянуть непосредственно с диска.

NextCloud сами ставите сервер у себя. Никто кроме вас не имеет доступ. Вы напрямую по своему белому ip подключаетесть. У меняиеще и доменикуплен

@Pasha_21
22.05.2024 09:08 UTC
-1

И меры чтобы больше так не случалось приняли.

Автор статьи - ты походу круче, чем специалисты Гугла, или же сам работаешь в Гугле !
И ты утверждаешь, что они приняли все меры, ну-ка обоснуй !

22.05.2024 10:53 UTC
0

"Принять меры" и "принять все меры" - две большие разницы (с).

01.06.2024 15:36 UTC
0

Есть еще третий вариант - заявить что меры были приняты.