The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

10.09.2018 10:56  Началась разработка ФС Zero, вытесняющей неиспользуемые данные в облачное хранилище

В рамках проекта Zero ведётся разработка экспериментальной многослойной файловой системы с реализацией идеи хранения данных в локальной ФС с вытеснением давно не используемых данных во внешнее облачное хранилище. Код предлагаемого для тестирования прототипа написан на языке Python, использует подсистему FUSE и поставляется под лицензией MIT.

Первый слой, размещаемый в локальной ФС, выступает в роли кэша, в котором доступны только актуальные данные. Таким образом, на базе ограниченного по размеру локального накопителя можно создать архивное хранилище существенно большего размера, выглядящее как одна целостная ФС. В настоящее время из облачных хранилищ поддерживается только сервис Backblaze.

  1. Главная ссылка к новости (https://news.ycombinator.com/i...)
  2. OpenNews: Для Linux представлена файловая система TxFS с поддержкой ACID-транзакций
  3. OpenNews: Компания Alibaba открыла код P2P-системы доставки файлов Dragonfly
  4. OpenNews: Представлена LittleFS, компактная файловая система для встраиваемых устройств
  5. OpenNews: Эксперимент по созданию файловой системы, хранящей данные в кэше DNS
  6. OpenNews: Первый выпуск файловой системы Zbox
Лицензия: CC-BY
Тип: Программы
Ключевые слова: fs, fuse, zero
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.1, КО (?), 11:01, 10/09/2018 [ответить] [показать ветку] [···]    [к модератору]
  • –24 +/
    Вот и верь людям, что Питон меленный. :)
     
     
  • 2.4, Аноним (4), 11:22, 10/09/2018 [^] [ответить]    [к модератору]
  • +21 +/
    Где ты прочитал что прототип работает быстро? Желаемое за действительное не выдавай.
     
  • 2.6, Аноним (6), 11:37, 10/09/2018 [^] [ответить]    [к модератору]
  • +2 +/
    У говнокодеров и си с ассемблером медленные.
     
     
  • 3.108, Аноним (108), 23:29, 10/09/2018 [^] [ответить]     [к модератору]
  • +1 +/
    И это логично Чтобы было быстро - надо понимать как работают компьютеры Перекл... весь текст скрыт [показать]
     
     
  • 4.117, анонимный анонимец (?), 00:39, 11/09/2018 [^] [ответить]    [к модератору]  
  • +/
    Воланд?
     
  • 4.119, лютый лютик... (?), 06:47, 11/09/2018 [^] [ответить]     [к модератору]  
  • –5 +/
    Брэд оф сив кэйбл Ещё деда Кнут завещал не чинить то, что не сломано Если на... весь текст скрыт [показать]
     
     
  • 5.158, Чайник с ручками (?), 20:17, 12/09/2018 [^] [ответить]     [к модератору]  
  • +/
    А что, с сетью таких факапов не бывает Когда кодер меняет тип с int на short и ... весь текст скрыт [показать]
     
     
  • 6.164, лютый лютик__ (?), 08:45, 17/09/2018 [^] [ответить]    [к модератору]  
  • +/
    >Когда кодер меняет тип с int на short и вдруг все начинает передаваться в два раза быстрее

    Какие фантазии. Напрямую TCP пакеты создаёшь? У нормальных пацанов по сети ходит XML over HTTP :D

     
  • 4.129, X86 (ok), 10:49, 11/09/2018 [^] [ответить]    [к модератору]  
  • +6 +/
    Ты не понял. Главное - быстрее кодить. Взять какую-нибудь обертку над какой-нибудь оберткой, которая выполнена в виде обертки над оберткой, написанной на высокоуровневой обертке. И все это должно запуститься. Если размер будет большой, то сожмем архиватором, а его библиотеки тоже присобачим. А если будет медленно, то Intel пообещает еще более быстрые процессоры с новыми оптимизациями оптимизаций.
     
  • 2.7, Crazy Alex (ok), 11:39, 10/09/2018 [^] [ответить]    [к модератору]  
  • +8 +/
    Он и есть медленный. Но для некоторых применений - вполне годится. Особенно для прототипов вроде этого.
     
     
  • 3.45, Аноним (45), 15:12, 10/09/2018 [^] [ответить]    [к модератору]  
  • –2 +/
    > Особенно для прототипов вроде этого.

    Это отговорки слабаков и шkoлоты, неосиливших си и изначально грамотное проектирование.
    Профессианальные разработчики опеннета подтвердят!

     
     
  • 4.71, Аноним (71), 17:49, 10/09/2018 [^] [ответить]    [к модератору]  
  • –7 +/
    Изначально грамотное проектирование подразумевает отсутствие C в любом виде.
     
     
  • 5.84, Аноним (-), 19:26, 10/09/2018 [^] [ответить]    [к модератору]  
  • +/
    А что, ты уже переписал фирмвари, бутлоадер, ядро ОС и ключевой софт запускающий систему на чем-то еще? А то без этого компьютер вообще не запустится. И, кстати, булки на деревьях тоже не растут.
     
  • 3.87, Аноним (87), 19:33, 10/09/2018 [^] [ответить]     [к модератору]  
  • –2 +/
    А в чем прикол делать прототип откровенно говняно, без перспектив его сделать но... весь текст скрыт [показать]
     
     
  • 4.96, Аноним (45), 20:31, 10/09/2018 [^] [ответить]     [к модератору]  
  • +3 +/
    То ли дело анонимы опеннета, сразу знающие, как надо правильно и что и как взлет... весь текст скрыт [показать]
     
     
  • 5.107, Аноним (108), 23:21, 10/09/2018 [^] [ответить]     [к модератору]  
  • +/
    да только сишники тоже сцуко ленивые, поэтому возьмут готовую либу вместо это... весь текст скрыт [показать]
     
     
  • 6.109, Аноним (45), 23:40, 10/09/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    Поэтому предпочитали комментировать на опеннете, вместо ваяния _первой_ реализац... весь текст скрыт [показать]
     
  • 4.153, лютый лютик__ (?), 05:20, 12/09/2018 [^] [ответить]     [к модератору]  
  • +/
    Ну вот например есть носкль Cassandra которую лузеры накуякали на тормозной жабк... весь текст скрыт [показать]
     
  • 3.151, Led (ok), 23:58, 11/09/2018 [^] [ответить]    [к модератору]  
  • +6 +/
    > для некоторых применений - вполне годится.

    Нет

     
  • 2.50, llolik (ok), 15:36, 10/09/2018 [^] [ответить]    [к модератору]  
  • +/
    Прототип, который быстро сделан на python для посмотреть "ну вот как-то примерно так", вовсе и не обязан быть быстрым. Более того, даже полностью рабочим быть не обязан, хотя и желательно.
     
     
  • 3.85, Аноним (-), 19:28, 10/09/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    Зато надежно выдает авторов Все слагаемые на месте пермиссив, тормозной ЯП для... весь текст скрыт [показать]
     
  • 2.125, Аноним (125), 08:59, 11/09/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    Python действительно медленный если не применять оптимизации и вынос критичного ко времени исполнения кода на С. Но если все сделать правильно, то даже игры можно написать - как пример EVE Online.
     
     
  • 3.154, лютый лютик__ (?), 05:23, 12/09/2018 [^] [ответить]     [к модератору]  
  • +/
    Только вчера читал, как EO люто тормозит во время более-менее крупных боёв При ... весь текст скрыт [показать]
     
     
  • 4.159, Аноним (159), 00:50, 13/09/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    Еще бы. Даже и не знаю, реально ли вообще сделать бои подобного масштаба без тормозов. Наверное... все-таки нет.
     
     ....нить скрыта, показать (23)

  • 1.2, нах (?), 11:06, 10/09/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +6 +/
    пихон, fuse, зеро...зеробрейн. "вытесняйте" уже сразу в /dev/null - меньше возни, все равно данные, к которым обращаются (точнее, уже перестали) через кривую пихоновую прослойку через fuse, нахрен не нужны.

    видимо, это попытка бэкблажи, неосилившей в webbdav, выдумать свою альтернативу fuse-davfs. Менеджер по антикачеству при этом старательно следил, чтобы она, ненароком, не оказалась не точно такой же тормозной, бестолковой и ненадежной, как оригинал, а то гугель засудит!


     
     
  • 2.8, Crazy Alex (ok), 11:44, 10/09/2018 [^] [ответить]     [к модератору]  
  • +/
    Сколько стонов Ну нравится fuse-davfs - используй, кто запретит Поглядим, как... весь текст скрыт [показать]
     
     
  • 3.16, нах (?), 12:34, 10/09/2018 [^] [ответить]     [к модератору]  
  • –2 +/
    тут нет никакой новой идеи - davfs устроена точно так же нового тут только мо... весь текст скрыт [показать]
     
     
  • 4.18, Аноним (18), 12:47, 10/09/2018 [^] [ответить]    [к модератору]  
  • –2 +/
    Так привык к mount/umount, что отсутствие необходимости использовать их вызвало болезненные ощущения чуть пониже спины.
     
  • 4.62, Crazy Alex (ok), 16:53, 10/09/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    Как она устроена У неё жёстко прибитый один бэкэнд - webdav И если захочется п... весь текст скрыт [показать]
     
     
  • 5.86, Аноним (-), 19:31, 10/09/2018 [^] [ответить]     [к модератору]  
  • +/
    А чем собственно webdav плох Чем плох FTP и backblaze - понятно Первый в полов... весь текст скрыт [показать]
     
     
  • 6.98, пох (?), 21:59, 10/09/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    а чем может быть хороша попытка приспособить гипертекстовый протокол под файлову... весь текст скрыт [показать]
     
  • 6.99, Crazy Alex (ok), 22:04, 10/09/2018 [^] [ответить]    [к модератору]  
  • +/
    Плох не webdav, ftp или backblaze, плохо, когжа пытаются прибить гвоздями к чему-то одному то, что вполне может работать с разными альтернативами.
     
     
  • 7.111, Аноним (-), 00:01, 11/09/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    С другой стороны когда начинается абстрагирование абстракций и модуляризация мод... весь текст скрыт [показать]
     
  • 7.144, пох (?), 19:24, 11/09/2018 [^] [ответить]     [к модератору]  
  • +/
    конкретно эта штука - не может, у нее заточка под интерфейс, предназначенный для... весь текст скрыт [показать]
     
  • 2.9, Crazy Alex (ok), 11:47, 10/09/2018 [^] [ответить]     [к модератору]  
  • +/
    И я не нашёл вообще никакой свзяи автора с backblaze Ну выбрал человек то храни... весь текст скрыт [показать]
     
  • 2.19, Annoynymous (ok), 12:53, 10/09/2018 [^] [ответить]    [к модератору]  
  • +/
    fuse-davfs не умеет кешировать. Поэтому работает только в сферической сети в вакууме.
     
     
  • 3.25, Аноним (-), 13:47, 10/09/2018 [^] [ответить]    [к модератору]  
  • +/
    Шизика это не остановит от критики, у него в бреду свой собственый мирок.
     
  • 3.32, нах (?), 14:09, 10/09/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    umount mnt dav sbin umount davfs waiting while mount davfs pid 32292 sy... весь текст скрыт [показать]
     
     
  • 4.42, Annoynymous (ok), 15:05, 10/09/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    Это совсем другая задача, ага.
     
  • 2.39, Аноним (39), 14:48, 10/09/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    Коннекты через 2 5G 3G ещё не исчезли, особенно за МКАДом Так что, Python здесь... весь текст скрыт [показать]
     
     
  • 3.44, нах (?), 15:12, 10/09/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    угу, оно просто работать не будет это ж хоть и не дав, но вебня, там таймауты и... весь текст скрыт [показать]
     
     
  • 4.65, Crazy Alex (ok), 16:57, 10/09/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    Ну так оборвалось - не вытеснил, какаие проблемы? Это уже ответственность пользователя - решать, что ему годится.
     
     
  • 5.88, Аноним (87), 19:40, 10/09/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    Да какие, обычные питонятина стандартно забьет на ошибки - ведь на машине разра... весь текст скрыт [показать]
     
  • 3.64, Crazy Alex (ok), 16:55, 10/09/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    Да оно и на ста мегабитах ни хрена тормозить не будет, если /usr/portage или что-то подобное на него не совать.
     
     
  • 4.90, Аноним (-), 19:48, 10/09/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    Главное запускать эту парашу на локалхосте разработчика и только правильной сети... весь текст скрыт [показать]
     
  • 3.152, Led (ok), 00:02, 12/09/2018 [^] [ответить]    [к модератору]  
  • +5 +/
    > Python здесь не добавит тормозов.

    Он уже добавил сотни тысяч торомозов - в IT.

     
     ....нить скрыта, показать (21)

  • 1.5, Аноним (6), 11:36, 10/09/2018 [ответить] [показать ветку] [···]     [к модератору]  
  • –2 +/
    Интересная идея Можно создать хранилище документов гибридное и в итоге обращать... весь текст скрыт [показать]
     
  • 1.10, fi (ok), 11:48, 10/09/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +1 +/
    Вот и снова ФС Джорж, 40 лет прошло, а идеи теже )))))
    Хотя есть и новое - теперь вместо лент - облако, все же прогресс не остановить
     
     
  • 2.30, HyC (?), 14:06, 10/09/2018 [^] [ответить]    [к модератору]  
  • +3 +/
    В нетвари оно вообще прям из коробки работало.
     
  • 1.11, Alex_hha (?), 12:08, 10/09/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +2 +/
    > Единственный минус. Это вирус шифровальщик - если зашифрует, то зашифруется и в облаке.

    в "нормальных" облаках есть версионность, так что не критично, имхо

     
     
  • 2.14, F (?), 12:17, 10/09/2018 [^] [ответить]    [к модератору]  
  • +/
    Какая связь облачности и версионности? Ты какие облака называешь нормальными? S3?
     
     
  • 3.20, Alex_hha (?), 13:00, 10/09/2018 [^] [ответить]     [к модератору]  
  • +4 +/
    а какая связь между моим комментарием и твоим вопросом D AWS S3 GCP cloud stora... весь текст скрыт [показать]
     
  • 1.12, Диалапщик (?), 12:15, 10/09/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Мой хипстометр сломался. Зачем они это делают??? Единственное логичное применение вижу только в больших кластерах, чтобы ненужное вытеснялось на более тормозные серваки. Но на десктопе-то это зачем?
     
     
  • 2.15, Аноним (15), 12:28, 10/09/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    Ну, например, у тебя маленький SSD и гигабитный канал к серверам хранения, тогда вполне оправдано.
     
     
  • 3.120, имя (?), 06:50, 11/09/2018 [^] [ответить]    [к модератору]  
  • –2 +/
    Скорость HDD больше гигабитного канала. Для SSD нужно минимум 10 гигабит.
     
  • 2.17, Аноним (18), 12:35, 10/09/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    Для стирания границ между локальным, серверным и облачным хранением Обычно это ... весь текст скрыт [показать]
     
     
  • 3.31, HyC (?), 14:08, 10/09/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    > Это будущее...

    Нет, это наглухо забытое поколением пепси прошлое. Уже в третий раз за 40 лет этот велосипед изобретают.

     
     
  • 4.46, нах (?), 15:13, 10/09/2018 [^] [ответить]     [к модератору]  
  • +/
    но тогда мы эти хранилки располагали в своей серверной, а не в гуглевой-амазонск... весь текст скрыт [показать]
     
     
  • 5.56, HyC (?), 16:18, 10/09/2018 [^] [ответить]     [к модератору]  
  • +/
    А принцип тот же Было быстрое хранилище и медленное, с файлы к которым редко ид... весь текст скрыт [показать]
     
     
  • 6.61, нах (?), 16:50, 10/09/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    ну, в принципе, да - правда, когда хвататель, в очередной раз промазав мимо касс... весь текст скрыт [показать]
     
     
  • 7.76, Аноним (18), 18:31, 10/09/2018 [^] [ответить]     [к модератору]  
  • +/
    Можешь поднять облачный сервис у себя на домашнем файловом сервере У меня на ра... весь текст скрыт [показать]
     
     
  • 8.100, пох (?), 22:06, 10/09/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    на домашнем файловом сервере я подниму банальную самбу на 10ge или вовсе rdma vo... весь текст скрыт [показать]
     
  • 7.92, Аноним (-), 19:54, 10/09/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    Зато очень удобно Вот смотри, бэкапался ты на амазон, бэкапался Все было ЗБС и... весь текст скрыт [показать]
     
     
  • 8.101, Crazy Alex (ok), 22:07, 10/09/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    А раньше ты ToS не читал, конечно. Ну закономерно огреби. Кстати, амазоновские тарифные планы довольно просты.
     
  • 7.102, Crazy Alex (ok), 22:10, 10/09/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    Ну да И в результате шанс их угробить от всяких стихийных бедствий включая мест... весь текст скрыт [показать]
     
     
  • 8.113, Аноним (-), 00:07, 11/09/2018 [^] [ответить]     [к модератору]  
  • +/
    В таком виде даже не бред, но сабж не про это, да и оголтелые впариватели очеред... весь текст скрыт [показать]
     
  • 5.91, Аноним (-), 19:52, 10/09/2018 [^] [ответить]     [к модератору]  
  • +/
    Ну вы то наверное догадывались что канал в интернет может и фигакнуться, а гугл ... весь текст скрыт [показать]
     
     
  • 6.97, Аноним (97), 21:10, 10/09/2018 [^] [ответить]     [к модератору]  
  • +/
    Для этого есть SLA - соглашение о качестве предоставляемых услуг, где написаны х... весь текст скрыт [показать]
     
     
  • 7.114, Аноним (114), 00:16, 11/09/2018 [^] [ответить]     [к модератору]  
  • +/
    А когда какой-то промежуточный роутер, не подконтрольный ни мегапрову, фирмочке ... весь текст скрыт [показать]
     
     
  • 8.131, нах (?), 10:55, 11/09/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    эта система на корпоративные акаунты, вообще-то, не распространяется Ну или по ... весь текст скрыт [показать]
     
  • 4.130, X86 (ok), 10:52, 11/09/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    А, помните такую прогу от MS под DOS для увеличения размера дискеты - что-то тип... весь текст скрыт [показать]
     
     
  • 5.132, Аноним84701 (ok), 13:26, 11/09/2018 [^] [ответить]     [к модератору]  
  • +/
    drvspace dblspace Помним Скорбим W Не частично, а вообще не копировались, т... весь текст скрыт [показать]
     
  • 5.138, Аноним (-), 14:41, 11/09/2018 [^] [ответить]    [к модератору]  
  • +/
    Это называлось "перетащить ярлыки на дискетку", ага. "Что бы диск не забивали!". Популярно было в win95, приходилось отучать
     
  • 2.22, dq0s4y71 (ok), 13:19, 10/09/2018 [^] [ответить]     [к модератору]  
  • +/
    Чтобы твои данные были от тебя подальше, а к ним поближе Такова логика всех эти... весь текст скрыт [показать]
     
  • 2.59, IRASoldier (?), 16:41, 10/09/2018 [^] [ответить]     [к модератору]  
  • +/
    Допустим, лежит у меня на харде размером 1 терабайт библиотека из epub, fb2, pdf... весь текст скрыт [показать]
     
     
  • 3.63, нах (?), 16:54, 10/09/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    тут вопрос, насколько оно надежное за эти деньги а, ну или так ну фиг знает... весь текст скрыт [показать]
     
     
  • 4.77, IRASoldier (?), 18:38, 10/09/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    Оценить можно - какое оборудование, какая квалификация сотрудников, какое ПО сто... весь текст скрыт [показать]
     
     
  • 5.103, Crazy Alex (ok), 22:16, 10/09/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    50 баксов - это бэкап, там оно само шуршит на твоём компе , рещает, что бэкапи... весь текст скрыт [показать]
     
  • 4.78, IRASoldier (?), 18:40, 10/09/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    >у бэкблейзов

    Кстати, а чего б не крэшплан?

     
     
  • 5.105, Crazy Alex (ok), 22:20, 10/09/2018 [^] [ответить]    [к модератору]  
  • +/
    А крэшплан вообще умел быть "просто хранилищем", а не бэкапилкой, шарящейся по твоим дискам? А сейчас вроде вообще только для бизнеса что-то предлагают
     
     
  • 6.106, IRASoldier (?), 22:49, 10/09/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    Да я давно не смотрел на то, чем крэшплан стал, помню только, был такой Так-то ... весь текст скрыт [показать]
     
  • 2.66, Crazy Alex (ok), 17:01, 10/09/2018 [^] [ответить]    [к модератору]  
  • +/
    Например, фотоархив - одна копия в этой штуке, вторая - оффлайн, как и положено.
     
     ....нить скрыта, показать (29)

  • 1.13, Аноним (13), 12:16, 10/09/2018 [ответить] [показать ветку] [···]     [к модератору]  
  • +/
    Интересно, но для использования нужно еще encfs навесить пишут, что backblaze п... весь текст скрыт [показать]
     
     
  • 2.79, KonstantinB (ok), 18:42, 10/09/2018 [^] [ответить]     [к модератору]  
  • +/
    У backblaze такие низкие цены как раз за счет механизма дедупликации вычисляютс... весь текст скрыт [показать]
     
     
  • 3.116, h31 (ok), 00:24, 11/09/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    borgbackup умеет одновременно и шифровать, и сжимать, и дедуплицировать.
     
     
  • 4.118, Аноним (118), 02:31, 11/09/2018 [^] [ответить]    [к модератору]  
  • +/
    Предлагаете для всех пользователей backblaze шифровать одним и тем же ключом? Ооок:)
     
     
  • 5.146, h31 (ok), 20:13, 11/09/2018 [^] [ответить]     [к модератору]  
  • –2 +/
    Почему Шифруем данные на клиенте, у каждого клиента свой ключ На сервер загруж... весь текст скрыт [показать]
     
     
  • 6.155, Ракоман (?), 08:37, 12/09/2018 [^] [ответить]    [к модератору]  
  • +/
    Да? А что делать при коллизии хэшей? Приехали?
     
     
  • 7.160, h31 (ok), 02:55, 13/09/2018 [^] [ответить]    [к модератору]  
  • +/
    > Да? А что делать при коллизии хэшей? Приехали?

    Я не знаю, как эту проблему решили в borgbackup. Найдёшь - отпишись.

     
     
  • 8.162, нах (?), 14:35, 13/09/2018 [^] [ответить]     [к модератору]  
  • +/
    никак авторы всех технологий дедапа верят, что коллизия хэшей невозможна Мысль... весь текст скрыт [показать]
     
  • 6.163, KonstantinB (ok), 05:46, 15/09/2018 [^] [ответить]    [к модератору]  
  • +/
    Окей, мы знаем, что у пользователей U1 и U2 зашифрованные блоки B1 и B2 имеют одинаковый sha512. Как теперь хранить только один из этих блоков?
     
     
  • 7.165, нах (?), 10:49, 17/09/2018 [^] [ответить]    [к модератору]  
  • +/
    > Окей, мы знаем, что у пользователей U1 и U2 зашифрованные блоки B1
    > и B2 имеют одинаковый sha512. Как теперь хранить только один из
    > этих блоков?

    зачем?
    Если ты каким-то чудом (например, нанятый вменяемый разработчик понимал, для чего на самом деле существуют криптографические хэши - чудо!) вовремя об этом узнал - просто сохраняешь второй блок отдельно от первого. Ровно так же, как в случае, если бы эти sha оказались разными (точнее "поиск хэша B2 ничего не нашел").

    На момент, когда ты считал его хэш, он у тебя еще был, есть что сохранять.

    внутри файла-то они не по хэшам ищутся, а банально по ссылке.

    zfs dedup+verify примерно так и работает

     
  • 1.21, Fracta1L (ok), 13:04, 10/09/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Что даёт присутствие таких функций (вытеснение на облако и т.д.) на уровне ФС, а не утилит каких-нибудь?
     
     
  • 2.27, Аноним (27), 13:57, 10/09/2018 [^] [ответить]    [к модератору]  
  • +/
    чтоб утилиты пользовать это нужно что-то там в консоли писать и вообще мозгом думать. а тут все за тебя сделают.
    щас так модно типа.
     
     
  • 3.48, Fracta1L (ok), 15:25, 10/09/2018 [^] [ответить]    [к модератору]  
  • +/
    > что-то там в консоли писать и вообще мозгом думать

    Так-то ковыряние в консольке нагружает мозг не больше, чем работа автомеханика в гараже.

     
     
  • 4.57, Аноним (57), 16:27, 10/09/2018 [^] [ответить]     [к модератору]  
  • +/
    Но и автомеханик в гараже Должен работать и головой, и руками Конечно при услов... весь текст скрыт [показать]
     
     
  • 5.75, Fracta1L (ok), 18:09, 10/09/2018 [^] [ответить]     [к модератору]  
  • –2 +/
    Я не спорю, что автомеханик работает головой Но там, как правило, действия по н... весь текст скрыт [показать]
     
     
  • 6.93, Аноним (114), 19:58, 10/09/2018 [^] [ответить]     [к модератору]  
  • +/
    Собственно по изначальной задумке консоль в никсах это инструмент автоматизации... весь текст скрыт [показать]
     
  • 6.94, Аноним (114), 19:59, 10/09/2018 [^] [ответить]    [к модератору]  
  • +/
    > Ты дважды ошибся за такой короткий коммент, кек

    Может это он про себя? :)

     
  • 3.60, IRASoldier (?), 16:43, 10/09/2018 [^] [ответить]     [к модератору]  
  • –2 +/
    Ага, а глину для кирпичей ты тоже сам должен месить, железо для арматуры лично в... весь текст скрыт [показать]
     
  • 3.67, Crazy Alex (ok), 17:04, 10/09/2018 [^] [ответить]    [к модератору]  
  • +/
    И статистику тоже отдельно собирать и потом анализировать. То есть возни больше, а вот плюсов лично я не вижу. Ещё хинты какие-то - понятно, но зачем полностью закат солнца вручную делать?
     
     
  • 4.121, пох (?), 07:12, 11/09/2018 [^] [ответить]     [к модератору]  
  • +/
    я, конечно, понимаю что atime сейчас немодно и немолодежно, но анализатор стати... весь текст скрыт [показать]
     
  • 1.23, Очередной аноним (?), 13:45, 10/09/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    Интересно, что там по задумке авторов должна показать какая-нибудь df в плане кол-ва свободных блоков в ФС? Напишет, что свободного пространства хоть опой жри ( локальное свободное +(какая-нибудь облачная квота - занятое в облаке место) )?
     
     
  • 2.29, нах (?), 14:02, 10/09/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    напишет -1 и свалится по segfault у современных разработчиков оно примерно так ... весь текст скрыт [показать]
     
     
  • 3.36, nobody (??), 14:44, 10/09/2018 [^] [ответить]    [к модератору]  
  • +2 +/
    > напишет -1

    NaN сейчас модно

     
     
  • 4.53, нах (?), 15:40, 10/09/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    >> напишет -1
    > NaN сейчас модно

    кстати, да (в gnu df floating арифметика вполне себе есть ;-)

     
  • 3.38, Очередной аноним (?), 14:45, 10/09/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    локальное свободное какая-нибудь облачная квота - занятое в облаке место ... весь текст скрыт [показать]
     
     
  • 4.51, нах (?), 15:37, 10/09/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    ну, в конечном счете, оно опирается на stat , но там ни разу не предусмотрено с... весь текст скрыт [показать]
     
     
  • 5.68, Crazy Alex (ok), 17:08, 10/09/2018 [^] [ответить]     [к модератору]  
  • +/
    В рамках этой задачи как раз раздельнцы значения - это полная чушь Потому что в... весь текст скрыт [показать]
     
     
  • 6.126, нах (?), 09:57, 11/09/2018 [^] [ответить]     [к модератору]  
  • –2 +/
    в смысле, тебе совсем неинтересно знать, ни сколько занято локально, ни сколько ... весь текст скрыт [показать]
     
  • 1.24, A. Stahl Is Gay (?), 13:47, 10/09/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –4 +/
    Йопт, я такое же за бабло писал, только вместо облака там была оптическая архивная хранилка. Если переписать на C, то +- 700MB/s на потоковую запись получить можно (на харды). Про SSD хз.
     
     
  • 2.26, Аноним (-), 13:48, 10/09/2018 [^] [ответить]    [к модератору]  
  • +3 +/
    Так это ты тот чувак из bell labs, писавший plan9?
     
     
  • 3.28, A. Stahl Is Gay (?), 14:00, 10/09/2018 [^] [ответить]    [к модератору]  
  • –4 +/
    Нет.
     
  • 1.33, Аноним (33), 14:19, 10/09/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +1 +/
    Судя по названию их цель вытеснить всё, оставив локально только zero.
     
  • 1.34, Аноним (39), 14:26, 10/09/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +1 +/
    Только если будет поддерживать хранение на собственном подконтрольном сервере, тогда нужно.
     
  • 1.35, Аноним (39), 14:37, 10/09/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    Ответ ненавистникам Питона.

    PS Вовсе не утверждаю, что Python быстрый, но востребованный даже в системном ПО.

     
     
  • 2.40, dq0s4y71 (ok), 14:50, 10/09/2018 [^] [ответить]    [к модератору]  
  • +3 +/
    Вам ненавистники Питона скажут, что если Питон можно запихать в файловую систему, это не значит, что так _нужно_ делать.
     
     
  • 3.43, Аноним (43), 15:10, 10/09/2018 [^] [ответить]    [к модератору]  
  • +4 +/
    И что характерно, будут правы.
     
  • 2.80, Аноним (80), 19:05, 10/09/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    вообще FUSE - от слова userspace, не такое оно уж и системное
     
  • 2.95, Аноним (114), 20:03, 10/09/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    > PS Вовсе не утверждаю, что Python быстрый, но востребованный даже в системном ПО.

    Востребован, на уровне зонтиков рыбками.

     
  • 2.157, Вареник (?), 15:12, 12/09/2018 [^] [ответить]    [к модератору]  
  • +/
    Востребован фриками для извращений? Так еще рекомендация.
     
  • 1.54, ползкрокодил (?), 15:46, 10/09/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    Офигенно, мне как раз такое нужно. Думаю на одном сервере обработку гонять, на другом хранить. Думал davfs монтировать с кэшем, но на уровне ФС, по идее, надёжнее должно быть. А есть более готовые аналоги?
     
     
  • 2.70, нах (?), 17:32, 10/09/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    есть, samba, nfs, тыщи их rsync еще есть Кстати, учти что davfs2 over fuse - п... весь текст скрыт [показать]
     
     
  • 3.115, Аноним (114), 00:22, 11/09/2018 [^] [ответить]     [к модератору]  
  • –4 +/
    Если у тебя от активности одной программы клинятся другие - поздравления, операц... весь текст скрыт [показать]
     
     
  • 4.123, Аноним (-), 08:14, 11/09/2018 [^] [ответить]    [к модератору]  
  • +/
    я ценю остроумие, но читать тоже надо уметь:

    > попутно вешая всё в системе, что имеет несчастьте просто проходить мимо

    Или считаешь, что твой шутливый комментарий адекватен цитируемой фразе?

     
     
  • 5.127, нах (?), 09:58, 11/09/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    там надо уметь не читать, а понимать прочитанное, это два разных умения.

     
  • 1.55, Аноним (55), 16:04, 10/09/2018 [ответить] [показать ветку] [···]     [к модератору]  
  • –1 +/
    Короче, ничо вы не поняли Кураторы из АНБ накрутили хвост менеджменту Бэкблэйза... весь текст скрыт [показать]
     
     
  • 2.69, нах (?), 17:29, 10/09/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    да ну, у них же архивы были А тут в b2шную часть бэкблейза она изначально под ... весь текст скрыт [показать]
     
     
  • 3.81, Аноним (81), 19:14, 10/09/2018 [^] [ответить]     [к модератору]  
  • +/
    А хз что и как они там анализируют Ненужные файлы, которые не удалены, а позабы... весь текст скрыт [показать]
     
     
  • 4.122, пох (?), 07:18, 11/09/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    ну если хотелось надежный, то их всего с пол-десятка, и ценник в 3-30 раз выше, ... весь текст скрыт [показать]
     
  • 1.72, Аноним (72), 17:52, 10/09/2018 [ответить] [показать ветку] [···]     [к модератору]  
  • +/
    Заказная фигня наверное, идея конечно хорошая, но в цены на хранилище Или есл... весь текст скрыт [показать]
     
     
  • 2.150, Аноним (150), 23:14, 11/09/2018 [^] [ответить]    [к модератору]  
  • +/
    Личное проще на Ceph с локальным кэшем нагородить.
     
  • 1.73, anonymous (??), 17:54, 10/09/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    Нужна поддержка s3, чтобы можно было на свой ceph натравить.
     
     
  • 2.83, Аноним (81), 19:24, 10/09/2018 [^] [ответить]    [к модератору]  
  • +/
    LeoFS?
     
  • 1.104, Аноним (104), 22:17, 10/09/2018 [ответить] [показать ветку] [···]     [к модератору]  
  • –1 +/
    я такое уже давно пльзую на телефоне, телефон синхронизируется с ПК, а на ПК фот... весь текст скрыт [показать]
     
  • 1.128, Superanon (?), 10:34, 11/09/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    вот бы сделать обратный bcache для SSD+HDD
    чтобы актуальные файлы жили на SSD (250GB) а неактуальные автоматом уезжали на медленный но ёмкий HDD(8TB).

    сяду сам на досуге напишу... если не забуду.

     
     
  • 2.134, нах (?), 14:03, 11/09/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    собственно, да iZEN тебе уже ответил - уже все написали до тебя, zfs arc2 называ... весь текст скрыт [показать]
     
     
  • 3.136, Аноним (136), 14:28, 11/09/2018 [^] [ответить]    [к модератору]  
  • +/
    dm-cache /  bcache / flashcache (имени фейсбука) - да вагон на чем сделать можно.
     
  • 3.137, Аноним (136), 14:32, 11/09/2018 [^] [ответить]    [к модератору]  
  • +/
    есть еще к слову fs-cache который к NFS прикручивается (да и можно к остальному) запись будет напрямую на диск - а r/o cache локальный.
     
  • 2.135, Аноним (136), 14:28, 11/09/2018 [^] [ответить]    [к модератору]  
  • +/
    bcache так и работает - не нужные блоки уезжают на hdd, а нужные живут на ssd.
     
     
  • 3.140, Аноним (-), 15:56, 11/09/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    размер складывается? Или на hdd всегда есть все данные?
     
     
  • 4.142, Leah (?), 18:25, 11/09/2018 [^] [ответить]    [к модератору]  
  • +/
    В случае bcache HDD хранит все данные, а частоиспользуемые блоки зеркалируются на SSD.
     
  • 3.143, Leah (?), 18:35, 11/09/2018 [^] [ответить]    [к модератору]  
  • +/
    имхо все блоки уезжают на HDD, на SSD продублированы частозапрашиваемые.
    В этом принцыпиальное отличие от того, чтобы на ХДД уезжало только неиспользуемое.
     
  • 1.133, iZEN (ok), 13:36, 11/09/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Из ZFS тоже такое можно сделать: в облаках размещаем блочные устройства физического уровня, объединяем их в raidz3, а у себя на компе для этого пула используем кэш L2ARC на SSD. Данные пишутся непосредственно в облако и гарантированно сохраняются с избытоным кодированием и целостностью, а кэш работает исключительно на чтение часто запрашиваемых данных.
     
     
  • 2.139, Аноним (-), 14:57, 11/09/2018 [^] [ответить]     [к модератору]  
  • +/
    Вот разве что для этого ZFS и нужна Оно реально будет работать Или очень приве... весь текст скрыт [показать]
     
     
  • 3.141, Аноним (141), 18:08, 11/09/2018 [^] [ответить]    [к модератору]  
  • +/
    mbuffer + UDPspeeder
     
  • 1.145, GedNN (?), 19:55, 11/09/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Я ниасилил или никто так и не предложил достойной альтернативы и вообще камменты как обычно не по "чистапаржать"?
     
     
  • 2.149, Аноним (150), 23:11, 11/09/2018 [^] [ответить]    [к модератору]  
  • +3 +/
    ФС на гибриде питона с фюзой никаких ассоциаций, кроме как "чистапаржать", не вызывает.
     
     
  • 3.161, GedNN (?), 12:00, 13/09/2018 [^] [ответить]    [к модератору]  
  • +/
    А аналоги какие-нибудь есть на чем угодно?
    Идея мне очень нравится.
    Сейчас приходится реализовывать вручную. Хотелось бы автоматизации. Лучше между точками монтирования, но не блочными устройствами, как предлагают выше.

    Т.к. с блочными проблем побольше....

    А так есть:
    фс на быстром диске - там актуальные данные
    фс на медленном диске/кластере/облаке - там много место и надежно

    Пользователю нужно прозрачно, по возможности работать быстро. Как такое сделать?

     
     
  • 4.166, oracle (?), 10:52, 17/09/2018 [^] [ответить]    [к модератору]  
  • +/
    > А аналоги какие-нибудь есть на чем угодно?

    наша zfs с arc2

    > Сейчас приходится реализовывать вручную. Хотелось бы автоматизации. Лучше между точками
    > монтирования, но не блочными устройствами, как предлагают выше.

    нет, такой фигней мы не страдаем
    > Т.к. с блочными проблем побольше....

    у нас как-то не замечено.

    > А так есть:
    >  фс на быстром диске - там актуальные данные
    >  фс на медленном диске/кластере/облаке - там много место и надежно

    именно так и есть, только без "облачков" (san сойдет тебе за "кластер"?)

    для пользователя все прозрачно и быстро, для админа - zpool add...

     
     
  • 5.167, GedNN (?), 17:54, 18/09/2018 [^] [ответить]    [к модератору]  
  • +/
    Кто такая ZFS я вроде знаю. С ее плюсами и минусами. Не подходит. Она используется сейчас как шустрое/рабочее хранилище.

    >именно так и есть, только без "облачков" (san сойдет тебе за "кластер"?)

    Не сойдет - сложности с изменением размеров/надежностью и т.д.. :-(
    Сейчас используется MooseFS под архив и бэкап. Позволяет динамически менять размер и надежность хранения в любую сторону.

    По идее, хотелось бы верхним слоем, с которым оперативно работают - ZFS. А нижним MooseFs - под длительное хранение.

    Только требуется автоматизацию телепортации. :-)

     
  • 1.147, Аноним (150), 23:03, 11/09/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    Backblaze рекламу неприкрытую в новости этой вижу я.

    А по теме - да, отличная тема, можно будет автоматически вытеснять архив куда-нибудь товарищу майору сразу.

     
  • 1.156, Вареник (?), 15:08, 12/09/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +2 +/
    >> во внешнее облачное хранилище.

    - Вот как теперь /dev/null называют.

     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor