The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"Первый публичный выпуск распределённой файловой системы JuiceFS"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Первый публичный выпуск распределённой файловой системы JuiceFS"  +/
Сообщение от opennews (?), 13-Янв-21, 18:11 
После четырёх лет разработки компания Juicedata, созданная при поддержке двух крупных китайских венчурных фондов, опубликовала первый публичный выпуск POSIX-совместимой распределённой файловой системы JuiceFS, которая может быть развёрнута поверх СУБД Redis или хранилищ объектов, поддерживающих API  Amazon S3. JuiceFS развивается как промежуточное решение, позволяющее упростить адаптацию любых приложений для работы в облачной инфраструктуре, благодаря возможности работать с хранилищами объектов как с традиционными ФС. Код проекта написан на языке Go и распространяется под лицензией AGPLv3...

Подробнее: https://www.opennet.ru/opennews/art.shtml?num=54396

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "Первый публичный выпуск распределённой файловой системы Juic..."  –6 +/
Сообщение от Иваня (?), 13-Янв-21, 18:11 
Круто, надо поизучать. На гошечке отлично делать распределенные системы!
Ответить | Правка | Наверх | Cообщить модератору

3. "Первый публичный выпуск распределённой файловой системы Juic..."  +2 +/
Сообщение от Аноним (3), 13-Янв-21, 18:19 
Новость дальше слова "go" ты походу и не прочитал))
Ответить | Правка | Наверх | Cообщить модератору

4. "Первый публичный выпуск распределённой файловой системы Juic..."  +4 +/
Сообщение от Аноним (3), 13-Янв-21, 18:20 
(то, что до него, походу, тоже)
Ответить | Правка | Наверх | Cообщить модератору

35. "Первый публичный выпуск распределённой файловой системы Juic..."  –2 +/
Сообщение от Атон (?), 13-Янв-21, 21:48 
GOoogle
GOspel
GOvernment


удобно.

Ответить | Правка | Наверх | Cообщить модератору

39. "Первый публичный выпуск распределённой файловой системы Juic..."  –1 +/
Сообщение от Аноним (39), 13-Янв-21, 22:07 
vlang наше все. го ущербен
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

57. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от Аноним (57), 14-Янв-21, 11:16 
Оно еще живое?
Ответить | Правка | Наверх | Cообщить модератору

59. "Первый публичный выпуск распределённой файловой системы Juic..."  +1 +/
Сообщение от pda (?), 14-Янв-21, 12:37 
V? Да, причём автор пилит его с такой скоростью, будто реально решил всех вытеснить. :)
Ответить | Правка | Наверх | Cообщить модератору

60. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от adolfus (ok), 14-Янв-21, 13:23 
В связи с последними событиями с долинковкой малвари в орион с помощью специальной версии msbuild облакам хана. Своя собственная физическая инфраструктура дешевле в разы обходится, а то и на порядок.
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

82. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от мяя (?), 15-Янв-21, 18:05 
О чём речь не подскажете?
Ответить | Правка | Наверх | Cообщить модератору

84. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от adolfus (ok), 15-Янв-21, 23:36 
Релиз Solar Wind Orion собирался на сервере сборки специально изготовленным msbuild, чтобы скрыть следы линковки с левыми объектными модулями. А чтобы на микрософт не подумали, то якобы "взлом" инфраструктуры Solar Wind затронул и их.
Ответить | Правка | Наверх | Cообщить модератору

86. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от Аноним (86), 16-Янв-21, 07:15 
Читайте первоисточники и не несите дичь. Исходники подменялись малварью во время сборки и восстанавливались после. Msbuild был самый обычный.
Ответить | Правка | Наверх | Cообщить модератору

2. "Первый публичный выпуск распределённой файловой системы Juic..."  –7 +/
Сообщение от _ (??), 13-Янв-21, 18:16 
Go fast! Go - blazing fast! ;-)
Это вам не ржавчина какая :-р
Ответить | Правка | Наверх | Cообщить модератору

13. "Первый публичный выпуск распределённой файловой системы Juic..."  –7 +/
Сообщение от Аноним (13), 13-Янв-21, 19:34 
Если сРаст такой хороший язык почему на нём не написали такую простую штуку как распределенная файловая система?
Ответить | Правка | Наверх | Cообщить модератору

17. "Первый публичный выпуск распределённой файловой системы Juic..."  –2 +/
Сообщение от Аноним (17), 13-Янв-21, 20:22 
на расте пытались написать недоось - но в ней память потекла :)
Ответить | Правка | Наверх | Cообщить модератору

20. "Первый публичный выпуск распределённой файловой системы Juic..."  +14 +/
Сообщение от YetAnotherOnanym (ok), 13-Янв-21, 20:23 
Прям представляю, прамять такая: Ой, девочкиии, какой языыык... Я потекла...
Ответить | Правка | Наверх | Cообщить модератору

33. "Первый публичный выпуск распределённой файловой системы Juic..."  +3 +/
Сообщение от Аноним (-), 13-Янв-21, 21:22 
> на расте пытались написать недоось - но в ней память потекла :)

Разоблачения от опеннетных профессианналов, только сегодня, смотреть далее ...


Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

52. "Первый публичный выпуск распределённой файловой системы Juic..."  –1 +/
Сообщение от Аноним (52), 14-Янв-21, 05:52 
Но и опровергнуть ты не смог...
Ответить | Правка | Наверх | Cообщить модератору

55. "Первый публичный выпуск распределённой файловой системы Juic..."  +3 +/
Сообщение от Аноним (55), 14-Янв-21, 06:23 
> Но и опровергнуть ты не смог...

Зачем опровергать очередной бред?
чайник_рассела.жпг


Ответить | Правка | Наверх | Cообщить модератору

87. "Первый публичный выпуск распределённой файловой системы Juic..."  +1 +/
Сообщение от Ordu (ok), 16-Янв-21, 08:47 
Ты слишком толст, чтобы тебя кто-нибудь опровергал. Тоньше быть надо.
Ответить | Правка | К родителю #52 | Наверх | Cообщить модератору

19. "Первый публичный выпуск распределённой файловой системы Juic..."  +3 +/
Сообщение от заминированный тапок (ok), 13-Янв-21, 20:23 
им пока не до новых разработок, сильно заняты пока что переписыванием существующих решений с C/C++
Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

30. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от Аноним (17), 13-Янв-21, 21:12 
ясно, понятно, просто переставляют койки...
Ответить | Правка | Наверх | Cообщить модератору

48. "Первый публичный выпуск распределённой файловой системы Juic..."  +3 +/
Сообщение от _ (??), 14-Янв-21, 03:31 
На Rust уже есть https://github.com/openebs/Mayastor , который по функционалу уже близок к CEPH)
Сам он ФС не предоставляет, только объектное и блочное хранилище, однако эту задачу решает NFS/любая другая ФС работающая поверх объектного хранилища (Та же JuiceFS подойдёт :D)
Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

51. "Первый публичный выпуск распределённой файловой системы Juic..."  –4 +/
Сообщение от Аноним (52), 14-Янв-21, 05:50 
А как ты будеш кластеризовать сам nfs? Это не говоря о том что сама nfs это лютейшее говно.
Ответить | Правка | Наверх | Cообщить модератору

58. "Первый публичный выпуск распределённой файловой системы Juic..."  –1 +/
Сообщение от Аноним (58), 14-Янв-21, 12:30 
мисье не в курсе о pNFS и NFS v 4.2 ?
Ответить | Правка | Наверх | Cообщить модератору

75. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от Ульта (?), 14-Янв-21, 21:10 
Он видать на SunOS NFS3 еще гоняет
Ответить | Правка | Наверх | Cообщить модератору

69. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от _ (??), 14-Янв-21, 19:02 
> Это не говоря о том что сама nfs это лютейшее говно.

1. Я и указал что NFS это не единственный вариант
2. Можно ли услышать аргументацию про NFS? Поддерживаю кластер 120 нод, много чего гоняется по NFS, за 3 года проблем не видел (Кроме тех что были вызваны кривыми руками)

Ответить | Правка | К родителю #51 | Наверх | Cообщить модератору

78. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от _ (??), 14-Янв-21, 22:11 
3.14159265 - do - ball ? :-)))))
NFS - suks, no doubt. Problem is - there is noting really better :(
Ответить | Правка | Наверх | Cообщить модератору

76. "Первый публичный выпуск распределённой файловой системы Juic..."  +1 +/
Сообщение от Ульта (?), 14-Янв-21, 21:11 
Шо раст шо го одно г0вно
Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

5. "Первый публичный выпуск распределённой файловой системы Juic..."  +1 +/
Сообщение от Аноним (5), 13-Янв-21, 18:34 
Реально ли применить для хранения данных пользователей и бэкапов объёмом >300 Тб? И как там отказоустойчивость?
Ответить | Правка | Наверх | Cообщить модератору

10. "Первый публичный выпуск распределённой файловой системы Juic..."  +5 +/
Сообщение от Онаним (?), 13-Янв-21, 19:10 
Я бы на этом ничего, кроме рецептов смузи, хранить не рискнул.
Ответить | Правка | Наверх | Cообщить модератору

11. "Первый публичный выпуск распределённой файловой системы Juic..."  +5 +/
Сообщение от Аноним (11), 13-Янв-21, 19:19 
Его нереально применить для хранения. Это прокси до хранилищ перечисленных на картинке
Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

28. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от Аноним (28), 13-Янв-21, 21:07 
Реально. Разрешаю.
Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

40. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от Аноним (40), 13-Янв-21, 22:37 
Разоришься амазону башлять… Впрочем, твой дело.
Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

61. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от Аноним (61), 14-Янв-21, 15:23 
Отказоустойчивое 0.022 цента за гигабайт только за хранение в месяц. Это приблизительно почти 7к долларов в месяц. И трафик скачать 1 гигабайт стоит 0.09 центов.
Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

6. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от Аноним (5), 13-Янв-21, 18:35 
Это что-то типа IBM GPFS?
Ответить | Правка | Наверх | Cообщить модератору

14. "Первый публичный выпуск распределённой файловой системы Juic..."  +2 +/
Сообщение от бублички (?), 13-Янв-21, 19:40 
нет, это абсолютная новинка на основе концепции Vaseline FS
Ответить | Правка | Наверх | Cообщить модератору

44. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от Сяду на лицо (?), 13-Янв-21, 23:46 
Васянов огорчает твой коммент
Ответить | Правка | Наверх | Cообщить модератору

36. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от Атон (?), 13-Янв-21, 21:52 
здесь все метаданные в одной БД.

в GPFS не так.

Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

66. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от Ульта (?), 14-Янв-21, 17:15 
GPFS это DFS, а эта подделка работает поверх различных DFS от годных типа GPFS, pNFS, Lustre, Ceph до смузиподобных GlusterFS и прочих FUSE like
Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

8. "Первый публичный выпуск распределённой файловой системы Juic..."  –2 +/
Сообщение от rvs2016 (ok), 13-Янв-21, 18:58 
> Каждый файл разбивается на логические цепочки размером 64 МБ

А файловые системы размером меньше 64 МБ создавать нельзя? 😲

Ответить | Правка | Наверх | Cообщить модератору

26. "Первый публичный выпуск распределённой файловой системы Juic..."  –1 +/
Сообщение от Аноним (-), 13-Янв-21, 21:05 
Это опенсорс, детка! Здесь все можно. Бери и создавай. ;)
Ответить | Правка | Наверх | Cообщить модератору

38. "Первый публичный выпуск распределённой файловой системы Juic..."  –1 +/
Сообщение от rvs2016 (ok), 13-Янв-21, 22:06 
> Это опенсорс, детка! Здесь все можно. Бери и создавай. ;)

Понял. Нельзя. Да и не сильно-то было надо. Вопрос-то был не из практической плоскости, а из академической. :-)

Ответить | Правка | Наверх | Cообщить модератору

37. "Первый публичный выпуск распределённой файловой системы Juic..."  +1 +/
Сообщение от Атон (?), 13-Янв-21, 21:53 
а смысл?
Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору

12. "Первый публичный выпуск распределённой файловой системы Juic..."  –2 +/
Сообщение от Аноним (13), 13-Янв-21, 19:32 
наконец-то годноту подвезли.
Ответить | Правка | Наверх | Cообщить модератору

21. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от YetAnotherOnanym (ok), 13-Янв-21, 20:25 
Хммм... Интересно, как она с LeoFS будет?
Ответить | Правка | Наверх | Cообщить модератору

25. "Первый публичный выпуск распределённой файловой системы Juic..."  –1 +/
Сообщение от Аноним (25), 13-Янв-21, 21:04 
Вот протестируй и отпишись, как оно будет.
Ответить | Правка | Наверх | Cообщить модератору

42. "Первый публичный выпуск распределённой файловой системы Juic..."  –5 +/
Сообщение от Сяду на лицо (?), 13-Янв-21, 23:43 
Фс поверх фс которая поверх другой фс и так до бесконечности... да уж линукс во всей красе((( даже винда сейчас смотрится как нечто органичное и структурированное по сравнению с этим балаганом
Ответить | Правка | Наверх | Cообщить модератору

45. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от Онаним (?), 14-Янв-21, 00:16 
В винде прямо из коробки идёт подобное же рукалицо.
Дропбокс называется.
Ответить | Правка | Наверх | Cообщить модератору

46. "Первый публичный выпуск распределённой файловой системы Juic..."  –1 +/
Сообщение от Сяду на лицо (?), 14-Янв-21, 00:32 
Дропбокс это овеолей поверх оверлея??? Там просто эмуляция WebDAV/REST, типа FUSE, а не FUSE поверх FUSE которая поверх S3 который поверх FUSE который размазан поверх Lustre и все это поверх FUSE которая поверх GlusterFS которая тоже поверх FUSE
Ответить | Правка | Наверх | Cообщить модератору

56. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от Онаним (?), 14-Янв-21, 09:48 
Внезапно:
1. API файловой системы -> ядерная поддержка FS -> юзерспейсный драйвер FS дропбокса
То есть первый оверлей ("FUSE") есть.
2. API дропбокса - HTTPS, то есть и второй слой имеется, "FUSE" поверх HTTPS
3. Сам дропбокс внутри - всё тот же блочный сторейдж по типу S3, просто часть, делающая возможность работать с файлами - выкинута в API дропбокса

То есть в итоге - почти точно такое же овнище, вид в профиль, за исключением того, что конверсия в блочный сторейдж на стороне сервера выполняется.

Ответить | Правка | Наверх | Cообщить модератору

63. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от Ульта (?), 14-Янв-21, 15:34 
Только описываемый тобой костыль дропбокса не на одной системе пашет, тобишь эмуляция прозрачной ФС с трансляцией в API бокса это обычный FUSE, а S3 или че он там использует это его сервер сайд, по факту имеем один FUSE

Оверлей поверх оверлея это когда одна эмуляция поверх другой эмуляции... и где то в конце нечто приближенное с реальной ФС, как в этом смузипроджекте

Ответить | Правка | Наверх | Cообщить модератору

70. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от Онаним (?), 14-Янв-21, 19:04 
По факту имеем FUSE и дальше костылинг поверх HTTP.
Ответить | Правка | Наверх | Cообщить модератору

71. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от Онаним (?), 14-Янв-21, 19:05 
(не забывай, что от "FUSE" до дропбокса - ещё его кривой API)
Ответить | Правка | К родителю #63 | Наверх | Cообщить модератору

74. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от Ульта (?), 14-Янв-21, 21:08 
FUSE собственно и реализует прослойку между кривым API и ядром ОС, дабы у хомячка все была НАТИВНО
Ответить | Правка | Наверх | Cообщить модератору

77. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от Онаним (?), 14-Янв-21, 21:46 
А дальше идёт прослойка в виде хытытыпы под прослойкой в виде ссл к прослойке в виде WebAPI.
Ответить | Правка | Наверх | Cообщить модератору

81. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от Ульта (?), 15-Янв-21, 17:16 
FUSE это и есть прослойка
Ответить | Правка | Наверх | Cообщить модератору

49. "Первый публичный выпуск распределённой файловой системы Juic..."  –1 +/
Сообщение от анонимно (?), 14-Янв-21, 04:47 
Написана вроде интересная штука да ещё и под копилефт.
Количество хейтеров на опеннете прибавилось )
Ответить | Правка | Наверх | Cообщить модератору

62. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от Аноним (61), 14-Янв-21, 15:25 
Платное уг не нужное.
Ответить | Правка | Наверх | Cообщить модератору

50. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от Аноним (52), 14-Янв-21, 05:46 
Ну тут все понятно, дохлый проект непонятно для чего. Client Core это single машина а после уже клиентам раздаем по smd или nfs, а я то уже обрадовался что появилась замена cephfs когда все клиенты из кластера смогу смонтировать и не угробить файлы.
Ответить | Правка | Наверх | Cообщить модератору

53. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от Аноньимъ (ok), 14-Янв-21, 05:58 
Я в новости про фс в вкладках браузера предложил устанавливать туда браузер.

И вот собственно мою идею развили и реализовали.

Ответить | Правка | Наверх | Cообщить модератору

54. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от Аноним (52), 14-Янв-21, 06:01 
https://juicefs.com/pricing - это говори о проекте все, удачи вам с этим васяно уг...
Ответить | Правка | Наверх | Cообщить модератору

67. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от borbacuca (ok), 14-Янв-21, 17:46 
дыкжеж венчурные фонды!
Ответить | Правка | Наверх | Cообщить модератору

64. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от Анонимленьлогиниться (?), 14-Янв-21, 16:53 
Хмм. Интересно, ждем когда будет работать поверх Swift. Т.к. у многих cloud провайдеров его используют. Технически там-то конечно S3 шлюз есть, но подобные жесткие сервисы обычно не работают корректно, т.к. поведение eventual consistency отличается от того, который в AWS. А если речь про использование в AWS.. Так нафига вообще козе баян? Есть же CASFS+ (https://casfs.com/documentation/casfs/casfs-white-paper/#cas... уже.
Ответить | Правка | Наверх | Cообщить модератору

65. "Первый публичный выпуск распределённой файловой системы Juic..."  +2 +/
Сообщение от Ульта (?), 14-Янв-21, 17:08 
pNFS наше все, в ж0пу костыли запихать всем любителям системда
Ответить | Правка | Наверх | Cообщить модератору

68. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от PnD (??), 14-Янв-21, 18:20 
Оп. Метаданные в реди́се. Но без них же данные превратятся в лапшу? Или нет?
Может, я чего пропустил и редис выпустил систему с гарантиями? Да нет, всё так же:
"Redis is an open source (BSD licensed), in-memory data structure store, used as a database, cache, and message broker."

Ну, что же. Видимо, гм, основные цели носили не технический характер.

Ответить | Правка | Наверх | Cообщить модератору

79. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от Аноним (79), 15-Янв-21, 06:49 
Тот же вопрос у меня.
Ответить | Правка | Наверх | Cообщить модератору

85. "Первый публичный выпуск распределённой файловой системы Juic..."  +/
Сообщение от ОхотникНаОленей (?), 16-Янв-21, 06:02 
Ну редис флашить состояние на диск умеет, как минимум для перезапуска машины. Плюс сохранность обеспечивает избыточность узлов.

А без избыточности узлов и hdd без raid - не надёжен.

Ответить | Правка | К родителю #68 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2021 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру