Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Facebook открыл код распределённой системы хранения LogDevice, opennews (??), 13-Сен-18, (0) [смотреть все] Почему на C написано а не на Python Django , Аноним (2), 12:03 , 13-Сен-18, (2) –6 // еще на электроне или пыхе предложи , Аноним (3), 12:07 , 13-Сен-18, (3) +21 потому что мы попытались, как обычно, на php, но получалось как-то не очень а на, facebook (?), 12:08 , 13-Сен-18, (4) +7 // что-то гугл уже не очень то на питоне пишет Может лучше на php , Аноним (11), 12:36 , 13-Сен-18, (11) +2 Ваша информация устарела Теперь в Google используют Golang Но не все и не везде, Аноним (32), 16:31 , 13-Сен-18, (32) Facebook открыл код распределённой системы хранения LogDevic..., captcha 20168 (?), 12:08 , 13-Сен-18, (5) –1 // сейчас тебе расскажут, что в пихоне с инпутом оутпутом все равно работает сишный, Аноним (3), 12:10 , 13-Сен-18, (6) –3 Какой хороший вброс Он мне по душе , Попугай Кеша (?), 12:24 , 13-Сен-18, (8) +4 // Это выброс Очевидно же , Аноним (61), 22:37 , 14-Сен-18, (61) Лучше на asm, logo.sys (?), 12:42 , 13-Сен-18, (13) // Не лучше, тут лучше на Си Я в свое время делал турбореактивный обработчик посту, Аноним (-), 14:47 , 13-Сен-18, (24) // Ну и как у них решение по сравнению с вашим Выше ерешние в откуытом доступе , Аноним (32), 16:32 , 13-Сен-18, (34) +1 На Турбо-Си Борланд крут , A.Stahl (ok), 18:08 , 13-Сен-18, (39) +2 в трубу этот си , Sw00p aka Jerom (?), 22:45 , 13-Сен-18, (49) Потому что продакшн-решение для хайлоада , Crazy Alex (ok), 12:47 , 13-Сен-18, (14) +2 // их разьве не на пихоне обычно делают - а, простите, на пихоне пишут файловые , нах (?), 13:06 , 13-Сен-18, (16)   // Для себя, для домашнего применения соответственно, небольшие нагрузки - без пр, Crazy Alex (ok), 13:45 , 13-Сен-18, (19)   а время для себя у тебя бесплатное, да мне вот как раз для себя хочется 10g свит, нах (?), 14:40 , 13-Сен-18, (22)   Ну вот потому и питоны всякие а потому что пишешь на том, что и так знаешь, а н, Crazy Alex (ok), 16:28 , 13-Сен-18, (29)   И наручниками того, кто такое пишет и такими критериями руководствуется, дома к , Аноним (25), 15:18 , 13-Сен-18, (25) –2   А тебе плеточку выдать, чтобы мог объяснить всю глубину заблуждения и замотивиро, Аноним (26), 15:33 , 13-Сен-18, (26) +3   надеюсь что это были твои последние потуги что-то пытаться возразить более интел, Аноним (-), 16:13 , 13-Сен-18, (28) –2   ИтнеллеХт и аргументационная мощща прям таки и прет , Аноним (26), 17:18 , 13-Сен-18, (36) +1   а зачем приковывать - он и так никуда не выйдет, счас-счас-счас, оно досинхрони, нах (?), 16:28 , 13-Сен-18, (30) +1   Пример Есть тысяча файлов, по 20 мегабайт каждый Будет там разница в скорости , Crazy Alex (ok), 16:34 , 13-Сен-18, (35)   Будет Мы, анонимы точно знаем, как офигительно быстро FUSE ведь оно на сях, че, Аноним (26), 17:22 , 13-Сен-18, (37)   поищите на досуге ранние тесты производительности ntfs-3g Они, по-моему, сохран, пох (?), 21:46 , 13-Сен-18, (44) –1   https web archive org web 20080516235826 http www csamuel org 2007 04 25 com, Аноним (26), 22:21 , 13-Сен-18, (48)   не, это не то, это когда уже успели линуксное ядро пооптимизировать Ищите 2004, нах (?), 12:04 , 14-Сен-18, (56)   В смысле, на тему разницы и порядков величин , когда оно не упирается в IO ноут, Аноним (26), 13:54 , 14-Сен-18, (59)   А ты не охренел Я как-то всегда считал, что если человек что-то сделал для себя , Crazy Alex (ok), 16:32 , 13-Сен-18, (33) +3   не, ну еще поржать могут Не всегда по-дружески В случае zero как раз этот вариа, пох (?), 21:47 , 13-Сен-18, (45) –1   В случае zero у кого-то подгорело, что обидели webdav Ну и аллергия на питон об, Crazy Alex (ok), 00:17 , 14-Сен-18, (50)   Потому что в Facebook разработчики, тьфу-тьфу, не больны на всю девопсину , Аноним (42), 21:00 , 13-Сен-18, (42) +1 Фишка в том что написанный на C код можно забиндить к любому другому языку Че, proninyaroslav (ok), 21:52 , 13-Сен-18, (46) +1 // C C по факту еще и самый интероперабельный язык, на уровне прямых библиотечных, Вареник (?), 04:35 , 15-Сен-18, (62) Perl наше все, Аноном (?), 06:33 , 14-Сен-18, (52) Потому что А попробуй так на питоне данные пожевать, узнаешь много нового как та, Аноним (-), 18:32 , 27-Сен-18, (64) Семантику exect once поддерживает , Аноним (7), 12:15 , 13-Сен-18, (7) +1 // exect once не поддерживает точно , уася (?), 15:04 , 14-Сен-18, (60) +1 а фильтровать логи при просмотре как они предлагают , Аноним (9), 12:27 , 13-Сен-18, (9) // Ты где-то видел в новости строки про чтение или просмотр Русским же по белому , Vitaliy Blats (?), 20:00 , 13-Сен-18, (41) +1 // Могу предложить новое хранилище dev null, Аноним (53), 09:00 , 14-Сен-18, (53) // он у вас не шардится, не параллелится, и производительность под вопросом , нах (?), 12:06 , 14-Сен-18, (57) Как не параллелится Запустил копирование туда всех файлов на 10 компьютерах, ра, Аноним (-), 18:35 , 27-Сен-18, (65) А бюджет IT отдела под что выбивать Как объяснить что новый датацентр ежемесячн, Вареник (?), 04:37 , 15-Сен-18, (63) там что даже индексов нету , MPEG LA (ok), 12:34 , 13-Сен-18, (10) // Нету Оно для хранения и потокового анализа разобрал, оценил, по необходимости , Аноним (42), 09:30 , 14-Сен-18, (54) Неудаляемые значит А как же GDPR , logo.sys (?), 12:41 , 13-Сен-18, (12) +2 // все норм, там не сказано что мы обязаны это удалять - сказано что мы должны вас , мордокнига (?), 13:04 , 13-Сен-18, (15) +2 // явно сказано По запросу должно быть всё удалено, причём имеют право запросить п, Аноним (20), 13:59 , 13-Сен-18, (20) // Так вам подтвердят, что удалили Могут даже диплом с большой собачьей медалью вы, Василий Топоров (?), 15:57 , 13-Сен-18, (27) +2 эммм, мы конечно рады что вы так думаете, но один ирландский парнишка оказался п, мордокнига (?), 16:30 , 13-Сен-18, (31) Для этого есть правохранительный органы Если лицо, которое обратилось, имеет со, Аноним (11), 22:14 , 13-Сен-18, (47) +1 Продемонстрируют, что хранят только обезличенные логи, вот эти 64 байта - это sh, KonstantinB (ok), 06:17 , 14-Сен-18, (51) Там же реализовано так же как в гугль аналитике, 90 дней и все логи на помойку , Аноним (43), 21:40 , 13-Сен-18, (43) Единственная польза, которую данная сосалка рпиносит человечеству - открытые код, Аноним (55), 11:28 , 14-Сен-18, (55) // а можно вместо этого саму идею oom в ее линуксной реализации вынести , Enter price (?), 12:08 , 14-Сен-18, (58) 2,7,9,10,12,55

Сообщения

[Сортировка по времени | RSS]

	16. "Facebook открыл код распределённой системы хранения LogDevic..."	+/–
	Сообщение от нах (?), 13-Сен-18, 13:06
	их разьве не на пихоне обычно делают? ;-) (а, простите, на пихоне пишут файловые системы)
	Ответить | Правка | Наверх | Cообщить модератору

	19. "Facebook открыл код распределённой системы хранения LogDevic..."	+/–
	Сообщение от Crazy Alex (ok), 13-Сен-18, 13:45
	Для себя, для домашнего применения (соответственно, небольшие нагрузки) - без проблем хоть питон, хоть бейсик, если ты о Zero и подобных. Единственный критерий - удобство того, кто пишет (и сам же потом будет пользоваться). И было бы неплохо, чтобы с энтерпрайзами такие штуки (фактически - слегка переросшие скрипты домашней автоматизации, которыми решили поделиться с другими людьми) не путали - требования совсем другие.
	Ответить | Правка | Наверх | Cообщить модератору

	22. "Facebook открыл код распределённой системы хранения LogDevic..."	+/–
	Сообщение от нах (?), 13-Сен-18, 14:40
	а время для себя у тебя бесплатное, да? мне вот как раз для себя хочется 10g свитч с fcoe - потому что себя жалко (и провода короткие и дорогие). А менеджеры - "еще подождут".
	Ответить | Правка | Наверх | Cообщить модератору

	29. "Facebook открыл код распределённой системы хранения LogDevic..."	+/–
	Сообщение от Crazy Alex (ok), 13-Сен-18, 16:28
	Ну вот потому и питоны всякие: а) потому что пишешь на том, что и так знаешь, а не изучаешь "идеальный" язык б) пишешь ровно так, как тебе надо - без излишней сложности там, где она не нужна. В том числе не пытаясь экономить там, где нет (у тебя!) узких мест
	Ответить | Правка | Наверх | Cообщить модератору

	25. "Facebook открыл код распределённой системы хранения LogDevic..."	–2 +/–
	Сообщение от Аноним (25), 13-Сен-18, 15:18
	> для домашнего применения ... Единственный критерий - удобство того, кто пишет И наручниками того, кто такое пишет и такими критериями руководствуется, дома к батарее приковать, чтобы с таким подходом к делу из дома не мог выйти.
	Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

	26. "Facebook открыл код распределённой системы хранения LogDevic..."	+3 +/–
	Сообщение от Аноним (26), 13-Сен-18, 15:33
	>> для домашнего применения ... Единственный критерий - удобство того, кто пишет > И наручниками того, кто такое пишет и такими критериями руководствуется, дома к > батарее приковать, чтобы с таким подходом к делу из дома не мог выйти. А тебе плеточку выдать, чтобы мог объяснить всю глубину заблуждения и замотивировать сделать правильно? Кстати, надеюсь, бутерброт колбасой на язык кладешь?
	Ответить | Правка | Наверх | Cообщить модератору

	28. "Facebook открыл код распределённой системы хранения LogDevic..."	–2 +/–
	Сообщение от Аноним (-), 13-Сен-18, 16:13
	> бутерброт надеюсь что это были твои последние потуги что-то пытаться возразить более интеллектуальным лицам
	Ответить | Правка | Наверх | Cообщить модератору

	36. "Facebook открыл код распределённой системы хранения LogDevic..."	+1 +/–
	Сообщение от Аноним (26), 13-Сен-18, 17:18
	> И наручниками того … к батарее приковать > потуги что-то пытаться возразить более интеллектуальным лицам ИтнеллеХт и аргументационная мощща прям таки и прет!
	Ответить | Правка | Наверх | Cообщить модератору

	30. "Facebook открыл код распределённой системы хранения LogDevic..."	+1 +/–
	Сообщение от нах (?), 13-Сен-18, 16:28
	а зачем приковывать - он и так никуда не выйдет, "счас-счас-счас, оно досинхронизирует..."
	Ответить | Правка | К родителю #25 | Наверх | Cообщить модератору

	35. "Facebook открыл код распределённой системы хранения LogDevic..."	+/–
	Сообщение от Crazy Alex (ok), 13-Сен-18, 16:34
	Пример. Есть тысяча файлов, по 20 мегабайт каждый. Будет там разница в скорости синхронизации между питоном и сями да хоть и на сотне мегабит?
	Ответить | Правка | Наверх | Cообщить модератору

	37. "Facebook открыл код распределённой системы хранения LogDevic..."	+/–
	Сообщение от Аноним (26), 13-Сен-18, 17:22
	> Пример. Есть тысяча файлов, по 20 мегабайт каждый. Будет там разница в > скорости синхронизации между питоном и сями да хоть и на сотне мегабит? Будет! Мы, анонимы точно знаем, как офигительно быстро FUSE (ведь оно на сях, че там тормозить может-то?). Но вам не покажем, потому что на питоне делать не труЪ (это мы слышали сто раз от других 3,5 анонимов и прилежно повторили, а значит это правда!), а на сях мы не умеем^W хотим, ведь нам не нужно!
	Ответить | Правка | Наверх | Cообщить модератору

	44. "Facebook открыл код распределённой системы хранения LogDevic..."	–1 +/–
	Сообщение от пох (?), 13-Сен-18, 21:46
	поищите на досуге ранние тесты производительности ntfs-3g. Они, по-моему, сохранились уже только в виде копипасты, но их много накопипастили, гугль найдет. fuse там дала прогадиться так, что Линус и компания в панике перерыли код ext2/3 (устранив таки приличное количество узких мест) - конечно не потому, что их переплюнула, но потому, что на некоторых операциях умудрилась дать тот же порядок величины - чего быть было не должно никак и никогда (если бы ext3 не писалась методом латания дыр) А автор так, с политкорректной миной "...вообще-то...ну...я еще дебаг у себя не отключил..." (замеров с отключенным так никто и не рискнул проводить, но вот вам свеженькое, хотя и не линукс: # tar cf - * | team 16m | tar -C /mnt/c/microsd -xvf -                           ...                                                                             8632910 kilobytes, 342 seconds                                                   - уперлось во вполне себе in-kernel mirror на том конце где c - при том что это запись/создание мелких файликов, оно у ntfs медленное by design, а тут еще и context-switching, с модным kpti, поди ;-) к сожалению, победа так и осталась единственной. fuse-exfat непередаваемо тормозное и недоделанное (не понимает кодировок, отличных от utf8) дерьмо, спасибо самсуню за работающий .ko. zfs-fuse (заметим, там только posix layer fs, нижний уровень был в ядре) не только тормозила, а еще и падала без конца. fuse-dav однотредовая. Просто некоторые и на си пишут какашку, да еще и не хотят ее отлаживать "это ж fuse, оно всегда тормозит".
	Ответить | Правка | Наверх | Cообщить модератору

	48. "Facebook открыл код распределённой системы хранения LogDevic..."	+/–
	Сообщение от Аноним (26), 13-Сен-18, 22:21
	> поищите на досуге ранние тесты производительности ntfs-3g. Они, по-моему, сохранились уже только в виде копипасты, но их много накопипастили, гугль найдет. https://web.archive.org/web/20080516235826/http://www.csamue.../ > fuse там дала прогадиться так, что Линус и компания в панике перерыли > код ext2/3 (устранив таки приличное количество узких мест) - конечно не Берем шаблонный хелловрот для фузе, тупо отдающий файл c tmpfs. Можно даже нагуглить "со всеми оптимизациями". Сравниваем с tmpfs, чешем репу. То, что оно на харде вполне может быть сопоставимо с нативом, никто не спорит, но попытка прокачивать большие файлы будет обломна (пару лет назад пытался свелосипедить мульти-медиа ФС на базе фузе - прилетела птица обломинго). > 8632910 kilobytes, 342 seconds > - уперлось во вполне себе in-kernel mirror на том конце где c > - при том что это запись/создание мелких файликов, оно у ntfs > медленное by design, а тут еще и context-switching, с модным kpti, поди ;-) ; 8632910/342/1024     ~24.65080752010233918129 25 MB/s - очешуительная скорость, ага. Особенно когда распаковываешь с NTFS-изошки на SSD в натив (тоже SSD). Оно, кстати, при монтировании без max_read еще и после пары десятков тысяч файлов зависнуть норовит.
	Ответить | Правка | Наверх | Cообщить модератору

	56. "Facebook открыл код распределённой системы хранения LogDevic..."	+/–
	Сообщение от нах (?), 14-Сен-18, 12:04
	> https://web.archive.org/web/20080516235826/http://www.csamue... не, это не то, это когда уже успели линуксное ядро пооптимизировать. Ищите ~2004й, где сравнивали ext3 vs ntfs, до оптимизаций. Я, увы, хз как искать, не потрудился сохранить. > Сравниваем с tmpfs, чешем репу. в смысле, на тему нахрена мы это ненужное ненужно сделали и что делать с этим результатом? > То, что оно на харде вполне может быть сопоставимо с нативом, никто не спорит да? То есть то что все эти танцы с бубном вокруг vfs да еще и двойной контекст-свитчинг на каждой операции остаются сопоставимы с native, а не оказываются раз в десять тормознее, это, типа, нормально, так и должно быть? Нууу, ооок... Может тогда и на пихоне у ребят выйдет неплохо. > 25 MB/s - очешуительная скорость, ага. оно больше не шмагло - уперлось в ядре. Или в возможности самой флэшки, что тоже вероятно. Нет, destination-то не ssd а собственно флэшка. source умел от 18 до 40 (поскольку странен) Хотя опять же - не самая быстрая по исходной задумке fs вообще, не самый хороший для нее usepattern в частности, и еще и fuse, причем в неродной для той системе через еще один местный костылик. Если бы все было как надо, оно бы уперлось в user cpu. Вот с davfs2 - у меня все как надо, ага. Причем в ядре без антипатчей производительности. Если бы я не знал всего что выше - я бы считал что "нуу, fuse, dav, оно ж не может в принципе нормально работать". оно и впрямь не должно, но вот exfat бы хотелось, ан, теми же руками и из того же сырья слеплено :-(
	Ответить | Правка | Наверх | Cообщить модератору

	59. "Facebook открыл код распределённой системы хранения LogDevic..."	+/–
	Сообщение от Аноним (26), 14-Сен-18, 13:54
	>> Сравниваем с tmpfs, чешем репу. > в смысле, на тему нахрена мы это ненужное ненужно сделали и что > делать с этим результатом? В смысле, на тему разницы и "порядков величин", когда оно не упирается в IO ноутбучного диска. >> То, что оно на харде вполне может быть сопоставимо с нативом, никто не спорит > да? То есть то что все эти танцы с бубном вокруг vfs > да еще и двойной контекст-свитчинг на каждой операции остаются сопоставимы с > native, а не оказываются раз в десять тормознее, это, типа, нормально, Да? Оно уже не жрет на это дело в десять раз больше CPU, чтобы дать "дать тот же порядок величины"? Ну оок. >> 25 MB/s - очешуительная скорость, ага. > оно больше не шмагло - уперлось в ядре. > ... > ource умел от 18 до 40 (поскольку странен) > ... > fuse, причем в неродной для той системе через еще один местный > костылик. Если бы все было как надо, оно бы уперлось в > user cpu. Вот с davfs2 - у меня все как надо, > ага. Причем в ядре без антипатчей производительности. Издеваетесь?
	Ответить | Правка | Наверх | Cообщить модератору

	33. "Facebook открыл код распределённой системы хранения LogDevic..."	+3 +/–
	Сообщение от Crazy Alex (ok), 13-Сен-18, 16:32
	А ты не охренел? Я как-то всегда считал, что если человек что-то сделал для себя и поделился с другими - то ему либо "спасибо" говорят, если пригодилось, либо игнорируют, если не нужно. Ну можно ещё предложить что-то изменить, с пониманием того, что не факт, что автор это дело примет, и это его право. А тут кто-то решил, что автор ему обязан?
	Ответить | Правка | К родителю #25 | Наверх | Cообщить модератору

	45. "Facebook открыл код распределённой системы хранения LogDevic..."	–1 +/–
	Сообщение от пох (?), 13-Сен-18, 21:47
	не, ну еще поржать могут. Не всегда по-дружески. В случае zero как раз этот вариант. а мордокнигу придется игнорировать - не потому что плохо, а потому что неудачная для меньших чем мордокнига целей конструкция.
	Ответить | Правка | Наверх | Cообщить модератору

	50. "Facebook открыл код распределённой системы хранения LogDevic..."	+/–
	Сообщение от Crazy Alex (ok), 14-Сен-18, 00:17
	В случае zero у кого-то подгорело, что обидели webdav. Ну и аллергия на питон обострилась, без попыток понять, годится ли он в конретном случае и какие задачи им пытаются решать.
	Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема