forum.opennet.ru

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Оглавление

Компания Bloomberg открыла код распределённой СУБД Comdb2, opennews (ok), 10-Июн-17, (0) [смотреть все]

Подытожим, компания создала sqlite кластер , кверти (ok), 11:43 , 10-Июн-17, (1) –6 //

Нет, но некоторые части уже явно надо менять Например BerkeleyDB на RocksDB, Аноним (-), 11:46 , 10-Июн-17, (2) +2 //

Да ты что Вот так новость прочитал, и сразу понял, что нужно менять А бедные пр, funny.falcon (?), 12:43 , 11-Июн-17, (33) +7 //

не приходит в голову, что потому и открыли, что проекту 13 лет , Аноним (-), 22:01 , 11-Июн-17, (46) +5

RocksDB уже умеет secondary databases Чтобы быть базой данных, а не только назыв, adolfus (ok), 15:10 , 12-Июн-17, (54) –1 //

по теории СУБД-строения - нет Этот список не требуется СУБД обязана предостави, Аноним (-), 16:16 , 12-Июн-17, (55) +4

Господа, я идею заберу, ни кто не против , kleem_head (?), 02:40 , 11-Июн-17, (23) //

Только верни, когда наиграешься , Аноним (-), 10:31 , 11-Июн-17, (32) +6
бери, бери - только сделай уже нормально В 2004м году возможно у гениев блумбер, нах (?), 14:09 , 11-Июн-17, (38) –2

В кои-то веки реляционка с тривиально разворачиваемым кластером, реально работаю, Crazy Alex (ok), 14:45 , 10-Июн-17, (3) +6 //

Просто этот проект еще из той эпохи когда интернет был истинно свободным и про, Аноним (-), 15:35 , 10-Июн-17, (4) +8 //

трава зеленее и далее по списку Сишникам никто и сейчас не мешает писать вун, Аноним (-), 18:54 , 10-Июн-17, (6) –2 //

Предлагаешь поднять таки пенсионный возраст А у молодежи на жаба-скрипте и субд , ананим.orig (?), 19:53 , 10-Июн-17, (8) –1

Не совсем понял как связан пенсионный возраст с засильем веб-макак Какие предпо, Аноним (-), 09:34 , 11-Июн-17, (31) –1

Ну а я то откуда знаю что вы там не совсем понимаете Если вам интересны макаки, , ананим.orig (?), 14:25 , 11-Июн-17, (39)

Сам придумал, сам опроверг Молодец Я говорил, что при возможности выбора или вз, Аноним (-), 17:59 , 11-Июн-17, (44)

Кого Макак Да вам даже не модератор, вам доктор нужен ЗыжВы новость то читали В, ананим.orig (?), 19:52 , 11-Июн-17, (45)

С дислексией рекомендую вам обратиться к профильному специалисту Самолечение по, Аноним (-), 07:56 , 12-Июн-17, (48)

Могучий сишник в курсе что например fts у энаписанной на си монго в сотни и тыся, лютый жабист__ (?), 06:10 , 12-Июн-17, (47) –4

Лично у тебя проблемы с головой Люди посерьезнее совсем тебя не воспринимают, д, Аноним (-), 08:49 , 12-Июн-17, (49) +3
Ты плохо понимаешь откуда берется 2 тыс запросов на запись в секунду Эти 2 тыс, Аноним (-), 10:01 , 12-Июн-17, (50) +2

Fsync не гарантия записи в схд Шах и мат экспертушка опеннета А гарантировать , лютый жабист__ (?), 12:56 , 12-Июн-17, (52) –1

Как бы анон писал про то что ты не понял, но поспешил ответить на другое На слов, Другой аноним. (?), 13:23 , 12-Июн-17, (53) +1
Хорошо, что ты это знаешь, только вот у тебя пробелы в знаниях Приложение не мо, Аноним (-), 22:01 , 12-Июн-17, (56)

Ну и слава БГ, что не стал, незачем опеннет замусоривать Я не фанат и гуру по рс, лютый жабист__ (?), 09:37 , 13-Июн-17, (57) –1

Теперь я понял что у жабиста про кластеры довольно примитивное представление и в, Другой аноним. (?), 14:09 , 13-Июн-17, (61) +1
Иди пиши, хватит трындеть какой ты крутой, какая жаба крутая Глядишь гугл тебя , Аноним (-), 21:15 , 13-Июн-17, (63) +1

Если гугл не купит, то кингстоны с корсарами наверняка проспонсируют , Аноним (-), 23:57 , 13-Июн-17, (66)

Расскажи, каким образом ACID накладывает ограничение в 2к записей в секунду Что, Аноним (-), 16:06 , 13-Июн-17, (62)

Где и что не ускоряет Все очень хорошо ускоряет, просто отсчет ведется обычно в, Аноним (-), 21:33 , 13-Июн-17, (64)

Ловко ты проигнорировал основной вопрос и нагнал шизофазии в ответ на дополнение, Аноним (-), 00:05 , 14-Июн-17, (67)

1 Читаем определение https ru wikipedia org wiki ACID2 Читаем pdf-файл, что, Аноним (-), 16:38 , 14-Июн-17, (70)

Нет За тебя искать пруфы заведомо ложного утверждения я не буду Эта задача давн, Аноним (-), 01:59 , 15-Июн-17, (71)
Правильне будет сказать решена для частных случаев чтобы не выглядело как буде, Другой аноним. (?), 07:26 , 15-Июн-17, (72)
О каких случаях речь Эти алгоритмы могут реплицировать wal, что достаточно для , Аноним (-), 10:47 , 15-Июн-17, (76)
В comdb2 WAL флешится раз в 10 секунд WAL нельзя реплицировать по нодам, т к н, Аноним (-), 21:34 , 15-Июн-17, (79)
Лол А авторы этой комдб не знают и реплицируют И все реплицируют , Аноним (-), 22:25 , 15-Июн-17, (81) +1
И еще, ты упустил момент про ACID Что будет если одна нода передаст другой ноде, Аноним (-), 21:45 , 15-Июн-17, (80)
Почитал я эту статью, а там не 2к записей в секунду, а 20к Уже похоже на правду, Аноним (-), 20:26 , 15-Июн-17, (77)
На SSD Сравни с этим уже давал линк https web archive org web 201408092044, Аноним (-), 21:32 , 15-Июн-17, (78) –1

Честно говоря, если оно реально использовалось лет десять, просто разворачиваетс, Crazy Alex (ok), 19:00 , 10-Июн-17, (7) –7 //

Да-да-да а как до дела доходит, то 70 на сях, 10 на асм-вставках, 10 вообщ, ананим.orig (?), 19:58 , 10-Июн-17, (9)

Если ты не понял - речь о том, что если штука соответствует требованиям - то поф, Crazy Alex (ok), 20:45 , 10-Июн-17, (10) –2

Вот для того, чтобы штука соответствовала требованиям, надо крепко подумать, на , Аноним (-), 21:07 , 10-Июн-17, (11)

Это если ТЫ начинаешь что-то писать А если выбираешь среди уже написанного кем-, Crazy Alex (ok), 21:46 , 10-Июн-17, (13)

Правильно Важен интерфейс Но и ты тогда определись 8212 ты манагер или инжен, ананим.orig (?), 22:03 , 10-Июн-17, (16) +1

Ты всерьёз предлагаешь для своего проекта писать с нуля всё, начиная от операцио, Crazy Alex (ok), 00:47 , 11-Июн-17, (21)

Ясно Эффективный манагер ЗыжИнженер при подборе должен быть заинтересован во вс, ананим.orig (?), 06:24 , 11-Июн-17, (26) +2

Не Просто не то чтобы совсем кодер И именно о заинтересованновсти во всех аспе, Crazy Alex (ok), 13:59 , 11-Июн-17, (37)

А кто о кодерах вообще говорил Ты инженера с маркетинговыми курсами не попутал, , ананим.orig (?), 14:40 , 11-Июн-17, (40)

Если требования вида до 1000 запросов в минуту , то да Если требования как мо, Аноним (-), 21:39 , 10-Июн-17, (12)

Вот такие хотелки - один из признаков плохо поставленной задачи и дальнейших про, Crazy Alex (ok), 21:54 , 10-Июн-17, (14) –1

Что не отменяет того факта, что на абы-скрипте ты в принципе не можешь поставить, ананим.orig (?), 22:10 , 10-Июн-17, (17)

Вот как раз менеджеры от айти отлично понимают, что такую задачу в принципе став, Crazy Alex (ok), 00:39 , 11-Июн-17, (19) –1

Думаете, те, кто пишут БД на яваскрипте, в самом деле оценивают стоимость владен, Аноним (-), 00:54 , 11-Июн-17, (22)

Те, кто соответствующего уровня - вполне Только там соображения могут быть не с, Crazy Alex (ok), 04:37 , 11-Июн-17, (24) +2

Ну и не те, что Вы тут впариваете А блин гейтс лучше всех выразил 8212 ес, ананим.orig (?), 06:45 , 11-Июн-17, (28)
джаваскипт будет просто еще одним языком в сонме языков, компилируемых в WebAsse, Очередной аноним (?), 11:06 , 13-Июн-17, (59) –1
Ты это кого сейчас разработчиком обозвал , Led (ok), 22:43 , 13-Июн-17, (65)

Зато они отлично это применяют потом когда нужно во-время свалить в кусты Как , ананим.orig (?), 06:37 , 11-Июн-17, (27)

Нет, дорогой Или для тебя лид, софтовый архитектор или проектировщик решений - , Crazy Alex (ok), 13:48 , 11-Июн-17, (36) +1

Из конторы по распилу бобра Ну так тебе и кончита 8212 брутальный мужик Ту, ананим.orig (?), 14:49 , 11-Июн-17, (41) –1

1 А я возражал 2 Главное Это ты не понял А посыл такой 8212 на чем бы тв не, ананим.orig (?), 22:01 , 10-Июн-17, (15) –1

Сабж - база данных К системному вообще ни малейшего отношения не имеет, как и, Crazy Alex (ok), 00:45 , 11-Июн-17, (20) –3

Именно А это 8212 смотря что хранить собираешься Что и как Трудно представит, ананим.orig (?), 07:07 , 11-Июн-17, (29)

ЗыжТак, для академического интереса поинтересуйся про bdb в ядре у гугла https, ананим.orig (?), 07:20 , 11-Июн-17, (30)

Ну ок, ты продемострировал, что скрипты таки можно в ядро засунуть Это экзотика, Crazy Alex (ok), 13:34 , 11-Июн-17, (34)

Да нахрен мне тебе что-то доказывать Ты, батенька, где-то берега попутал 8212 , ананим.orig (?), 14:57 , 11-Июн-17, (42)

Кхх, ещё один Прогнозируемое время отклика латентность говорит о прогрнозируе, Crazy Alex (ok), 13:39 , 11-Июн-17, (35)

Используют, хотя может быть мало таких горячих парней и базы там особенные QN, Очередной аноним (?), 13:32 , 13-Июн-17, (60)

Забавно, а за что минус Неправда написана или приравняли к рекламе , Очередной аноним (?), 08:10 , 14-Июн-17, (68) –1

А вот лично я бы посмотрел, что и как вебмакаки сваяют на прологе И вообще, что, Аноним (-), 15:45 , 11-Июн-17, (43) +2

Осталось только это продемонстрировать, например здесь http benchmarksgame ali, angra (ok), 00:36 , 11-Июн-17, (18) +3

Дык джентльменам верят на слово же - , . (?), 06:08 , 11-Июн-17, (25)

Угу, на JS, у которого нет НИКАКОГО управления памятью В момент высоких нагрузо, Аноним (-), 10:22 , 12-Июн-17, (51) +3

Очень смущает BerkeleyDB со своей лицензией в сырцах этой БД По ней вы должны от, mkv (?), 10:03 , 13-Июн-17, (58) //

Там очень старая версия https github com bloomberg comdb2 blob master berkdb , 123 (??), 13:04 , 14-Июн-17, (69) –1

Каким образом Волшебным Все равно будет какой то промежуток когда где-то данные, Аноним (-), 10:36 , 15-Июн-17, (73) –1 //

Пока данные не разойдутся по всем узлам, коммит не будет подтверждён и операция , Аноним (-), 10:45 , 15-Июн-17, (74) +1
Читаем внимательно - транзакция идет на всех кластерах одновременно Пока на все, 123 (??), 10:46 , 15-Июн-17, (75)

Сообщения [Сортировка по времени | RSS]

6. "Компания Bloomberg открыла код распределённой СУБД Comdb2" –2 +/–

Сообщение от Аноним (-), 10-Июн-17, 18:54

...трава зеленее и далее по списку. Сишникам никто и сейчас не мешает писать вундервафли, просто за это не платят. Если есть возможность обойтись толпой веб-макак, докупив железа - так и сделают, потому что быстрее.

Ответить | Правка | Наверх | Cообщить модератору

8. "Компания Bloomberg открыла код распределённой СУБД Comdb2" –1 +/–

Сообщение от ананим.orig (?), 10-Июн-17, 19:53

>...трава зеленее и далее по списку. Сишникам никто и сейчас не мешает писать
Предлагаешь поднять таки пенсионный возраст?
А у молодежи на жаба-скрипте и субд соответствующие.

Ответить | Правка | Наверх | Cообщить модератору

31. "Компания Bloomberg открыла код распределённой СУБД Comdb2" –1 +/–

Сообщение от Аноним (-), 11-Июн-17, 09:34

Не совсем понял как связан пенсионный возраст с засильем веб-макак. Какие предпосылки есть к тому, что заказчик побежит массово переписывать всё обратно на си?
Ну разве что EROI оставшейся нефти/газа поднимется выше единицы лет через 30, тогда может и задумаются об эффективности использования железа.

Ответить | Правка | Наверх | Cообщить модератору

39. "Компания Bloomberg открыла код распределённой СУБД Comdb2" +/–

Сообщение от ананим.orig (?), 11-Июн-17, 14:25

> Не совсем понял как связан пенсионный возраст с засильем веб-макак.
Ну а я то откуда знаю что вы там не совсем понимаете?
Если вам интересны макаки, это не значит что нужно комментить о них в ветку про си.

Ответить | Правка | Наверх | Cообщить модератору

44. "Компания Bloomberg открыла код распределённой СУБД Comdb2" +/–

Сообщение от Аноним (-), 11-Июн-17, 17:59

> Если вам интересны макаки
Сам придумал, сам опроверг. Молодец.
Я говорил, что при возможности выбора или взять макак+железа или взять сишников, макаки+железо выиграют по скорости написания кода и выдачи гoвнoпродукта. Кoпpоэкономика в действии. Предпосылок для разворота тренда обратно в сторону сишников (например железо или энергия резко и кратно подорожали) сейчас пока нет. Может застанем, может не доживём. Может вообще по третьему пути пойдёт - допилят какой-нибудь D или Go--

Ответить | Правка | Наверх | Cообщить модератору

45. "Компания Bloomberg открыла код распределённой СУБД Comdb2" +/–

Сообщение от ананим.orig (?), 11-Июн-17, 19:52

>> Если вам интересны макаки
> Сам придумал, сам опроверг. Молодец.
Кого? Макак?
Да вам даже не модератор, вам доктор нужен.
Зыж
> Предпосылок для разворота тренда обратно в сторону сишников...
Вы новость то читали?
В каком месте тут ваши макаки?

Ответить | Правка | Наверх | Cообщить модератору

48. "Компания Bloomberg открыла код распределённой СУБД Comdb2" +/–

Сообщение от Аноним (-), 12-Июн-17, 07:56

С дислексией рекомендую вам обратиться к профильному специалисту. Самолечение по форумам опасно.

Ответить | Правка | Наверх | Cообщить модератору

47. "Компания Bloomberg открыла код распределённой СУБД Comdb2" –4 +/–

Сообщение от лютый жабист__ (?), 12-Июн-17, 06:10

Могучий сишник в курсе что например fts у энаписанной на си монго в сотни и тысячи раз тормознее fts lucene писанной на жабе? И читая про ТТХ этой субд с записью 2килореквеста в сек хочется только ржать навзрыд. Лично у меня наоборот писатель на си в 2017 году строго ассоциируется с макакой. Времена си давно прошли (в 2004 начинать проект на си было тоже бредом). Так что тимлид-маразматик и в блумберге маразматик, хоть и в кабинете сидит, возможно не в лондоне, а бомбее 8)

Ответить | Правка | К родителю #31 | Наверх | Cообщить модератору

49. "Компания Bloomberg открыла код распределённой СУБД Comdb2" +3 +/–

Сообщение от Аноним (-), 12-Июн-17, 08:49

> Лично у меня наоборот писатель на си в 2017 году строго ассоциируется
Лично у тебя проблемы с головой. Люди посерьезнее совсем тебя не воспринимают, даже в качестве клоуна.

Ответить | Правка | Наверх | Cообщить модератору

50. "Компания Bloomberg открыла код распределённой СУБД Comdb2" +2 +/–

Сообщение от Аноним (-), 12-Июн-17, 10:01

>И читая про ТТХ этой субд с записью 2килореквеста в сек хочется только ржать навзрыд.
Ты плохо понимаешь откуда берется 2 тыс. запросов на запись в секунду. Эти 2 тыс. запросов ГАРАНТИРОВАННО записаны в файл БД с учетом прохода через все пункты ACID. Ответ отдается никогда запись появилась в журнале, никогда она еще находится в ОЗУ, а именно на 100% записана в файл БД.
Вот теперь ты скажи, откуда в Lucene такая скорость? В какой момент БД дает ответ, что "я записалось"? Или ты не знаешь архитектуру своей любимой БД? Ну, так иди прокачай скил, а мы с интересом тебя послушаем.
Единственная БД, где имеется отличия в данном вопросе это lmdb: https://web.archive.org/web/20140809204443/http://symas.com/.../
Ищи параграф "C. Sequential Writes" и утрись. Никаких сотен тысяч записей нет, если решать _конкретную_ задачу. Сотни и миллионы записей это цифры для _других_ задач, где НЕ требуется дергать fsync на каждый чих, а вместо этого просто добавлять/удалять реплики. Если ты не понимаешь зачем это нужно comdb2, то я очень рад, т.к. ты никогда не окажешься в бизнесе, где скорость стоит на 100500 месте.

Ответить | Правка | К родителю #47 | Наверх | Cообщить модератору

52. "Компания Bloomberg открыла код распределённой СУБД Comdb2" –1 +/–

Сообщение от лютый жабист__ (?), 12-Июн-17, 12:56

Fsync не гарантия записи в схд. Шах и мат экспертушка опеннета. А гарантировать запись в распределенную систему могу легко с 20 и 200килореквестами в сек лехко и без си

Ответить | Правка | Наверх | Cообщить модератору

53. "Компания Bloomberg открыла код распределённой СУБД Comdb2" +1 +/–

Сообщение от Другой аноним. (?), 12-Июн-17, 13:23

Как бы анон писал про то что ты не понял, но поспешил ответить на другое.
> А гарантировать запись в распределенную систему могу легко с 20 и 200килореквестами в сек лехко и без си
На словах - можешь, а на деле - нет.

Ответить | Правка | Наверх | Cообщить модератору

56. "Компания Bloomberg открыла код распределённой СУБД Comdb2" +/–

Сообщение от Аноним (-), 12-Июн-17, 22:01

>Fsync не гарантия записи в схд. Шах и мат экспертушка опеннета.
Хорошо, что ты это знаешь, только вот у тебя пробелы в знаниях. Приложение не может ничего гарантировать на аппаратном уровне, этим занимается железка и драйвер к ней. Есть еще один слой -- уровень FS, ты его тоже припишешь к приложению? Вобщем, твоя "победа" ничего не значит в поднятом вопросе.
>А гарантировать запись в распределенную систему могу легко с 20 и 200килореквестами в сек лехко и без си
Можешь, только гарантии, что даешь, ты абсолютно не понимаешь. Хотел расписать все по полочкам, потом понял, что выходит простыня, которую ты не осилишь. Вкратце все сводится к следующим вещам: как часто дергается fsync, какой тип репликации используется (асинхронная/не асинхронная) и, главное, устроит ли бизнес простой во время восстановления БД из бэкапов/журналов (что может занять часы), или максимум что устроит это перезапуск сервера и загрузка в течении 1-10 минут.
Изучай лучше внутренности Lucene, т.к. на вопрос ты так и не ответил.

Ответить | Правка | К родителю #52 | Наверх | Cообщить модератору

57. "Компания Bloomberg открыла код распределённой СУБД Comdb2" –1 +/–

Сообщение от лютый жабист__ (?), 13-Июн-17, 09:37

> Хотел расписать все по полочкам, потом понял
Ну и слава БГ, что не стал, незачем опеннет замусоривать.
Я не фанат и гуру по рсубд, но даже я вижу что ты мешаешь мух, коней и котлеты. Если кластер подтвердил транзакцию, уже вообще по барабану в REDO/WAL это упало или в базу. С их скоростью в 2ktps - WAL, REDOLOG и подобное будет накатываться при перезапуске просто мгновенно, т.к. в журнале от силы несколько тысяч записей.
Главный вопрос - почему у блумбергов весь кластер падает? Может и среди админов тоже сплошные маразматики?
Бэкапы ещё какие-то приплёл не в тему.
В чём сила этой поделки так и не ясно.
Я могу на жабке ЗА ПОЛДНЯ написать кластерный слой к любому количеству субд-нод. Скорость будет так же масштабироваться горизонтально на чтение и на запись скорость==скорости работы самого медленного узла. Чё тут 13 лет писать ума не приложу.

Ответить | Правка | Наверх | Cообщить модератору

61. "Компания Bloomberg открыла код распределённой СУБД Comdb2" +1 +/–

Сообщение от Другой аноним. (?), 13-Июн-17, 14:09

Теперь я понял что у жабиста про кластеры довольно примитивное представление и все кластеры у него как один. Поэтому он гребет под одно на одной ноте.

Ответить | Правка | Наверх | Cообщить модератору

63. "Компания Bloomberg открыла код распределённой СУБД Comdb2" +1 +/–

Сообщение от Аноним (-), 13-Июн-17, 21:15

>Я могу на жабке ЗА ПОЛДНЯ написать кластерный слой к любому количеству субд-нод. Скорость будет так же масштабироваться горизонтально на чтение и на запись скорость==скорости работы самого медленного узла. Чё тут 13 лет писать ума не приложу.
Иди пиши, хватит трындеть какой ты крутой, какая жаба крутая. Глядишь гугл тебя купит. Серьезно.

Ответить | Правка | К родителю #57 | Наверх | Cообщить модератору

66. "Компания Bloomberg открыла код распределённой СУБД Comdb2" +/–

Сообщение от Аноним (-), 13-Июн-17, 23:57

>>Я могу на жабке
> Глядишь гугл тебя купит. Серьезно.
Если гугл не купит, то кингстоны с корсарами наверняка проспонсируют.

Ответить | Правка | Наверх | Cообщить модератору

62. "Компания Bloomberg открыла код распределённой СУБД Comdb2" +/–

Сообщение от Аноним (-), 13-Июн-17, 16:06

Расскажи, каким образом ACID накладывает ограничение в 2к записей в секунду? Чтобы два раза не вставать, сразу ответь на вопрос, почему обработка записей батчами (накопили 100 записей, fsync'анули один раз, отчитались по всем, что записано) ничего не ускоряет.
Еще тебе правильно говорят, что fsync ничего не гарантирует на данный момент. Железка может дать сбой и хвост WAL'а пропадет, и никого не будет волновать, что "ну база же невиновата, она фсинк сделала". Всякие гуглы эту проблему решают синхронной репликацией в несколько железок и на fsync не полагаются.

Ответить | Правка | К родителю #50 | Наверх | Cообщить модератору

64. "Компания Bloomberg открыла код распределённой СУБД Comdb2" +/–

Сообщение от Аноним (-), 13-Июн-17, 21:33

> Расскажи, каким образом ACID накладывает ограничение в 2к записей в секунду? Чтобы
> два раза не вставать, сразу ответь на вопрос, почему обработка записей
> батчами (накопили 100 записей, fsync'анули один раз, отчитались по всем, что
> записано) ничего не ускоряет.
Где и что не ускоряет? Все очень хорошо ускоряет, просто отсчет ведется обычно в миллисекундах или тысячах записей, плюс тюнить надо всегда под задачу. Если у вас по 100к записей в секунду сыпится, то практичней sync дергать раз в секунду.
Кроме того, нужно отличать последовательные _транзакции_ от батч-инсерт/апдейтов, т.к. они по-разному обрабатываются. Если делать последовательно одну транзакцию, которая содержит один инсерт, то никакой прибавки скорости это не даст. И так в _любой_ БД.
И другой ньюанс, это размер батча. В батче на 100 записей, которые укладываются в 4кб прироста не будет, т.к. это уже уровень ОС. Попробуйте батчи по 100 записей по 100-1000кб, сразу будет видна разница.
> Еще тебе правильно говорят, что fsync ничего не гарантирует на данный момент.
> Железка может дать сбой и хвост WAL'а пропадет, и никого не
> будет волновать, что "ну база же невиновата, она фсинк сделала".
Я уже ответил, что проблема железки это не заботы приложения. Давайте сюда припишем сбои в рейд-массивах еще. А что, БД должна и об этом думать!
> Всякие гуглы эту проблему решают синхронной репликацией в несколько железок и на fsync не полагаются.
В блумберг тоже не дураки и comdb2 позиционируется как кластерная БД. Вы о чем? О том, что дергать постоянно fsync это глупо? А не глупо включать журнал, когда он не нужен? Между прочим в comdb2 журнал включается автоматом, когда одна из нод дохнет, чтобы она после восстановления все докатила. Да, это другой подход и что? У вас разрыв шаблона походу.
Поясню в последний раз, все БД делятся по классу задач, которые они способны решать. Некоторые предназначены для общего назначения, некоторые узкоспециализированные. Так вот, comdb2 не является БД общего назначения. И все ее минусы, компенсируются плюсами, за которые _всегда_ нужно платить. Не нравится? Валите в свой мускл, постгрес, оракл и т.д. и т.п.
Вот в этом документе есть сравнение с XtraDB Cluster: http://www.vldb.org/pvldb/vol9/p1377-scotti.pdf
Читайте, пытайтесь понять, что и зачем, потом ищи ответы.

Ответить | Правка | Наверх | Cообщить модератору

67. "Компания Bloomberg открыла код распределённой СУБД Comdb2" +/–

Сообщение от Аноним (-), 14-Июн-17, 00:05

Ловко ты проигнорировал основной вопрос и нагнал шизофазии в ответ на дополнение, выдернув его из контекста. Хорошо, я повторю:
>>>>> Расскажи, каким образом ACID накладывает ограничение в 2к записей в секунду? <<<<<
> Я уже ответил, что проблема железки это не заботы приложения.
А чья забота? Страховой? Потеря последних записей при отключении питания - это не теоретическая проблема с околонулевой вероятностью, а обыденная реальность.

Ответить | Правка | Наверх | Cообщить модератору

70. "Компания Bloomberg открыла код распределённой СУБД Comdb2" +/–

Сообщение от Аноним (-), 14-Июн-17, 16:38

>Расскажи, каким образом ACID накладывает ограничение в 2к записей в секунду?
1. Читаем определение: https://ru.wikipedia.org/wiki/ACID
2. Читаем pdf-файл, что я дал выше.
3. Делаем выводы, что чтобы обеспечить ACID в кластере, при полной синхронизации транзакций нужно делать логику, которая способна разруливать простейшие вещи. Такие как, вставка на одной ноде, и следом за ним удаление этой новой записи на другой ноде. Технические детали, как это выполнено в comdb2 описаны в документе выше. Также, в этом же документе описывается почему низкая скорость записи:
Параграф 7. Current Work
>Comdb2 is also limited today in its ability to scale writes.
>While reads scale in a nearly linear manner as cluster size in-
>creases, writes have a more conservative level of scaling with
>an absolute limit.
Ключевое слово "an absolute limit". И далее прописывается ряд деталей о подводных камнях. А точнее цена расплаты за все "удовольствия".
>А чья забота? Страховой? Потеря последних записей при отключении питания - это не теоретическая проблема с околонулевой вероятностью, а обыденная реальность.
1. Человека. Человек может поставить UPS. Купить рейд с батарейками и даже выделить резервный источник питания от ДРУГОЙ электростанции.
2. Как я говорил, забота ложится на железку, драйвер и ФС. Последняя кстати, может предотвратить искажение последней записи, сделав откат или накат из журнала.
Еще вопросы?

Ответить | Правка | Наверх | Cообщить модератору

71. "Компания Bloomberg открыла код распределённой СУБД Comdb2" +/–

Сообщение от Аноним (-), 15-Июн-17, 01:59

> Читаем
> Читаем
> Делаем выводы
Нет. За тебя искать пруфы заведомо ложного утверждения я не буду.
> Такие как, вставка на одной ноде, и следом за ним удаление этой новой записи на другой ноде
Эта задача давно решена такими алгоритмами, как paxos, atomic broadcast и raft, которые не накладывают ограничений на пропускную способность сверх того, что может одна машина. Тот же etcd из соседней новости умеет гораздо больше 2к записей в секунду.
> Еще вопросы?
Нет.

Ответить | Правка | Наверх | Cообщить модератору

72. "Компания Bloomberg открыла код распределённой СУБД Comdb2" +/–

Сообщение от Другой аноним. (?), 15-Июн-17, 07:26

> Эта задача давно решена такими алгоритмами, как paxos, atomic broadcast и raft, которые не накладывают ограничений на пропускную способность сверх того, что может одна машина.
Правильне будет сказать "решена для частных случаев" чтобы не выглядело как будето решено для всех случаев.

Ответить | Правка | Наверх | Cообщить модератору

76. "Компания Bloomberg открыла код распределённой СУБД Comdb2" +/–

Сообщение от Аноним (-), 15-Июн-17, 10:47

О каких случаях речь? Эти алгоритмы могут реплицировать wal, что достаточно для субд.

Ответить | Правка | К родителю #72 | Наверх | Cообщить модератору

79. "Компания Bloomberg открыла код распределённой СУБД Comdb2" +/–

Сообщение от Аноним (-), 15-Июн-17, 21:34

> О каких случаях речь? Эти алгоритмы могут реплицировать wal, что достаточно для
> субд.
В comdb2 WAL флешится раз в 10 секунд. WAL нельзя реплицировать по нодам, т.к. нужно делать для каждой ноды merge, что еще более затратней.

Ответить | Правка | К родителю #76 | Наверх | Cообщить модератору

81. "Компания Bloomberg открыла код распределённой СУБД Comdb2" +1 +/–

Сообщение от Аноним (-), 15-Июн-17, 22:25

> WAL нельзя реплицировать по нодам
Лол. А авторы этой комдб не знают и реплицируют. И все реплицируют.

Ответить | Правка | К родителю #79 | Наверх | Cообщить модератору

80. "Компания Bloomberg открыла код распределённой СУБД Comdb2" +/–

Сообщение от Аноним (-), 15-Июн-17, 21:45

И еще, ты упустил момент про ACID. Что будет если одна нода передаст другой ноде WAL и сразу упадет? Верно, у одной будет коммит, у другой все свалится. Теперь вопрос на мильон, какой ответ отдать клиенту? Тот, что говорит, мол все отлично! Или тот, что говорит, извини, но я упала. Причем, я упала клиент узнает через несколько секунд, минут и т.д. и т.п. (мало ли, БД под нагрузкой, вот и думает много).
Все эксперты, могут взять карандаш и начать писать свою БД с поэтессами и шахматами.

Ответить | Правка | К родителю #76 | Наверх | Cообщить модератору

77. "Компания Bloomberg открыла код распределённой СУБД Comdb2" +/–

Сообщение от Аноним (-), 15-Июн-17, 20:26

Почитал я эту статью, а там не 2к записей в секунду, а 20к. Уже похоже на правду. Ну и получается, что ты тут обосновывал даже не производительность этой базы, а опечатку автора статьи. Т.е. как бы лужу газирнул.

Ответить | Правка | К родителю #70 | Наверх | Cообщить модератору

78. "Компания Bloomberg открыла код распределённой СУБД Comdb2" –1 +/–

Сообщение от Аноним (-), 15-Июн-17, 21:32

>20к
На SSD. Сравни с этим (уже давал линк): https://web.archive.org/web/20140809204443/http://symas.com/...
Так что на HDD будет те же 2к, может 3к от силы. Откуда взял инфу автор статьи, я не знаю, может сам тестил.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру


	6. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	–2 +/–
	Сообщение от Аноним (-), 10-Июн-17, 18:54
	...трава зеленее и далее по списку. Сишникам никто и сейчас не мешает писать вундервафли, просто за это не платят. Если есть возможность обойтись толпой веб-макак, докупив железа - так и сделают, потому что быстрее.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	8. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	–1 +/–
	Сообщение от ананим.orig (?), 10-Июн-17, 19:53
	>...трава зеленее и далее по списку. Сишникам никто и сейчас не мешает писать Предлагаешь поднять таки пенсионный возраст? А у молодежи на жаба-скрипте и субд соответствующие.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	31. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	–1 +/–
	Сообщение от Аноним (-), 11-Июн-17, 09:34
	Не совсем понял как связан пенсионный возраст с засильем веб-макак. Какие предпосылки есть к тому, что заказчик побежит массово переписывать всё обратно на си? Ну разве что EROI оставшейся нефти/газа поднимется выше единицы лет через 30, тогда может и задумаются об эффективности использования железа.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	39. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	+/–
	Сообщение от ананим.orig (?), 11-Июн-17, 14:25
	> Не совсем понял как связан пенсионный возраст с засильем веб-макак. Ну а я то откуда знаю что вы там не совсем понимаете? Если вам интересны макаки, это не значит что нужно комментить о них в ветку про си.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	44. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	+/–
	Сообщение от Аноним (-), 11-Июн-17, 17:59
	> Если вам интересны макаки Сам придумал, сам опроверг. Молодец. Я говорил, что при возможности выбора или взять макак+железа или взять сишников, макаки+железо выиграют по скорости написания кода и выдачи гoвнoпродукта. Кoпpоэкономика в действии. Предпосылок для разворота тренда обратно в сторону сишников (например железо или энергия резко и кратно подорожали) сейчас пока нет. Может застанем, может не доживём. Может вообще по третьему пути пойдёт - допилят какой-нибудь D или Go--
	Ответить \| Правка \| Наверх \| Cообщить модератору


	45. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	+/–
	Сообщение от ананим.orig (?), 11-Июн-17, 19:52
	>> Если вам интересны макаки > Сам придумал, сам опроверг. Молодец. Кого? Макак? Да вам даже не модератор, вам доктор нужен. Зыж > Предпосылок для разворота тренда обратно в сторону сишников... Вы новость то читали? В каком месте тут ваши макаки?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	48. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	+/–
	Сообщение от Аноним (-), 12-Июн-17, 07:56
	С дислексией рекомендую вам обратиться к профильному специалисту. Самолечение по форумам опасно.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	47. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	–4 +/–
	Сообщение от лютый жабист__ (?), 12-Июн-17, 06:10
	Могучий сишник в курсе что например fts у энаписанной на си монго в сотни и тысячи раз тормознее fts lucene писанной на жабе? И читая про ТТХ этой субд с записью 2килореквеста в сек хочется только ржать навзрыд. Лично у меня наоборот писатель на си в 2017 году строго ассоциируется с макакой. Времена си давно прошли (в 2004 начинать проект на си было тоже бредом). Так что тимлид-маразматик и в блумберге маразматик, хоть и в кабинете сидит, возможно не в лондоне, а бомбее 8)
	Ответить \| Правка \| К родителю #31 \| Наверх \| Cообщить модератору


	49. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	+3 +/–
	Сообщение от Аноним (-), 12-Июн-17, 08:49
	> Лично у меня наоборот писатель на си в 2017 году строго ассоциируется Лично у тебя проблемы с головой. Люди посерьезнее совсем тебя не воспринимают, даже в качестве клоуна.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	50. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	+2 +/–
	Сообщение от Аноним (-), 12-Июн-17, 10:01
	>И читая про ТТХ этой субд с записью 2килореквеста в сек хочется только ржать навзрыд. Ты плохо понимаешь откуда берется 2 тыс. запросов на запись в секунду. Эти 2 тыс. запросов ГАРАНТИРОВАННО записаны в файл БД с учетом прохода через все пункты ACID. Ответ отдается никогда запись появилась в журнале, никогда она еще находится в ОЗУ, а именно на 100% записана в файл БД. Вот теперь ты скажи, откуда в Lucene такая скорость? В какой момент БД дает ответ, что "я записалось"? Или ты не знаешь архитектуру своей любимой БД? Ну, так иди прокачай скил, а мы с интересом тебя послушаем. Единственная БД, где имеется отличия в данном вопросе это lmdb: https://web.archive.org/web/20140809204443/http://symas.com/.../ Ищи параграф "C. Sequential Writes" и утрись. Никаких сотен тысяч записей нет, если решать _конкретную_ задачу. Сотни и миллионы записей это цифры для _других_ задач, где НЕ требуется дергать fsync на каждый чих, а вместо этого просто добавлять/удалять реплики. Если ты не понимаешь зачем это нужно comdb2, то я очень рад, т.к. ты никогда не окажешься в бизнесе, где скорость стоит на 100500 месте.
	Ответить \| Правка \| К родителю #47 \| Наверх \| Cообщить модератору


	52. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	–1 +/–
	Сообщение от лютый жабист__ (?), 12-Июн-17, 12:56
	Fsync не гарантия записи в схд. Шах и мат экспертушка опеннета. А гарантировать запись в распределенную систему могу легко с 20 и 200килореквестами в сек лехко и без си
	Ответить \| Правка \| Наверх \| Cообщить модератору


	53. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	+1 +/–
	Сообщение от Другой аноним. (?), 12-Июн-17, 13:23
	Как бы анон писал про то что ты не понял, но поспешил ответить на другое. > А гарантировать запись в распределенную систему могу легко с 20 и 200килореквестами в сек лехко и без си На словах - можешь, а на деле - нет.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	56. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	+/–
	Сообщение от Аноним (-), 12-Июн-17, 22:01
	>Fsync не гарантия записи в схд. Шах и мат экспертушка опеннета. Хорошо, что ты это знаешь, только вот у тебя пробелы в знаниях. Приложение не может ничего гарантировать на аппаратном уровне, этим занимается железка и драйвер к ней. Есть еще один слой -- уровень FS, ты его тоже припишешь к приложению? Вобщем, твоя "победа" ничего не значит в поднятом вопросе. >А гарантировать запись в распределенную систему могу легко с 20 и 200килореквестами в сек лехко и без си Можешь, только гарантии, что даешь, ты абсолютно не понимаешь. Хотел расписать все по полочкам, потом понял, что выходит простыня, которую ты не осилишь. Вкратце все сводится к следующим вещам: как часто дергается fsync, какой тип репликации используется (асинхронная/не асинхронная) и, главное, устроит ли бизнес простой во время восстановления БД из бэкапов/журналов (что может занять часы), или максимум что устроит это перезапуск сервера и загрузка в течении 1-10 минут. Изучай лучше внутренности Lucene, т.к. на вопрос ты так и не ответил.
	Ответить \| Правка \| К родителю #52 \| Наверх \| Cообщить модератору


	57. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	–1 +/–
	Сообщение от лютый жабист__ (?), 13-Июн-17, 09:37
	> Хотел расписать все по полочкам, потом понял Ну и слава БГ, что не стал, незачем опеннет замусоривать. Я не фанат и гуру по рсубд, но даже я вижу что ты мешаешь мух, коней и котлеты. Если кластер подтвердил транзакцию, уже вообще по барабану в REDO/WAL это упало или в базу. С их скоростью в 2ktps - WAL, REDOLOG и подобное будет накатываться при перезапуске просто мгновенно, т.к. в журнале от силы несколько тысяч записей. Главный вопрос - почему у блумбергов весь кластер падает? Может и среди админов тоже сплошные маразматики? Бэкапы ещё какие-то приплёл не в тему. В чём сила этой поделки так и не ясно. Я могу на жабке ЗА ПОЛДНЯ написать кластерный слой к любому количеству субд-нод. Скорость будет так же масштабироваться горизонтально на чтение и на запись скорость==скорости работы самого медленного узла. Чё тут 13 лет писать ума не приложу.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	61. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	+1 +/–
	Сообщение от Другой аноним. (?), 13-Июн-17, 14:09
	Теперь я понял что у жабиста про кластеры довольно примитивное представление и все кластеры у него как один. Поэтому он гребет под одно на одной ноте.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	63. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	+1 +/–
	Сообщение от Аноним (-), 13-Июн-17, 21:15
	>Я могу на жабке ЗА ПОЛДНЯ написать кластерный слой к любому количеству субд-нод. Скорость будет так же масштабироваться горизонтально на чтение и на запись скорость==скорости работы самого медленного узла. Чё тут 13 лет писать ума не приложу. Иди пиши, хватит трындеть какой ты крутой, какая жаба крутая. Глядишь гугл тебя купит. Серьезно.
	Ответить \| Правка \| К родителю #57 \| Наверх \| Cообщить модератору


	66. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	+/–
	Сообщение от Аноним (-), 13-Июн-17, 23:57
	>>Я могу на жабке > Глядишь гугл тебя купит. Серьезно. Если гугл не купит, то кингстоны с корсарами наверняка проспонсируют.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	62. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	+/–
	Сообщение от Аноним (-), 13-Июн-17, 16:06
	Расскажи, каким образом ACID накладывает ограничение в 2к записей в секунду? Чтобы два раза не вставать, сразу ответь на вопрос, почему обработка записей батчами (накопили 100 записей, fsync'анули один раз, отчитались по всем, что записано) ничего не ускоряет. Еще тебе правильно говорят, что fsync ничего не гарантирует на данный момент. Железка может дать сбой и хвост WAL'а пропадет, и никого не будет волновать, что "ну база же невиновата, она фсинк сделала". Всякие гуглы эту проблему решают синхронной репликацией в несколько железок и на fsync не полагаются.
	Ответить \| Правка \| К родителю #50 \| Наверх \| Cообщить модератору


	64. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	+/–
	Сообщение от Аноним (-), 13-Июн-17, 21:33
	> Расскажи, каким образом ACID накладывает ограничение в 2к записей в секунду? Чтобы > два раза не вставать, сразу ответь на вопрос, почему обработка записей > батчами (накопили 100 записей, fsync'анули один раз, отчитались по всем, что > записано) ничего не ускоряет. Где и что не ускоряет? Все очень хорошо ускоряет, просто отсчет ведется обычно в миллисекундах или тысячах записей, плюс тюнить надо всегда под задачу. Если у вас по 100к записей в секунду сыпится, то практичней sync дергать раз в секунду. Кроме того, нужно отличать последовательные _транзакции_ от батч-инсерт/апдейтов, т.к. они по-разному обрабатываются. Если делать последовательно одну транзакцию, которая содержит один инсерт, то никакой прибавки скорости это не даст. И так в _любой_ БД. И другой ньюанс, это размер батча. В батче на 100 записей, которые укладываются в 4кб прироста не будет, т.к. это уже уровень ОС. Попробуйте батчи по 100 записей по 100-1000кб, сразу будет видна разница. > Еще тебе правильно говорят, что fsync ничего не гарантирует на данный момент. > Железка может дать сбой и хвост WAL'а пропадет, и никого не > будет волновать, что "ну база же невиновата, она фсинк сделала". Я уже ответил, что проблема железки это не заботы приложения. Давайте сюда припишем сбои в рейд-массивах еще. А что, БД должна и об этом думать! > Всякие гуглы эту проблему решают синхронной репликацией в несколько железок и на fsync не полагаются. В блумберг тоже не дураки и comdb2 позиционируется как кластерная БД. Вы о чем? О том, что дергать постоянно fsync это глупо? А не глупо включать журнал, когда он не нужен? Между прочим в comdb2 журнал включается автоматом, когда одна из нод дохнет, чтобы она после восстановления все докатила. Да, это другой подход и что? У вас разрыв шаблона походу. Поясню в последний раз, все БД делятся по классу задач, которые они способны решать. Некоторые предназначены для общего назначения, некоторые узкоспециализированные. Так вот, comdb2 не является БД общего назначения. И все ее минусы, компенсируются плюсами, за которые _всегда_ нужно платить. Не нравится? Валите в свой мускл, постгрес, оракл и т.д. и т.п. Вот в этом документе есть сравнение с XtraDB Cluster: http://www.vldb.org/pvldb/vol9/p1377-scotti.pdf Читайте, пытайтесь понять, что и зачем, потом ищи ответы.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	67. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	+/–
	Сообщение от Аноним (-), 14-Июн-17, 00:05
	Ловко ты проигнорировал основной вопрос и нагнал шизофазии в ответ на дополнение, выдернув его из контекста. Хорошо, я повторю: >>>>> Расскажи, каким образом ACID накладывает ограничение в 2к записей в секунду? <<<<< > Я уже ответил, что проблема железки это не заботы приложения. А чья забота? Страховой? Потеря последних записей при отключении питания - это не теоретическая проблема с околонулевой вероятностью, а обыденная реальность.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	70. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	+/–
	Сообщение от Аноним (-), 14-Июн-17, 16:38
	>Расскажи, каким образом ACID накладывает ограничение в 2к записей в секунду? 1. Читаем определение: https://ru.wikipedia.org/wiki/ACID 2. Читаем pdf-файл, что я дал выше. 3. Делаем выводы, что чтобы обеспечить ACID в кластере, при полной синхронизации транзакций нужно делать логику, которая способна разруливать простейшие вещи. Такие как, вставка на одной ноде, и следом за ним удаление этой новой записи на другой ноде. Технические детали, как это выполнено в comdb2 описаны в документе выше. Также, в этом же документе описывается почему низкая скорость записи: Параграф 7. Current Work >Comdb2 is also limited today in its ability to scale writes. >While reads scale in a nearly linear manner as cluster size in- >creases, writes have a more conservative level of scaling with >an absolute limit. Ключевое слово "an absolute limit". И далее прописывается ряд деталей о подводных камнях. А точнее цена расплаты за все "удовольствия". >А чья забота? Страховой? Потеря последних записей при отключении питания - это не теоретическая проблема с околонулевой вероятностью, а обыденная реальность. 1. Человека. Человек может поставить UPS. Купить рейд с батарейками и даже выделить резервный источник питания от ДРУГОЙ электростанции. 2. Как я говорил, забота ложится на железку, драйвер и ФС. Последняя кстати, может предотвратить искажение последней записи, сделав откат или накат из журнала. Еще вопросы?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	71. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	+/–
	Сообщение от Аноним (-), 15-Июн-17, 01:59
	> Читаем > Читаем > Делаем выводы Нет. За тебя искать пруфы заведомо ложного утверждения я не буду. > Такие как, вставка на одной ноде, и следом за ним удаление этой новой записи на другой ноде Эта задача давно решена такими алгоритмами, как paxos, atomic broadcast и raft, которые не накладывают ограничений на пропускную способность сверх того, что может одна машина. Тот же etcd из соседней новости умеет гораздо больше 2к записей в секунду. > Еще вопросы? Нет.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	72. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	+/–
	Сообщение от Другой аноним. (?), 15-Июн-17, 07:26
	> Эта задача давно решена такими алгоритмами, как paxos, atomic broadcast и raft, которые не накладывают ограничений на пропускную способность сверх того, что может одна машина. Правильне будет сказать "решена для частных случаев" чтобы не выглядело как будето решено для всех случаев.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	76. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	+/–
	Сообщение от Аноним (-), 15-Июн-17, 10:47
	О каких случаях речь? Эти алгоритмы могут реплицировать wal, что достаточно для субд.
	Ответить \| Правка \| К родителю #72 \| Наверх \| Cообщить модератору


	79. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	+/–
	Сообщение от Аноним (-), 15-Июн-17, 21:34
	> О каких случаях речь? Эти алгоритмы могут реплицировать wal, что достаточно для > субд. В comdb2 WAL флешится раз в 10 секунд. WAL нельзя реплицировать по нодам, т.к. нужно делать для каждой ноды merge, что еще более затратней.
	Ответить \| Правка \| К родителю #76 \| Наверх \| Cообщить модератору


	81. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	+1 +/–
	Сообщение от Аноним (-), 15-Июн-17, 22:25
	> WAL нельзя реплицировать по нодам Лол. А авторы этой комдб не знают и реплицируют. И все реплицируют.
	Ответить \| Правка \| К родителю #79 \| Наверх \| Cообщить модератору


	80. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	+/–
	Сообщение от Аноним (-), 15-Июн-17, 21:45
	И еще, ты упустил момент про ACID. Что будет если одна нода передаст другой ноде WAL и сразу упадет? Верно, у одной будет коммит, у другой все свалится. Теперь вопрос на мильон, какой ответ отдать клиенту? Тот, что говорит, мол все отлично! Или тот, что говорит, извини, но я упала. Причем, я упала клиент узнает через несколько секунд, минут и т.д. и т.п. (мало ли, БД под нагрузкой, вот и думает много). Все эксперты, могут взять карандаш и начать писать свою БД с поэтессами и шахматами.
	Ответить \| Правка \| К родителю #76 \| Наверх \| Cообщить модератору


	77. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	+/–
	Сообщение от Аноним (-), 15-Июн-17, 20:26
	Почитал я эту статью, а там не 2к записей в секунду, а 20к. Уже похоже на правду. Ну и получается, что ты тут обосновывал даже не производительность этой базы, а опечатку автора статьи. Т.е. как бы лужу газирнул.
	Ответить \| Правка \| К родителю #70 \| Наверх \| Cообщить модератору


	78. "Компания Bloomberg открыла код распределённой СУБД Comdb2"	–1 +/–
	Сообщение от Аноним (-), 15-Июн-17, 21:32
	>20к На SSD. Сравни с этим (уже давал линк): https://web.archive.org/web/20140809204443/http://symas.com/... Так что на HDD будет те же 2к, может 3к от силы. Откуда взял инфу автор статьи, я не знаю, может сам тестил.
	Ответить \| Правка \| Наверх \| Cообщить модератору