The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Berkeley DB переведён на лицензию AGPLv3, что привело к проб..., opennews (ok), 07-Июл-13, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


113. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от AlexAT (ok), 08-Июл-13, 07:19 
Я в курсе. Но из embedded движков логичнее выбрать SQLite, если конечно параллелизм на записи не требуется. И - да - любой реляционный движок легко позволяет сэмулировать key-value storage :)
Ответить | Правка | Наверх | Cообщить модератору

117. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  –5 +/
Сообщение от linux must __RIP__ (?), 08-Июл-13, 09:57 
> Berkeley DB входит в числе базовых библиотек, от которых зависят многие пакеты. В связи с этим поставлен вопрос, допустима ли поставка базовых библиотек под AGPLv3, так как связывание с AGPLv3-библиотекой приведёт к распространению лицензии AGPLv3 на все использующие данную библиотеку пакеты.

Не ужели? да как они могли.. А вот когда gcc такую шутку провернул с libgcc - все дружно набрали воды в рот.. И ставили столмана..

Ответить | Правка | Наверх | Cообщить модератору

124. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  –1 +/
Сообщение от klalafuda (?), 08-Июл-13, 10:46 
> Не ужели? да как они могли.. А вот когда gcc такую шутку провернул с libgcc - все дружно набрали воды в рот.. И ставили столмана..

RTFM однако: http://www.gnu.org/licenses/gcc-exception-faq.html

Что впрочем не удивительно - быстрой смерти GCC после полного перевода рантайма на честный *GPL никому не нужно.

Ответить | Правка | Наверх | Cообщить модератору

128. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  –2 +/
Сообщение от linux must __RIP__ (?), 08-Июл-13, 11:36 
что удивительно - это exception появился очень не сразу. сначала 4.3 был выпущен без него..
Вы об этом забыли?... и только 4.4 (если не путаю) был выпущен с linking exception.

Ответить | Правка | Наверх | Cообщить модератору

129. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от klalafuda (?), 08-Июл-13, 11:44 
> что удивительно - это exception появился очень не сразу. сначала 4.3 был выпущен без него.. Вы об этом забыли?... и только 4.4 (если не путаю) был выпущен с linking exception.

Я не в курсе деталей этой истории, но лично мне ничего удивительного в ней не видится. Полагаю, что сперва Столман & K решили как водится 'до основания а затем'. Но чуть позже трезвые товарищи по партии доходчиво объяснили им, что столь радикально делать не стоит. Иначе они останутся со своим полностью свободным GCC в гордом одиночестве в том числе без толстых спонсоров. Благо, конкурентов GCC хватает.

Ответить | Правка | Наверх | Cообщить модератору

137. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  –1 +/
Сообщение от linux must __RIP__ (?), 08-Июл-13, 14:06 
Вот вот.. Пусть делают свой самый свободный компилятор..
А то "ложечки нашлись - но ведь осадочек остался" ?

Что еще эта компания сделает?
Хотя вот разработчики Debian оказались не рады AGPL v3.. почему - не подскажете ?

Ответить | Правка | Наверх | Cообщить модератору

143. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от Аноним (-), 08-Июл-13, 15:25 
> Хотя вот разработчики Debian оказались не рады AGPL v3.. почему - не подскажете ?

удаки и идоры потому что. Сегодня лишний раз в этом убедился (да, и это никак не относилось к лицензионным вопросам).

Ответить | Правка | Наверх | Cообщить модератору

155. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  –1 +/
Сообщение от northbear (??), 08-Июл-13, 15:56 
> Благо, конкурентов GCC хватает.

Конкурентов у GCC практически нет... Clang/LLVM только-только начал ядро более-менее собирать. Но именно эта история спровоцировала бурное развитие Clang/LLVM.

Видать Oracle патологически не способен учиться на чужих ошибках...

Ответить | Правка | К родителю #129 | Наверх | Cообщить модератору

171. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  –2 +/
Сообщение от linux must __RIP__ (?), 08-Июл-13, 16:22 
>> Благо, конкурентов GCC хватает.
> Конкурентов у GCC практически нет... Clang/LLVM только-только начал ядро более-менее собирать.
> Но именно эта история спровоцировала бурное развитие Clang/LLVM.

наверно вы помните - что ядро Clang собирал уже давно. Но слишком много "программистов" не знаю слово "стандарт на язык", а пишут как привыкли/научили - с кучей компиляторо-зависимого кода.
Могу больше сказать - попытка собрать ядро при помощи gcc с флагами -pedantic обречена на неудачу - в основном из-за такой вот кривизны кода.

Ответить | Правка | Наверх | Cообщить модератору

231. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  –1 +/
Сообщение от northbear (??), 09-Июл-13, 02:25 
> наверно вы помните - что ядро Clang собирал уже давно.

Давно это 2-3 года? Сравните например с возрастом проекта GNU GCC (1987 год) или Linux-ядра (1991 год). Это то, что я называю словом давно. А Clang еще младенец, хоть и невероятно продвинутый...  

Ответить | Правка | Наверх | Cообщить модератору

175. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  –1 +/
Сообщение от klalafuda (?), 08-Июл-13, 16:29 
> Конкурентов у GCC практически нет... Clang/LLVM только-только начал ядро более-менее собирать. Но именно эта история спровоцировала бурное развитие Clang/LLVM.

Как раз сборка ядра - это совсем не показатель. Его можно собирать всем, чем угодно. По всей очевидности все той же GCCой под какой бы лицензией оно не шло. Это никак не повлияет на проекты в userland. А вот выпуск рантайма GCC под AGPL - это уже, простите, совсем другой коленкор. Это напрямую затрагивает закрытые проекты. У них не останется никакого выбора, кроме как смотреть на альтернативы. И если Clang сможет предоставить вменяемую реализацию компилятора C++, то это будет более чем реальная альтернатива GCC и переход коммерческих проектов с GCC на тот же Clang будет лишь вопросом времени причем весьма скорого. С учетом того, что GCC - это пожалуй основной реально востребованный проект GNU, подобный переход очень и очень больно ударит по FSF. В том числе и финансово. У многих крупных коммерческих вендоров отпадет сам смысл с ними особо возиться. Оно FSF такое надо?

Ответить | Правка | К родителю #155 | Наверх | Cообщить модератору

234. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  –1 +/
Сообщение от northbear (??), 09-Июл-13, 02:35 
> Как раз сборка ядра - это совсем не показатель. Его можно собирать
> всем, чем угодно.

Я молча развожу руками... Может продемонстрируете?

Ответить | Правка | Наверх | Cообщить модератору

236. "Berkeley DB переведён на лицензию AGPLv3, что привело к..."  +1 +/
Сообщение от arisu (ok), 09-Июл-13, 02:36 
tcc когда-то собирал ядро прямо при загрузке. было забавно.

интересно, способен ли он до сих пор на такой фокус?

Ответить | Правка | Наверх | Cообщить модератору

239. "Berkeley DB переведён на лицензию AGPLv3, что привело к..."  –1 +/
Сообщение от northbear (??), 09-Июл-13, 03:03 
> tcc когда-то собирал ядро прямо при загрузке. было забавно.
> интересно, способен ли он до сих пор на такой фокус?

ТССBOOT собирал адаптированные исходники собранные в ISO-образ. ТСС ничего не знает про расширения системы команд x86 типа SSE/SSE2. Я уже не говорю про код KVM в ядре...

Ответить | Правка | Наверх | Cообщить модератору

241. "Berkeley DB переведён на лицензию AGPLv3, что привело к..."  +1 +/
Сообщение от arisu (ok), 09-Июл-13, 03:05 
вообще-то с тех пор tcc значительно подрос. и да: ядро таки может работать и без sse, и даже без kvm.
Ответить | Правка | Наверх | Cообщить модератору

279. "Berkeley DB переведён на лицензию AGPLv3, что привело к..."  –1 +/
Сообщение от Аноним (-), 09-Июл-13, 12:43 
> работать и без sse, и даже без kvm.

Ну да, а еще можно руку ампутировать. Печатать на клавиатуре и одной рукой можно. Зачем тебе лишние запчасти?!

Ответить | Правка | К родителю #241 | Наверх | Cообщить модератору

290. "Berkeley DB переведён на лицензию AGPLv3, что привело к..."  +1 +/
Сообщение от arisu (ok), 09-Июл-13, 13:45 
> Ну да, а еще можно руку ампутировать. Печатать на клавиатуре и одной
> рукой можно. Зачем тебе лишние запчасти?!

а зачем мне в ядре sse и kvm? не «зачем оно вообще надо?», а «зачем оно лично мне?»

Ответить | Правка | К родителю #279 | Наверх | Cообщить модератору

305. "Berkeley DB переведён на лицензию AGPLv3, что привело к..."  –1 +/
Сообщение от Аноним (-), 09-Июл-13, 14:41 
> а зачем мне в ядре sse и kvm? не «зачем оно вообще
> надо?», а «зачем оно лично мне?»

Зачем лично тебе - не знаю, за отсутствием телепатического устройства.

Лично мне оно например затем что
1) Я запускаю KVMные виртуальные машины. Очень удобно для системокрушильных экспериментов. Убабахать в процессе виртуалку - одно, ее к снапшоту откатил и порядок. А раздестроить нето в основной системе - да ну нафигЪ :)
2) С SSE намного быстрее работает код для RAID5/6 и шифрование, например. Буквально кипа модулей ядра при возможности юзает самые современные наборы инструкций.

И да, знаешь, там кроме всего прочего в dmesg пишется результат бенчмарков. И я имею отметить что от новых инструкций есть толк: самые забористые реализации алгоритмов на новейших командах могут делать старые SSE в несколько раз. А без SSE - вообще сталинград.

А просадить половину криптографии и кода рэйдов в разы, system-wide - категорически дурная идея в общем случае. Ну то-есть, как я уже сказал - можно печатать и 1 рукой. Но медленнее и вообще неудобно.

Ответить | Правка | К родителю #290 | Наверх | Cообщить модератору

316. "Berkeley DB переведён на лицензию AGPLv3, что привело к..."  –1 +/
Сообщение от linux must __RIP__ (?), 09-Июл-13, 17:14 
> 2) С SSE намного быстрее работает код для RAID5/6 и шифрование, например. Буквально кипа модулей ядра при возможности юзает самые современные наборы инструкций.

вы точно уверены в своих словах?
AES/CRC32 и прочие подобные инструкции - не являются SSE subset - это вполне себе отдельный кусок cpu.
И для детектирования используются cpuid флаги отнюдь не SSE. Вон ребята писали реализацию crc32/crc32c для интела - так что плавали знаем.

> И да, знаешь, там кроме всего прочего в dmesg пишется результат бенчмарков. И я имею отметить что от новых инструкций есть толк: самые забористые реализации алгоритмов на новейших командах могут делать старые SSE в несколько раз. А без SSE - вообще сталинград.

на счет рейда - намного быстрее SSE бегает IO AT - вполне себе аппаратно считает checksum/PQ - только имеет свои проблемы и не очень рекомендовано к использованию. А так - 2.5GB/s через него прокачать можно - выше правда проблемно.

> А просадить половину криптографии и кода рэйдов в разы, system-wide - категорически дурная идея в общем случае. Ну то-есть, как я уже сказал - можно печатать и 1 рукой. Но медленнее и вообще неудобно.

Если ты объяснишь зачем в KVM внутри рейд. И почему не расположить диски от KVM на рейде в host системе.

Ответить | Правка | К родителю #305 | Наверх | Cообщить модератору

321. "Berkeley DB переведён на лицензию AGPLv3, что привело к..."  –1 +/
Сообщение от Аноним (-), 09-Июл-13, 20:21 
> вы точно уверены в своих словах?

Я уверен что я в состоянии прочитать dmesg и увидеть где самые забористые бенчи :)


[    3.803854] raid6: sse2x4   10175 MB/s
[    3.803876] raid6: using algorithm sse2x4 (10175 MB/s)
[    3.803880] raid6: using ssse3x2 recovery algorithm
[    3.804370] xor: automatically using best checksumming function:
[    3.844856]    avx       : 10181.000 MB/sec

>  AES/CRC32 и прочие подобные инструкции - не являются SSE subset -

Они, конечно, не являются, но упомянутый компилер и их собрать не сможет, так что в этом плане - однофигственно. И вон там выше и пример того как SSE-вариант победил в бенче опять же.

Подобные вещички без SSE и AVX почему-то в несколько раз тормознее. А этот код - совсем не то место где хотелось бы налететь на тормоза.

> это вполне себе отдельный кусок cpu.

Да какая с точки зрения програмеров и компилеров разница? Все-равно авно кастомный асм надо в парочке модулей заковырять как вставки. Что в случае SSE, что в случае AVX/AES/....

> И для детектирования используются cpuid флаги отнюдь не SSE. Вон ребята писали
> реализацию crc32/crc32c для интела - так что плавали знаем.

Да какая разница? С точки зрения програмера и компилера - индифферентно в нашем контексте поддержки таких выкрутасов со стороны компилера.

> на счет рейда - намного быстрее SSE бегает IO AT - вполне
> себе аппаратно считает checksum/PQ - только имеет свои проблемы и не
> очень рекомендовано к использованию. А так - 2.5GB/s через него прокачать
> можно - выше правда проблемно.

Ну вон выше был бенчмарк. С SSE и AVX оно на моем десктопе 10Гб в секунду могет. Понятно что это больше теоретические цифры, но без этих улучшайзеров скорость обваливается в несколько раз. Я туго себе представляю как можно обмолотить 10 гиг в секунду без оптимизнутого по самые уши ассемблера в критичных местах.

Вообще, стараниями интела и прочих - криптографию и тому подобные вещи в ядре очень сильно оптимизируют нынче и с новыми наборами инструкций оно реально выигрывает. Местами довольно сильно. Интелу то понятен интерес - так привлекательность новых чипов повышается. С другой стороны - странно если аппаратная фича есть а софт ей не пользуется. Вот теперь - и пользуется и выигрывает по полной программе.

> Если ты объяснишь зачем в KVM внутри рейд. И почему не расположить
> диски от KVM на рейде в host системе.

Ну так вот на хосте оно от SSE и выиграет, фигле. Я вообще нигде не говорил что в KVM виртуалке надо RAID. Это ваша больная фантазия разбушевалась, я тут не при чем :).

Ответить | Правка | К родителю #316 | Наверх | Cообщить модератору

258. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  –1 +/
Сообщение от klalafuda (?), 09-Июл-13, 11:16 
> Я молча развожу руками... Может продемонстрируете?

"Его можно собирать всем, чем угодно." с точки зрения лицензии тулчейна и его обвязки. Это никак не повлияет на требования к лицензированию программ в userland-е.

Ответить | Правка | К родителю #234 | Наверх | Cообщить модератору

272. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от Led (ok), 09-Июл-13, 12:22 
>> Как раз сборка ядра - это совсем не показатель. Его можно собирать
>> всем, чем угодно.
> Я молча развожу руками... Может продемонстрируете?

icc, open64, tcc

Ответить | Правка | К родителю #234 | Наверх | Cообщить модератору

181. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +1 +/
Сообщение от Andrey Mitrofanov (?), 08-Июл-13, 16:36 
>> что удивительно - это exception появился очень не сразу. сначала 4.3 был выпущен без него.. Вы об этом забыли?... и только 4.4 (если не путаю) был выпущен с linking exception.
> Я не в курсе деталей этой истории, но лично мне ничего удивительного
> в ней не видится. Полагаю, что сперва Столман & K решили

Спасибо, что спросили! :)

Исключение про рантайм там было чуть не с созданья мира.

"Просто" при переходе на GPLv3+ его не пофиксили под все [новые] "крайние" случаи. Это было сделано _сразу же_ по обнаружении (=рипорте о) проблемы, в т.ч. _отдельно_ для уже выпущенных с кривым-старым исключением версий.

Вот кусок из дебиановского /usr/share/doc/libstdc++5/copyright из libstdc++5_3.3.6-20.

The libstdc++-v3 library is licensed under the terms of the GNU General                                   
Public License, with this special exception:                                                              
                                                                                                          
   As a special exception, you may use this file as part of a free software                              
   library without restriction.  Specifically, if other files instantiate                                
   templates or use macros or inline functions from this file, or you compile                            
   this file and link it with other files to produce an executable, this                                  
   file does not by itself cause the resulting executable to be covered by                                
   the GNU General Public License.  This exception does not however                                      
   invalidate any other reasons why the executable file might be covered by                              
   the GNU General Public License.

Ответить | Правка | К родителю #129 | Наверх | Cообщить модератору

217. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  –3 +/
Сообщение от linux must __RIP__ (?), 08-Июл-13, 21:49 
>>> что удивительно - это exception появился очень не сразу. сначала 4.3 был выпущен без него.. Вы об этом забыли?... и только 4.4 (если не путаю) был выпущен с linking exception.
>> Я не в курсе деталей этой истории, но лично мне ничего удивительного
>> в ней не видится. Полагаю, что сперва Столман & K решили
> Спасибо, что спросили! :)
> Исключение про рантайм там было чуть не с созданья мира.
> "Просто" при переходе на GPLv3+ его не пофиксили под все [новые] "крайние"
> случаи. Это было сделано _сразу же_ по обнаружении (=рипорте о) проблемы,
> в т.ч. _отдельно_ для уже выпущенных с кривым-старым исключением версий.

вы серьезно верите что поменяв лицензию - народ не задумывался о том что менять надо и linking exception?
юристы типа "забыли"? вам самому не смешно? вы уверены что больше ничего не забыли такого что выйдет боком через N лет ?

Ну да - а пофиксили когда их макнули в это дерьмо - что так дела не делают.. а если бы не ткнули - так бы и работало все.

Ответить | Правка | Наверх | Cообщить модератору

224. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +2 +/
Сообщение от Andrey Mitrofanov (?), 08-Июл-13, 22:49 
>> в т.ч. _отдельно_ для уже выпущенных с кривым-старым исключением версий.
> вы серьезно верите что поменяв лицензию - народ не задумывался о том

Мартышка к старости слаба ушами стала -- всё переспрашивала, да, переспрашивала.

Святой отец, б., "веруешь ли", да, "веруешь ли".

Ответить | Правка | Наверх | Cообщить модератору

262. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  –1 +/
Сообщение от linux must __RIP__ (?), 09-Июл-13, 11:54 
>>> в т.ч. _отдельно_ для уже выпущенных с кривым-старым исключением версий.
>> вы серьезно верите что поменяв лицензию - народ не задумывался о том
> Мартышка к старости слаба ушами стала -- всё переспрашивала, да, переспрашивала.
> Святой отец, б., "веруешь ли", да, "веруешь ли".

а по теме сказать чего-то есть? я вижу только веру в великого..

Ответить | Правка | Наверх | Cообщить модератору

280. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от Аноним (-), 09-Июл-13, 12:45 
> а по теме сказать чего-то есть? я вижу только веру в великого..

Да какая там вера? Обычный жирный троллинг всяких глупых личностей. Они, кстати, ведутся. Хоть и жирнота, казалось бы. Все-таки Митрофанов - талант. Так жирно потроллить чтобы на это какой-то лузер еще и купился - это талант иметь надо :)


Ответить | Правка | Наверх | Cообщить модератору

154. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от Аноним (-), 08-Июл-13, 15:54 
> Я в курсе. Но из embedded движков логичнее выбрать SQLite,

Как по мне я вижу минимум 2 причины НЕ выбирать его:
1) SQL априори тормозной и его профайлинг может местами превратиться в полный головняк.
2) Бодаться с SQL иньекциями нравится не всем.

В базу key-value такого плана заиньектить левак невозможно. Поэтому базы key-value по своему прекрасны. И никак не заменяются скулайтом, при всем уважении к оному.

То-есть, скулайт в принципе не сможет предоставить сравнимую производительность + отсутствие проблем с иньекциями в SQL запросы от всяких "бобби тэйблсов". А превращать полпрограммы в фильтр т.к. "злоумышленник может унести солонку, назвавшись Бобби Тэйблсом" совершенно не прикольно.

> движок легко позволяет сэмулировать key-value storage :)

Вот только скорость работы что-то не эмулируется. И иньекции станут отдельным пунктом головняка у програмера.

Ответить | Правка | К родителю #113 | Наверх | Cообщить модератору

159. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от AlexAT (ok), 08-Июл-13, 15:59 
> В базу key-value такого плана заиньектить левак невозможно

И в SQL-based KV store тоже - потому что вся обертка делается в ->get / ->set.

> Вот только скорость работы что-то не эмулируется.

А скорость работы будет зависеть от рук. Для KV стора вообще можно запросы предкомпилировать.

Ответить | Правка | Наверх | Cообщить модератору

166. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от Аноним (-), 08-Июл-13, 16:17 
> И в SQL-based KV store тоже - потому что вся обертка делается в ->get / ->set.

Ты издеваешься или как? Можно взять готовое решение которое работает быстро и безграбельно, а можно др@читься с выписыванием костылей самому + просесть в скорости. Нафиг надо такое "счастье"?

В нормальном виде сие должны были делать по людски разработчики скулайта, предоставив простое и низкоуровневое апи к его фактической реализации хранилища. Но это не было их целью, как соедует из названия. У них SQL головного мозга и баста. Если тебе нравится забивать гвозди микроскопом - флаг тебе в руки делать key-value из скулайта. А мне если уж AGPL так сильно дорогу перейдет, я какой-нить токийский кабинет возьму скорее.

И да, обычно в таких базах можно выбирать довольно низкоуровневые параметры стоража, которые иногда довольно сильно роялят. В частности - хэш-таблица, б-дерево, etc. Они разные по свойствам и в зависимости от ситуации - оптимальнее или так, или эдак. А в скулайте такое вообще хрен выберешь вообще.

> А скорость работы будет зависеть от рук. Для KV стора вообще можно запросы предкомпилировать.

Я не собираюсь бросать все и подрываться изучать новый ЯП (SQL) на уровне супергуру который умеет запросы профайлить. Тем более что там IIRC нет относительно низкоуровневых опций управления логикой стоража на уровне самых основ технологий хранения. А иногда удачный выбор таких опций может скорость в разы поднять. На скулайте придется пыхтеть в разы больше, а скорость будет в разы ниже.

Ответить | Правка | Наверх | Cообщить модератору

168. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от AlexAT (ok), 08-Июл-13, 16:20 
> Ты издеваешься или как?

Да нет. Мне просто ехать, а не шашечки.

Ответить | Правка | Наверх | Cообщить модератору

172. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  –1 +/
Сообщение от linux must __RIP__ (?), 08-Июл-13, 16:23 
>> Ты издеваешься или как?
> Да нет. Мне просто ехать, а не шашечки.

ты серьезно считаешь что SQL работает быстрее чем разные варианты B-Tree в BDB ?

Ответить | Правка | Наверх | Cообщить модератору

179. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от klalafuda (?), 08-Июл-13, 16:35 
> ты серьезно считаешь что SQL работает быстрее чем разные варианты B-Tree в BDB ?

Вы таки серьезно считаете, что в том же SQLite на бакенде текстовый файл со строчками INSERT INTO Table VALUES (1, "John"), (2, "Doe") ?

Ответить | Правка | Наверх | Cообщить модератору

183. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от Аноним (-), 08-Июл-13, 16:37 
Нет, там конечно бинарный стораж, но простой и быстрой дорожки его дернуть не дадено, равно как и управлять его базовыми свойствами.

А общаться с ним через призму парсера скуля - совершенно отдельная история. Парсер потратит немало времени на разбор конструкции и не факт что это будет оптимально.

С другой стороны хорошая база ключ-значение как правило укладывается в всего 2 дисковые операции на извлечение записи + минимальная нагрузка на проц.

Ответить | Правка | Наверх | Cообщить модератору

199. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  –1 +/
Сообщение от AlexAT (ok), 08-Июл-13, 17:57 
> Парсер потратит немало времени на разбор конструкции и не факт что
> это будет оптимально.

Два слова: "prepared statements" - о чём-нибудь говорят?

Ответить | Правка | Наверх | Cообщить модератору

218. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  –3 +/
Сообщение от linux must __RIP__ (?), 08-Июл-13, 21:50 
>> Парсер потратит немало времени на разбор конструкции и не факт что
>> это будет оптимально.
> Два слова: "prepared statements" - о чём-нибудь говорят?

говорит - что исполнение байт кода - всегда дольше чем просто поиск по базе key-> value.

Кстати как там с SQLite с поддержкой транзакционного стораджа?

Ответить | Правка | Наверх | Cообщить модератору

252. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от AlexAT (ok), 09-Июл-13, 07:16 
> говорит - что исполнение байт кода - всегда дольше чем просто поиск
> по базе key-> value.

Если обращения к KV store в inner loop - да, разница будет. Но обычно обращения к БД во внутренних циклах - крайне плохой тон, данные надо обрабатывать после запроса/выборки, а не вместе с оными. В остальных случаях накладные расходы будут несущественны.

Не забывайте, что у KV обычно всё атомно плохо с индексацией и произвольным поиском. Плюсы от возможности вести поиск по связям и наборам полей могут и перевесить минусы от наличия разборщика запросов. Не везде, естественно.

Во всяком случае, Subversion уже использует SQLite в клиентской части. Очевидно, осознали плюсы.

> Кстати как там с SQLite с поддержкой транзакционного стораджа?

А там иных не бывает... огромная проблема SQLite - необходимость блокирования всего файла при записи. Коммиты у SQLite атомарные, поэтому с конзистентностью всё более-менее. Не хуже, чем у BDB, во всяком случае.

Ответить | Правка | Наверх | Cообщить модератору

257. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от klalafuda (?), 09-Июл-13, 11:05 
> Если обращения к KV store в inner loop - да, разница будет. Но обычно обращения к БД во внутренних циклах - крайне плохой тон, данные надо обрабатывать после запроса/выборки, а не вместе с оными.

Ага. Особенно если нужно обработать данные из таблички с парой-тройкой десятков-сотен миллионов записей (читать 'дохрена'). Высосем её сперва в память. Всю. Че там.

Ответить | Правка | К родителю #252 | Наверх | Cообщить модератору

263. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  –1 +/
Сообщение от linux must __RIP__ (?), 09-Июл-13, 11:56 
>> Если обращения к KV store в inner loop - да, разница будет. Но обычно обращения к БД во внутренних циклах - крайне плохой тон, данные надо обрабатывать после запроса/выборки, а не вместе с оными.
> Ага. Особенно если нужно обработать данные из таблички с парой-тройкой десятков-сотен миллионов
> записей (читать 'дохрена'). Высосем её сперва в память. Всю. Че там.

не надо издеваться с детей :-) вот к примеру filldir() вполне себе выполняется внутри inner loop у dx dir аналогом которого является bdb и таких примеров чуть более чем дофига..

Ответить | Правка | К родителю #257 | Наверх | Cообщить модератору

270. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от AlexAT (ok), 09-Июл-13, 12:09 
> не надо издеваться с детей :-) вот к примеру filldir() вполне себе
> выполняется внутри inner loop у dx dir аналогом которого является bdb
> и таких примеров чуть более чем дофига..

Ну... ручки-то они - вона какие...

Ответить | Правка | К родителю #263 | Наверх | Cообщить модератору

330. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от AlexAT (ok), 09-Июл-13, 23:55 
Вот, лакмусовая бумажка на крап-дезигнеров сработала. Если у вас случилась ситуация (shit happens, yeah), что вам надо из KV более одного раза за время жизни с последнего апгрейда вот так вот выгрести и обработать сотню миллионов записей - "поздравляю, Шарик, вы балбес"... выбор KV для задачи не то, что не оправдан, а вообще симптоматичен.
Ответить | Правка | К родителю #257 | Наверх | Cообщить модератору

339. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +1 +/
Сообщение от Аноним (-), 10-Июл-13, 02:24 
> задачи не то, что не оправдан, а вообще симптоматичен.

Тем не менее, справедливости ради - сиквельная будет вычитывать записи ничуть не хуже самопала. А при шит дизайнере с select * from, столь типичном для скрипткиддисов... - скульная база натурально все сотни миллионов записей будет лопатить ничуть не хуже.

Грамотно юзать скуль и понимать во что по факту оно будет трансформировано (дисковая активность, etc) умеет сильно немного народа - это отдельный класс крутых DBA/опытных SQL программеров, в общем свой заводик по производству ракет, со своим рокетсайнсом и инженерами. Вот так с наскока это взять вообще не варинт. Грамотно юзать k/v на порядок проще. Просто потому что он примитивный.

Ответить | Правка | К родителю #330 | Наверх | Cообщить модератору

338. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +1 +/
Сообщение от Аноним (-), 10-Июл-13, 02:20 
> записей (читать 'дохрена'). Высосем её сперва в память. Всю. Че там.

Если тебе приходится это делать с K/V - ты что-то делаешь не так. Совсем не так.


Ответить | Правка | К родителю #257 | Наверх | Cообщить модератору

265. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от linux must __RIP__ (?), 09-Июл-13, 12:00 
>> говорит - что исполнение байт кода - всегда дольше чем просто поиск
>> по базе key-> value.
> Если обращения к KV store в inner loop - да, разница будет.
> Но обычно обращения к БД во внутренних циклах - крайне плохой
> тон, данные надо обрабатывать после запроса/выборки, а не вместе с оными.
> В остальных случаях накладные расходы будут несущественны.
> Не забывайте, что у KV обычно всё атомно плохо с индексацией и
> произвольным поиском. Плюсы от возможности вести поиск по связям и наборам
> полей могут и перевесить минусы от наличия разборщика запросов. Не везде,
> естественно.

Плохо с произвольным поиском по ключу?! а индексация там к чему?
А о словах secondary key - вы что-то слышали?


> Во всяком случае, Subversion уже использует SQLite в клиентской части. Очевидно, осознали
> плюсы.

Видимо это должно служить большим показателем.. Не подскажете почему? при этом у mysql был bdb сторадж. http://dev.mysql.com/doc/refman/5.0/en/bdb-storage-engine.html
но я не разу не слышал о SQLite сторадже для MySQL.
не подскажете почему?

>> Кстати как там с SQLite с поддержкой транзакционного стораджа?
> А там иных не бывает... огромная проблема SQLite - необходимость блокирования всего
> файла при записи.

ЭЭ.. позвольте - если там есть нормальные транзакции - то там не надо блокировать весь файл.
Так и запишем - транзакций нету.

> Коммиты у SQLite атомарные, поэтому с конзистентностью всё
> более-менее. Не хуже, чем у BDB, во всяком случае.

у BDB - можно делать комиты в несколько таблиц внутри одной транзакции без необходимости лочить базы.
Как видимо это явно "лучше".

Ответить | Правка | К родителю #252 | Наверх | Cообщить модератору

281. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от Аноним (-), 09-Июл-13, 12:51 
> Два слова: "prepared statements" - о чём-нибудь говорят?

Здравый смысл и понимание алгоритмов говорят мне что лукап по b-дереву или хэш-таблице априори быстрее чем нечто аналогичное + пакости от парсера невъ...нного языка и вагон костылей для их воркэраундинга.

Но ты в своем праве делать из сиквельной базы key-value. Но лично я не понимаю в чем пойнт сначала сильно усложнить себе жизнь, сначала донавесив поверх хранилища парсер, а потом героически воевать с ветряными мельницами, пытаясь отделаться от его проблем, чтобы в результате ... получить нативное представление сущностей в хранилище? Да ты больной. Проще сразу не навешивать парсер чем воевать с его фирменными граблями типа тормозов, иньекций и прочих радостей жизни.

Ответить | Правка | К родителю #199 | Наверх | Cообщить модератору

306. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от AlexAT (ok), 09-Июл-13, 14:43 
Ты так и не понял сути. Основная проблема - не в том, что нет KV на замену, а в том, что KV пихают даже туда, где он в принципе убыточен.

А речь изначально шла о том, что в ряде проектов BDB можно заменить на embedded SQL/embedded NoSQL. Чего накинулся - непонятно.

Ответить | Правка | Наверх | Cообщить модератору

322. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от Аноним (-), 09-Июл-13, 20:33 
> даже туда, где он в принципе убыточен.

Такое наверное бывает, но это можно делать из чувства мазохизма разве что. Это скорее SQL нынче пихают даже туда где он нафиг не упал и только все портит. Вот вы - яркий показатель, btw.

> А речь изначально шла о том, что в ряде проектов BDB можно
> заменить на embedded SQL/embedded NoSQL.

Можно != нужно. Сам по себе NoSQL термин - вообще ни о чем. BDB тоже NoSQL. Хотя и SQL там в принципе есть, правда я ни разу не видел чтобы им кто-то пользовался, но потенциально - можно :).

>  Чего накинулся - непонятно.

То что довольно странно предлагать самосвал как замену микроавтобусу, с аргументом "если как следует поорудовать автогеном, можно кузов отпилить и заменить на салон микроавтобуса".

Спору нет - все это можно. Только рассматривалось целевое использование k/v ака быстрый и простой доступ к записям, возможно в достаточно большом количестве. Там SQL не только нафиг не упал но и все испортит. А то что кто-то мог заюзать свой микроавтобус для перевозки песка из карьера - ну так кто ему доктор?

Ответить | Правка | К родителю #306 | Наверх | Cообщить модератору

198. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +1 +/
Сообщение от AlexAT (ok), 08-Июл-13, 17:56 
> ты серьезно считаешь что SQL работает быстрее чем разные варианты B-Tree в
> BDB ?

Я считаю, что в конкретных юзкейсах разница будет ничтожна за счёт того, что работа с BDB - не основная операция.

Ответить | Правка | К родителю #172 | Наверх | Cообщить модератору

219. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  –2 +/
Сообщение от linux must __RIP__ (?), 08-Июл-13, 21:50 
>> ты серьезно считаешь что SQL работает быстрее чем разные варианты B-Tree в
>> BDB ?
> Я считаю, что в конкретных юзкейсах разница будет ничтожна за счёт того,
> что работа с BDB - не основная операция.

у кого как :-)

Ответить | Правка | Наверх | Cообщить модератору

243. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от Аноним (-), 09-Июл-13, 03:07 
> у кого как :-)

Ну, у юнит-тестов BDB все, конечно, иначе...


Ответить | Правка | Наверх | Cообщить модератору

282. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от Аноним (-), 09-Июл-13, 12:56 
> Я считаю, что в конкретных юзкейсах разница будет ничтожна за счёт того,
> что работа с BDB - не основная операция.

А это как бы весьма зависит от. Такие базы ставят там где скорость работы с базой все-таки интересовала. При этом сознательно идут на упрощение абстракций и их примитивизацию в пользу скорости работы + можно не париться экранированием (которое для больших объемов данных опять же тормознет все). Все-равно заиньектить в базу принимающую любые данные как  ключ и значение технически невозможно.

Ответить | Правка | К родителю #198 | Наверх | Cообщить модератору

307. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  –1 +/
Сообщение от AlexAT (ok), 09-Июл-13, 14:46 
> Такие базы ставят там где скорость работы с базой все-таки интересовала.

Особенно в том же SVN, агаугу. Или в PAM. Там и SQL нахрен не впёрся, конечно, но в целом от скорости работы с самим форматом базы там ничего не меняется - не там основная нагрузка.


Ответить | Правка | Наверх | Cообщить модератору

323. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от Аноним (-), 09-Июл-13, 20:39 
> Особенно в том же SVN, агаугу.

Ой, как они им пользуются - я без понятия. Не интересуюсь некромансией. В git например свой самопальный кастомный формат хранения объектов везде, т.к. все это очень чувствительно к скорости.

> Или в PAM.

Как бы в таких применениях ситуация бывает разной. Какой-нибудь контроллер домена например может обслуживать десятки тысяч авторизаций в секунду. И я не вижу ни одной валидной причины по которой PAM имел бы право умирать под такими нагрузками. Лучше пусть запас производительности будет чем наступит ж@па.

> Там и SQL нахрен не впёрся, конечно, но в целом от скорости работы с
> самим форматом базы там ничего не меняется - не там основная нагрузка.

Зато прилетевший на что-то типа контроллера домена скуль иньекшн от бобби тэйблса энтерпрайзникам точно понравится :). Ибо раздестроить нечто типа активной директории или ее аналога 1 запросом - сказочная мечта любого кулхацкера :).

Ответить | Правка | Наверх | Cообщить модератору

253. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от AlexAT (ok), 09-Июл-13, 07:22 
> ты серьезно считаешь что SQL работает быстрее чем разные варианты B-Tree в
> BDB ?

Я серьезно считаю, что ты путаешь метод доступа и метод хранения. В SQL-based движках в основном всё те же btree :) на подложке.

А еще я серьезно считаю, что автомобиль практичнее велосипеда при поездках на большие расстояния. Да и просто практичнее в плане удобства. Доехать-то доедешь, но за@#$шься прилично.

Там, где структура данных достаточно простая, и отношение объема данных к объёму единственного ключа максимально - лучше KV не придумать. Где посложнее - использование KV или прямых методов доступа к сторейджу выльется в феерические костыли, которые уже давным-давно сделаны в реляционных движках, и сделаны лучше.

Вопрос в применимости. Когда-то embedded-движков RDB не было, и все юзали что попало, изобретая велосипеды для поиска в KV-сторейдже к примеру. Сейчас их вагон, и отказываться от удобства - тупо.

Ответить | Правка | К родителю #172 | Наверх | Cообщить модератору

269. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  –2 +/
Сообщение от linux must __RIP__ (?), 09-Июл-13, 12:06 
>> ты серьезно считаешь что SQL работает быстрее чем разные варианты B-Tree в
>> BDB ?
> Я серьезно считаю, что ты путаешь метод доступа и метод хранения. В
> SQL-based движках в основном всё те же btree :) на подложке.

Замечена попытка ухода в сторону. Вами был выдвинут тезис что реализация KV стораджа средствами SQLite по меньшей мере не медленее чем  BDB а то и быстрее. Вот отсюда и вопрос - вы серьезно считаете что скорость выполнения предкопилированых sql запросов в sqlite будет дотягивать до скорости поиска по b-tree для BDB ?


> А еще я серьезно считаю, что автомобиль практичнее велосипеда при поездках на
> большие расстояния. Да и просто практичнее в плане удобства. Доехать-то доедешь,
> но за@#$шься прилично.

Зависит от загруженности города. Я знаю много городов где на велосипеде доехать быстрее.


> Там, где структура данных достаточно простая, и отношение объема данных к объёму
> единственного ключа максимально - лучше KV не придумать. Где посложнее -
> использование KV или прямых методов доступа к сторейджу выльется в феерические
> костыли, которые уже давным-давно сделаны в реляционных движках, и сделаны лучше.

Может вы забыли что для правильного использования SQL надо приводить к НФ 3? а тогда большой разницы с поиском по ключу в KV не будет. хотя да.. современная молодежь забывает о нормальных формах БД.

> Вопрос в применимости. Когда-то embedded-движков RDB не было, и все юзали что
> попало, изобретая велосипеды для поиска в KV-сторейдже к примеру. Сейчас их
> вагон, и отказываться от удобства - тупо.

Да да. А перегружать задачи не нужной функционостью - это ооочень правильно. И терять в скорости тоже..
как это похоже на современных программистов - которые вырезают гланды автогеном..

Ответить | Правка | Наверх | Cообщить модератору

283. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от Аноним (-), 09-Июл-13, 13:28 
> Я серьезно считаю, что ты путаешь метод доступа и метод хранения. В
> SQL-based движках в основном всё те же btree :) на подложке.

Вот только сперва донавесить парсер, а потом путем длительной борьбы задеградировать его до "почти b-дерева" - бессмысленно и беспощадно. Куча времени будет убита ни на что!
- Придется изучить SQL.
- Придется изучить сколько времени и где тратится.
- Придется очень хорошо раздуплять как оно план выполнения кроит и прочая.
- И как это потом трансформируется в дисковую активность.
- И как это "хакнуть" чтобы этот бредогенератор минимизировал свои операции и вообще интерференцию.
- Придется делать экранирование.
- Итоговая скорость даже в самом идеальном случае будет несколько хуже. В реальном случае, с разумными затратами сил, без месяца профилировки и войны с парсером/планировщиком выполнения - оно скорее всего сольет в несколько раз.

> А еще я серьезно считаю, что автомобиль практичнее велосипеда при поездках на
> большие расстояния.

При всем уважении, автомобиль не заменяет велосипед.

Ответить | Правка | К родителю #253 | Наверх | Cообщить модератору

308. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от AlexAT (ok), 09-Июл-13, 14:47 
> При всем уважении, автомобиль не заменяет велосипед.

В 1% случаев - не заменяет. Попытки проехать на велосипеде от Москвы до хотя бы СПб - ну чего, флаг в руки.

Ответить | Правка | Наверх | Cообщить модератору

324. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от Аноним (-), 09-Июл-13, 20:40 
> В 1% случаев - не заменяет. Попытки проехать на велосипеде от Москвы
> до хотя бы СПб - ну чего, флаг в руки.

Да фигня вопрос! Кладем в багажный отсек поезда/самолета и едем :).

Ответить | Правка | Наверх | Cообщить модератору

180. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от Аноним (-), 08-Июл-13, 16:35 
> Да нет. Мне просто ехать, а не шашечки.

Мне тоже. И мне совершенно не улыбается идея опилить сначала самосвал до легковушки а потом еще и удивляться - ой, а чего это он даже по идеальному шоссе выше 80 км/ч вообще никак? :)

Ответить | Правка | К родителю #168 | Наверх | Cообщить модератору

201. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +1 +/
Сообщение от AlexAT (ok), 08-Июл-13, 19:00 
Я согласен, что для KV лучше использовать именно KV сторейджи. Но в приличном ряде случаев, а особенно там, где для KV применялся BDB - разница вряд ли будет ощутимой. Плюс вполне возможно, что польза/выигрыш от перехода на SQL с индексами и произвольными выборками будет больше, чем от собственно архитектуры KV.

PS. Очепятался.

Ответить | Правка | Наверх | Cообщить модератору

286. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от Аноним (-), 09-Июл-13, 13:35 
> Я согласен, что для KV лучше использовать именно KV сторейджи. Но в
> приличном ряде случаев, а особенно там, где для KV применялся BDB
> - разница вряд ли будет ощутимой.

KV обычно применяется тем где надо быстро лопатить много записей в примитивном виде. Скуль в этом случае ничего кроме головняка вообще не даст.

> Плюс вполне возможно, что польза/выигрыш от перехода на SQL с индексами
> и произвольными выборками будет больше, чем от собственно архитектуры KV.

В KV априори есть полный индекс по ключу, по другому оно просто работать не умеет :). Там негде выигрывать. Это и так одна из наиболее быстрых опций - непосредственный лукап в стораже без всякого промежуточного балласта. Скулю там негде выиграть по скорости, by design. По крайней мере в key-value применениях.

Скуль имеет смысл для навороченных иерархий с таблицами и прочая - на KV придется сделать то же самое но через тот еще зад и самому. Но если KV уже поюзан - значит задача совсем не о том была.

Ответить | Правка | Наверх | Cообщить модератору

309. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от AlexAT (ok), 09-Июл-13, 14:48 
> KV обычно применяется тем где надо быстро лопатить много записей в примитивном
> виде. Скуль в этом случае ничего кроме головняка вообще не даст.

При этом наблюдаются головняки в виде фильтрации диапазонов записей на уровне приложения.

Ответить | Правка | Наверх | Cообщить модератору

312. "Berkeley DB переведён на лицензию AGPLv3, что привело к..."  +1 +/
Сообщение от arisu (ok), 09-Июл-13, 14:56 
> При этом наблюдаются головняки в виде фильтрации диапазонов записей на уровне приложения.

а это называется «мы узнали модный баззворд». если в задаче часто требуется какое-то навороченое фильтрование, для которого никак не получается вывернуться, зашив нужную информацию в ключи, то авторы промахнулись с инструментом.

Ответить | Правка | Наверх | Cообщить модератору

325. "Berkeley DB переведён на лицензию AGPLv3, что привело к проб..."  +/
Сообщение от Аноним (-), 09-Июл-13, 20:43 
> При этом наблюдаются головняки в виде фильтрации диапазонов записей на уровне приложения.

Да вы, я так смотрю, эксперт по забиванию гвоздей микроскопом. Вы умеете сватать и скуль туда где он не уперся, и kv там где с ним сложно.

Тем не менее, некоторые k/v умеют сортировку записей и/или выборку диапазонов, если уж на то пошло. Насколько оно там подойдет в конкретном случае - вопрос номер два, смотреть надо. Но если подойдет - это будет круто и быстро, ибо все это на уровне нативного представления данных в стораже.

Ответить | Правка | К родителю #309 | Наверх | Cообщить модератору

207. "Berkeley DB переведён на лицензию AGPLv3, что привело к..."  +1 +/
Сообщение от arisu (ok), 08-Июл-13, 19:42 
> Я в курсе. Но из embedded движков логичнее выбрать SQLite, если конечно
> параллелизм на записи не требуется.

LMDB: http://symas.com/mdb/

Ответить | Правка | К родителю #113 | Наверх | Cообщить модератору

289. "Berkeley DB переведён на лицензию AGPLv3, что привело к..."  –1 +/
Сообщение от Аноним (-), 09-Июл-13, 13:43 
> LMDB: http://symas.com/mdb/

mmaped -> на 32-бит платформах лимитирована 4Гб. Это фэйл.

Ответить | Правка | Наверх | Cообщить модератору

299. "Berkeley DB переведён на лицензию AGPLv3, что привело к..."  +1 +/
Сообщение от arisu (ok), 09-Июл-13, 14:10 
>> LMDB: http://symas.com/mdb/
> mmaped -> на 32-бит платформах лимитирована 4Гб. Это фэйл.

скажи, что у тебя за база размером в терабайты? и что за приложение, которое требует, чтобы ко всем этим терабайтам был рандомный доступ всегда? и почему там key/value, когда такие базы явно требуют более сложных выборок?

короче говоря, у тебя или понты ради понтов, или хреновое проектирование и неверно выбраный инструмент.

алсо, если ты ворочаешь такими объёмами данных, то почему у тебя x86? наверняка там сервер с кучей RAM, и лимитировать одну задачу четырьмя гигабайтами как-то очень глупо.

Ответить | Правка | Наверх | Cообщить модератору

303. "Berkeley DB переведён на лицензию AGPLv3, что привело к..."  –1 +/
Сообщение от Аноним (-), 09-Июл-13, 14:33 
> скажи, что у тебя за база размером в терабайты? и что за
> приложение, которое требует, чтобы ко всем этим терабайтам был рандомный доступ
> всегда? и почему там key/value, когда такие базы явно требуют более сложных выборок?

С нетерпением жду когда ты объявишь семантику доступа posix к файлам слишком примитивной и заменишь свою файловую систему на SQLную базу, ога :)

> короче говоря, у тебя или пoнты ради пoнтов, или хрeновое проектирование и
> неверно выбраный инструмент.

Короче говоря, это просто ничем не обоснованный буллшит. Простая и быстрая база вполне может катить для применений где хранится сколько-то гб данных. Отличный пример таких баз - файловые системы, которые по сути оно самое и есть. Ну разве что заоптимизировано под свои специфичные нужды. А по общей логике - напрашивается чтобы тебя потроллить этим применением за излишне generic'овые высказывания :).

> алсо, если ты ворочаешь такими объёмами данных, то почему у тебя x86?

Алсо, я могу прицепить 2-терабайтный винч к вон той 32-битной ARMовской платке по sata. Ничему не противоречит. А вот какой-то совершенно идиoтский лимит нарисовавшийся на ровном месте - двигуну совсем не в плюс.

Не, в целом смотрится любопытно, но вот это свойство все портит. Увы, я такое классифицирую как defective by design.

Ответить | Правка | Наверх | Cообщить модератору

335. "Berkeley DB переведён на лицензию AGPLv3, что привело к..."  +/
Сообщение от AlexAT (ok), 10-Июл-13, 00:04 
> С нетерпением жду когда ты объявишь семантику доступа posix к файлам слишком
> примитивной и заменишь свою файловую систему на SQLную базу, ога :)

MS уже пыталась. Идея, кстати, неплоха, но опять же - не стоит ее везде лепить - только там, где нужен поиск по хреновой туче нечетких критериев.

Ответить | Правка | Наверх | Cообщить модератору

340. "Berkeley DB переведён на лицензию AGPLv3, что привело к..."  +/
Сообщение от Аноним (-), 10-Июл-13, 02:35 
> MS уже пыталась.

Но зафэйлили. И если уж на то пошло, у MS есть собственный весьма забористый ESE storage engine который они никуда выкидывать не собираются и он больше ориентирован на простую но быструю работу нежели на навороты а-ля скуль.

Этот движок используется такими "незначительными" сущностями как active directory и exchange. При том что у MS, заметь, есть и сиквел-сервер, даже у MS хватает ума не впихивать это там где надо натурально быстрый доступ к базе без переусложнений которые бы реально потребовали скуль.

Я конечно понимаю что если упереться рогом в свой долбаный скуль то кажется что мир крутится вокруг него. Но если разуть глаза - можно обнаружить немало интересных фактов, отличающихся от вашего представления о серебряных пулях.

> Идея, кстати, неплоха, но опять же - не стоит ее везде лепить - только там,
> где нужен поиск по хреновой туче нечетких критериев.

В конечном итоге оказалось проще навесить внешний индексатор. И там тоже вроде как никаких скулей не пользуется. Вообще поражают потуги всучивать скуль во все щели, даже туда где он нафиг не уперся и создает только кучу проблем на ровном месте.

Ответить | Правка | Наверх | Cообщить модератору

343. "Berkeley DB переведён на лицензию AGPLv3, что привело к..."  +/
Сообщение от AlexAT (ok), 10-Июл-13, 07:20 
> При том что у MS, заметь, есть и сиквел-сервер, даже у
> MS хватает ума не впихивать это там где надо натурально быстрый
> доступ к базе без переусложнений которые бы реально потребовали скуль.

Имхо просто переделывать некому пока. А насчет SQL - он у них даже в WMI представлен весьма себе неплохо - где он имхо совершенно не нужен.

> В конечном итоге оказалось проще навесить внешний индексатор.

Да и работает он... как внешний индексатор... Многие функцию "поддержки поиска" тупо отключают сразу после инсталла, потому что именно так и реализован.

Ответить | Правка | Наверх | Cообщить модератору

351. "Berkeley DB переведён на лицензию AGPLv3, что привело к..."  +/
Сообщение от Аноним (-), 10-Июл-13, 14:01 
> Имхо просто переделывать некому пока.

Написать SQL сервак есть кому, написать ESE storage есть кому, а переделать некому? Как-то слишком притянуто за ущи звучит. Тем более что ESE и их SQL серверу вроде примерно одинаково лет, плюс-минус лапоть. Просто MS на заре своего развития умудрился набрать вменяемых спецов а не придурков с горящими глазами, лихо забивающих любимом микроскопом гвозди любого калибра. Поэтому с тех времен у них остался ряд достаточно продуманных решений, сделанных специалистами, с задействованием головы. Поэтому кроме всего прочего все это хозяйство работает с достаточно приличной скоростью на достаточно больших объемах данных, что актуально ынтырпрайзникам с AD о десятках миллионов объектов и многими гигазами почты. И даже с учетом безбашенного управления они еще все-таки не все полимеры проср@ли. Вот конкретно эти 2 до сих пор без лобовой замены пока. При желании заменить можно, но возни - будет. И не факт что будет работать так же хорошо. Одна из причин почему MS еще не послали во всех энтерпрайзах, несмотря на геморные условия лицензирования.

> А насчет SQL - он у них даже в WMI представлен весьма себе неплохо - где он имхо
> совершенно не нyжен.

Вот про это - ничего не знаю. Я расписывался лишь за то о чем более-менее в курсе.

> Да и работает он... как внешний индексатор... Многие функцию "поддержки поиска" тупо
> отключают сразу после инсталла, потому что именно так и реализован.

Неа, отключают просто потому что нафиг не упало - те у кого есть мозг обычно и так знают что у них и где лежит. Зачем мне индексатор, если я и так структурую хранение информации и могу быстро найти ее сам? А индексатор по любому будет жрать ресурсы - он по любому должен файлы парсить. Чудес не бывает.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру