форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Выпуск встраиваемой СУБД Sophia 2.1"	+/–
Сообщение от opennews on 24-Янв-16, 21:12
Доступен (https://github.com/pmwkaa/sophia/releases/tag/version_2.1) релиз встраиваемой СУБД Sophia 2.1 (http://sophia.systems/), которая поставляется в форме разделяемой библиотеки, предоставляющей API для обработки данных. Код Sophia написан на языке Си и поставляется (https://github.com/pmwkaa/sophia) под лицензией BSD. СУБД рассчитана на обеспечение очень большой скорости записи и чтения при работе с данными небольшого и среднего размера. Данные сохраняются на диске с использованием лог-подобного хранилища, работающего в режиме постоянного пополнения (append-only). В отличие от других лог-подобных хранилищ, метод хранения в Sophia не ограничивается высокой скоростью записи, но также оптимизирован для обеспечения высокой скорости произвольного чтения данных и выборки диапазонов значений. Начиная с версии 2.1 СУБД Sophia позиционируется как гибридное RAM/Disk-хранилище, использующее для хранения как ОЗУ так и диск, и позволяющее автоматически разделять "горячие" и "холодные" данные (обновлённые и не изменявшиеся). Поддерживаются следующие технологии: -  Дисковое хранение - для хранения используется жесткий диск или Flash-память. Запись кешируется в памяти для последующего сброса на диск. -  Анти-кеширование - оперативная память становится основным хранилищем. Холодные данные читаются с диска или Flash-памяти. -  Постоянное кеширование - Второе хранилище используется в паре как LRU-кеш в оперативной или Flash-памяти для горячих данных. Холодные и горячие данные дублируются в основном хранилище. -  Постоянное хранение в памяти - данные хранятся в оперативной памяти и постоянно сохраняются на диске. Поддерживается сжатие данных в памяти. Из других улучшений в новом выпуске можно отметить режим LRU (https://github.com/pmwkaa/sophia/blob/59c71c73d2aa056605de94...) для вытеснения старых данных из кеша, возможность раздельного сжатия "горячих" и "холодных" данных, реализация фильтра приблизительной выборки (AMQ (https://github.com/pmwkaa/sophia/blob/59c71c73d2aa056605de94...), Approximate Member Query), поддержка снапшотов для быстрого восстановления после сбоя,  реорганизация операций UPSERT (https://github.com/pmwkaa/sophia/blob/59c71c73d2aa056605de94...) (добавить-или-модифицировать), новый режим восстановления целостности, дополнительные метрики для мониторинга (https://github.com/pmwkaa/sophia/blob/59c71c73d2aa056605de94...) производительности. Основные особенности СУБД Sophia: -  Быстрая запись (Append-Only) и оптимизация на чтение; -  Соответствие требованиям ACID (атомарность, согласованность, изолированность, надежность); -  MVCC-движок для обеспечения одновременного конкурентного доступа к БД (Multi-Version Concurrency Control); -  Транзакции, которые могут охватывать несколько операций; -  Консистентные курсоры; -  Снапшоты; -  Возможность хранения нескольких БД в одном файле; -  Поддержка сериализированных представлений; -  Многопоточный движок и возможность использования в многопоточных приложениях; -  Поддержка создания горячих бэкапов, создаваемых на лету без приостановки работы; -  Простой API, лёгкая интеграция с приложениями, отсутствие сторонних зависимостей. Для работы требуется только два файла на языке Си. URL: http://sophia.systems/ Новость: https://www.opennet.ru/opennews/art.shtml?num=43727
Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "Выпуск встраиваемой СУБД Sophia 2.1"	–3 +/–
Сообщение от 10й Брейтовский переулок on 24-Янв-16, 21:12
>  Быстрая запись (Append-Only) и оптимизация на чтение; база 15-20 гигов тормозить будет?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	2. "Выпуск встраиваемой СУБД Sophia 2.1"	+6 +/–
	Сообщение от Devider (ok) on 24-Янв-16, 21:55
	У Вас, видимо, будет.
	Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "Выпуск встраиваемой СУБД Sophia 2.1"	+/–
Сообщение от Lester on 25-Янв-16, 02:36
> Снапшоты Заинтересовался, но, к сожалению, оказалось чисто внутренней деталью реализации, а не полноценным статичным срезом данных как, например, в leveldb. > Для работы требуется только два файла на языке Си. А вот это бывает удобно.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	4. "Выпуск встраиваемой СУБД Sophia 2.1"	–1 +/–
	Сообщение от Аноним (??) on 25-Янв-16, 05:49
	Подумал, что вся СУБД состоит из 2-х файлов. Как бы не так.
	Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

	7. "Выпуск встраиваемой СУБД Sophia 2.1"	–1 +/–
	Сообщение от Lester on 25-Янв-16, 11:35
	В SQLite тоже много файлов, которые потом собирают в один .c. Тут аналогично, есть возможность сгенерировать единый .c файл, специально проверил.
	Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

5. "Выпуск встраиваемой СУБД Sophia 2.1"	+/–
Сообщение от Аноним (??) on 25-Янв-16, 07:13
Честно говоря ребята молодцы. Но когда тестировали у нас проиграло на чтение rocketdb.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

6. "Выпуск встраиваемой СУБД Sophia 2.1"	–1 +/–
Сообщение от lex (??) on 25-Янв-16, 10:02
Пользовал первую версию, было громко заявлено о скоростях и прочем. ~1000000 записей вида логин_твитера=ид_твитера и база стала весить 30ГБ и встала колом, диск лёг. Я верю, что новые версии лучше, но осадок остался.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	14. "Выпуск встраиваемой СУБД Sophia 2.1"	+/–
	Сообщение от funny.falcon on 25-Янв-16, 19:04
	Ну, архитектура с тех пор сильно изменилась. Уверен, сейчас будет ощутимо юзабельнее.
	Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

8. "Выпуск встраиваемой СУБД Sophia 2.1"	+/–
Сообщение от Аноним (??) on 25-Янв-16, 14:35
"встраиваемая СУБД" какие в опу 30Гб на базу? Она же не для таких вещей
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	15. "Выпуск встраиваемой СУБД Sophia 2.1"	+/–
	Сообщение от funny.falcon on 25-Янв-16, 19:05
	У некоторых SQLite терабайтами ворочает, и они только нахваливают.
	Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

	18. "Выпуск встраиваемой СУБД Sophia 2.1"	–1 +/–
	Сообщение от Кирилл (??) on 25-Янв-16, 22:26
	> У некоторых SQLite терабайтами ворочает, и они только нахваливают. "Не верю" SQLite это вообще чумное убожество. Хотя чего ждать от поколения твиттера и ми-ми-ми.
	Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

	21. "Выпуск встраиваемой СУБД Sophia 2.1"	–1 +/–
	Сообщение от funny.falcon on 26-Янв-16, 01:08
	Как бы, у всех свои задачи. Ссылку, где я в оригинале увидел такой claim не нашёл :( . Ну вот пример другой http://www.evanjones.ca/sqlite-for-data-analysis.html В общем, для аналитики вполне может свой хлеб отработать :) Но, понятно, OLTP на таком объёме SQLite не потянет. Но, Sophia, уверен, несколько сот гигабайт смело потянет.
	Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

	25. "Выпуск встраиваемой СУБД Sophia 2.1"	+/–
	Сообщение от Аноним (??) on 27-Янв-16, 22:23
	некоторые 'встраиваемые' БЫ - и побольше. вот если бы она на 50 Терабайт была, тогда да, было бы нетипично для.
	Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

9. "Выпуск встраиваемой СУБД Sophia 2.1"	–3 +/–
Сообщение от Кирилл (??) on 25-Янв-16, 15:26
Зачем это нужно? Кто объяснит? И почему подобное называется БД коль элементарно acid-у не соответствует ни в малейшей степени? Это не БД, а просто некий механизм по оперативной работе с несущественными данными без гарантированной персистентности на уровне софта. Для тех, кто нефига не понимает, что делает.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	11. "Выпуск встраиваемой СУБД Sophia 2.1"	–1 +/–
	Сообщение от Кирилл (??) on 25-Янв-16, 15:41
	Похоже, я погорячился. Заявлено много чего.
	Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

	16. "Выпуск встраиваемой СУБД Sophia 2.1"	+/–
	Сообщение от Аноним (??) on 25-Янв-16, 21:45
	Вы бы еще CAP-теорему вспомнили
	Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

	17. "Выпуск встраиваемой СУБД Sophia 2.1"	–2 +/–
	Сообщение от Кирилл (??) on 25-Янв-16, 22:21
	Э, как бы сформулировать... Никакой САР-теоремы не существует. Гетерогенные системы можно делать какими угодно, хоть согласованными всегда, хоть -- иногда. Этому никаких принципиальных препятствий нет.
	Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

	20. "Выпуск встраиваемой СУБД Sophia 2.1"	+/–
	Сообщение от Аноним (??) on 25-Янв-16, 23:36
	Да вы батенька освежите в памяти САР-теорему, прежде чем разглагольствовать. Консистентность входит только в два из трех вариантов.
	Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

	22. "Выпуск встраиваемой СУБД Sophia 2.1"	+/–
	Сообщение от Кирилл (??) on 26-Янв-16, 13:11
	Консистентность. Это что такое? Переведите. Вы понимаете, что это значит вообще? Ещё раз, никакой "САР-теоремы" не существует. Это просто маркетинговое обоснование для убожественных систем. В результате подобной лапши, например, в РФ внедрили в одной гос. организации "распределённую NoSQL-систему документооборота" и получили, что уже заверенный кадастровый договор ещё пару месяцев болтается в различных статусах в дебрях этого очень NoSQL-решения. А на основе этих статусов пеня начисляется и всякие письма автоматом штампуются совершенно от всего этого бардака очумевшему клиенту. Сказки клиентам выдумывать и рассказывать дело, иногда, нужное и важное. Главное -- самому случайно в них не уверовать. САР-теорема или, например, "ортогональность реляционной модели и объектной", "разработка через тестирование" -- всё из той же оперы.
	Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

	23. "Выпуск встраиваемой СУБД Sophia 2.1"	+/–
	Сообщение от Аноним (??) on 26-Янв-16, 19:35
	>Консистентность. Это что такое? Переведите. Перевожу на твой https://ru.wikipedia.org/wiki/Согласованность_данных >Вы понимаете, что это значит вообще? Ещё раз, никакой "САР-теоремы" не существует. Больше нам с вами говорить смысла не имеет, я бесплатными образовательными курсами на форумах не занимаюсь.
	Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

	24. "Выпуск встраиваемой СУБД Sophia 2.1"	+/–
	Сообщение от Кирилл (??) on 26-Янв-16, 22:24
	Хотя на этом -- спасибо: что хотя бы бесплатно маразм не распространяете.
	Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

	19. "Выпуск встраиваемой СУБД Sophia 2.1"	+/–
	Сообщение от Led (ok) on 25-Янв-16, 23:18
	> Зачем это нужно? Кто объяснит? У тебя точно есть родной брат, тоже Кирилл.
	Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

12. "Выпуск встраиваемой СУБД Sophia 2.1"	–3 +/–
Сообщение от Кирилл (??) on 25-Янв-16, 15:48
Вот все эти мантры по in-ram processing они о чём? В общем-то, все основные СУБД с оперативными данными работают по возможности с самым быстрым устройством ввода-вывода. В чём отличие вот этого от того, что, ну, скажем, в том же Оракле? Тот тоже использует wal и отложенный сброс на диск грязных блоков, а изменения обслуживаются в рамках mvcc с согласованием по времени. Что выбирать в память тоже довольно гибко настраивается. Но почему-то оракл (ну или слона) гордо не именуют in-ram processing-ом, хотя он там в полный рост есть?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	13. "Выпуск встраиваемой СУБД Sophia 2.1"	–2 +/–
	Сообщение от Кирилл (??) on 25-Янв-16, 15:49
	А, понятно, это же встраиваемое решение.
	Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема