The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

11.05.2017 11:50  Первый стабильный выпуск отказоустойчивой СУБД CockroachDB

Состоялся первый стабильный выпуск распределённой СУБД CockroachDB, позволяющей создавать высоконадёжные горизонтально масштабируемые хранилища. При помощи CockroachDB можно развернуть географически распределённые системы, отличающиеся высокой живучестью и не зависящие от сбоев дисков, узлов и даже выхода из строя целых центров обработки данных. Ситуации сбоев обрабатываются автоматически и работа восстанавливается с минимальными задержками. При этом CockroachDB гарантирует целостность ACID-транзакций, предоставляет возможность использования SQL для манипуляции с данными, позволяет вносить изменения в схему хранения на лету, поддерживает индексы и внешние ключи.

CockroachDB разработан под впечатлением от технологий Google Spanner и F1, но в отличие от них является полностью открытым продуктом. Код проекта написан на языке Go и распространяется под лицензией Apache 2.0. Из наиболее подходящих для CockroachDB применений отмечается организация хранения данных приложений, от которых требуется постоянная доступность и целостность данных, а также гибкая масштабируемость (расширение сводится к добавлению новых узлов, которые автоматически включаются в кластер).

CockroachDB предоставляет средства для автоматической репликации, ребалансировки хранилища, обнаружения сбоев и восстановления, при минимальной настройке и обслуживании, что отлично подходит для создания распределённых хранилищ и облачных решений, развёртываемых поверх нескольких центров обработки данных. Система обработки транзакций соответствует требованиям ACID. Обмен данными между узлами производится с использованием шифрования. Аутентификация выполняется на основе SSL-сертификатов. Для клиентов предусмотрена система разделения привилегий. Для приложений предоставляется высокоуровневый SQL API (урезанное подмножество SQL), совместимый с клиентскими драйверами для PostgreSQL.

Из ограничений CockroachDB отмечается плохая пригодность для решений, требующих очень низкого времени отклика при выполнении операций записи и чтения. CockroachDB также плохо адаптирован для нагруженных систем обработки аналитической информации (OLAP), манипулирующих сразу большими срезами данных, и плохо оптимизирован для выполнения сложных SQL-запросов со слиянием нескольких таблиц (JOIN). В версии CockroachDB 1.0 разработчики попытались частично решить проблемы со сложными запросами и представили новый движок распределённого выполнения запросов, допускающий выполнение операций JOIN над данными, распределёнными по разным узлам. Новый движок позволяет добиться линейного ускорения аналитических запросов при добавлении новых узлов в кластер. Новая система уже используется в компании Baidu для обработки БД, расширяющейся примерно на два миллиарда записей в день.

На низком уровне данные хранятся в формате RocksDB (вариант LevelDB) в виде связок ключ/значение с разбивкой на сегменты, охватывающие определённый диапазон данных (по умолчанию размер сегмента - 64MB). После заполнения сегмента данные разбиваются на два новых сегмента, каждый из которых охватывает более узкий диапазон значений, и этот процесс разбиения производится непрерывно. При наличии нескольких узлов образуемые новые сегменты автоматически распределяются на узлы, на которых больше свободных ресурсов. Ребалансировка производится с использованием P2P-протокола gossip, который помогает поддерживать информацию о доступных адресах узлов и состоянии их ресурсов.

Для обеспечения отказоустойчивости данные реплицируются на несколько узлов, на основе которых строится кластер без единой точки отказа, способный работать в режиме multi-active. Для обеспечения непротиворечивости реплик при записи используется метод достижения консенсуса на основе алгоритма Raft. Для обеспечения непротиворечивости операций чтения используется собственный алгоритм синхронизации на основе временных меток. В рамках одной транзакции могут охватываться данные с разных узлов. При репликации данных учитывается топология кластера - дубликаты создаются с учётом обеспечения резервирования разных серверов, стоек и ЦОД.

  1. Главная ссылка к новости (https://www.cockroachlabs.com/...)
  2. OpenNews: Релиз распределенной системы хранения конфигурации etcd 3.1
  3. OpenNews: Facebook открыл код распределённого SQL-движка для петабайтных хранилищ
  4. OpenNews: LinkedIn открыл код распределённого OLAP-хранилища Pinot
  5. OpenNews: Выпуск распределённого хранилища Ceph 10.2.0
  6. OpenNews: Доступна распределённая графо-ориентированная СУБД Dgraph 0.4
Лицензия: CC-BY
Тип: Интересно / Программы
Ключевые слова: cockroachdb, database
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Линейный вид | Ajax | Показать все | RSS
 
  • 1.1, cmp, 12:58, 11/05/2017 [ответить] [смотреть все]
  • –14 +/
    > написан на языке Go

    Задолбали уже, 2 новости про это как всегда не будет.

     
     
  • 2.3, Crazy Alex, 14:03, 11/05/2017 [^] [ответить] [смотреть все] [показать ветку]
  • +2 +/
    Да хрен его знает Если, вон, Байду использует - значит, оно хоть как-то живое... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.4, cmp, 14:38, 11/05/2017 [^] [ответить] [смотреть все]  
  • –14 +/
    Да надо отдельный стрим делать новостей от британских ученых и разрабов на го, я... весь текст скрыт [показать]
     
     
  • 4.5, F, 14:44, 11/05/2017 [^] [ответить] [смотреть все]  
  • +3 +/
    Во-первых, надо уметь готовить Во-вторых, в промышленном использовании Java и G... весь текст скрыт [показать]
     
  • 4.9, Crazy Alex, 16:03, 11/05/2017 [^] [ответить] [смотреть все]  
  • +/
    а что там в Go с тормозами?
     
     
  • 5.13, _, 17:09, 11/05/2017 [^] [ответить] [смотреть все]  
  • +/
    Не хуже чем у других! (С)   :-)
     
  • 4.11, _, 17:03, 11/05/2017 [^] [ответить] [смотреть все]  
  • +1 +/
    Как страшно жить С Мучайся, Go взлетел и его вокруг будет только больше и бол... весь текст скрыт [показать]
     
     
  • 5.30, cmp, 01:12, 12/05/2017 [^] [ответить] [смотреть все]  
  • +/
    Ага, как и ява, 10 15 лет обещают, что она будет сравнима по скорости с СИ и... весь текст скрыт [показать]
     
     
  • 6.33, лютый жабист__, 06:43, 12/05/2017 [^] [ответить] [смотреть все]  
  • +/
    Про жрать меньше памяти - норкоманов не слушай В жабе не ломают совместимость... весь текст скрыт [показать]
     
     
  • 7.34, Аноним, 07:25, 12/05/2017 [^] [ответить] [смотреть все]  
  • +3 +/
    Найдите нормально сишнека и не позорьтесь со своими выводами Хотя нет, позорьте... весь текст скрыт [показать]
     
     
  • 8.36, лютый жабист__, 07:36, 12/05/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    Нормальный сишник это такая сущность, которая обитает в Астрале, которая может, ... весь текст скрыт [показать]
     
     
  • 9.38, Аноним, 07:45, 12/05/2017 [^] [ответить] [смотреть все]  
  • +/
    Ваш ограниченное окружение вкупе с правильно мнение -- только мое мнение завед... весь текст скрыт [показать]
     
     
  • 10.39, лютый жабист__, 08:18, 12/05/2017 [^] [ответить] [смотреть все]  
  • +/
    IBMовские mainframe-ы исполняют сразу жабу У тебя нету мэйнфрэйма Наверное и н... весь текст скрыт [показать]
     
     
  • 11.41, Аноним, 10:34, 12/05/2017 [^] [ответить] [смотреть все]  
  • +/
    Если джава такая замечательная, то почему она написана на тормозном C Совпаде... весь текст скрыт [показать]
     
     
     
    Часть нити удалена модератором

  • 13.45, cmp, 12:16, 12/05/2017 [ответить] [смотреть все]  
  • +/
    Ява быстрее си, ахахаха, тебя псаки покусала или ты с рождения такой?
     
     
  • 14.50, Аноним, 13:30, 12/05/2017 [^] [ответить] [смотреть все]  
  • +3 +/
    Я думаю что он пишет на Си так что у него всегда Java быстрее работает А понять... весь текст скрыт [показать]
     
     
  • 15.56, лютый жабист__, 20:04, 12/05/2017 [^] [ответить] [смотреть все]  
  • +/
    Пока ты будешь на своём анси си реализовывать хэшмэп, я 50 раз закончу всю прогу... весь текст скрыт [показать]
     
     
  • 16.60, Аноним, 21:42, 12/05/2017 [^] [ответить] [смотреть все]  
  • +4 +/
    Как там говорится, слив защитан Причем тут скорость разработки и скорость ЯП Н... весь текст скрыт [показать]
     
  • 16.61, Аноним, 21:55, 12/05/2017 [^] [ответить] [смотреть все]  
  • +1 +/
    Ты действительно думаешь что это честное сравнение Ты либо глуn, либо Береш... весь текст скрыт [показать]
     
     
  • 17.67, лютый жабист__, 08:22, 13/05/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    Это моя проблема, что в core java есть много плюшек, которых у вас нет Назвался... весь текст скрыт [показать]
     
     
  • 18.72, Аноним, 13:01, 14/05/2017 [^] [ответить] [смотреть все]  
  • +1 +/
    Ты всегда берешь кассандру без постановки задачи И как связано взятие чего-т... весь текст скрыт [показать]
     
  • 16.65, cmp, 07:13, 13/05/2017 [^] [ответить] [смотреть все]  
  • +/
    Да есть готовые, полно, но на 10к элементов они показывают худшие результаты по ... весь текст скрыт [показать]
     
     
  • 17.68, лютый жабист__, 08:24, 13/05/2017 [^] [ответить] [смотреть все]  
  • –2 +/
    8 прохладны твои былины, бро ... весь текст скрыт [показать]
     
  • 12.57, Адепт Анонима, 20:44, 12/05/2017 [^] [ответить] [смотреть все]  
  • +/
    Никто не спорит, что при грамотной писанине на Си программа будет быстрее и памя... весь текст скрыт [показать]
     
     
  • 13.62, Аноним, 22:00, 12/05/2017 [^] [ответить] [смотреть все]  
  • +/
    Да, все вроде бы верно, но время Java проходит По инерции еще будет держаться в... весь текст скрыт [показать]
     
     
  • 14.63, Адепт Анонима, 00:12, 13/05/2017 [^] [ответить] [смотреть все]  
  • +/
    Выйграть битву не значит выйграть войну Построение больших систем требует компл... весь текст скрыт [показать]
     
     
  • 15.66, Аноним, 08:12, 13/05/2017 [^] [ответить] [смотреть все]  
  • +/
    Прочел вас и вспомнил AT T которая считала рынок и свое положение непоколебимым ... весь текст скрыт [показать]
     
     
  • 16.71, Адепт Анонима, 23:52, 13/05/2017 [^] [ответить] [смотреть все]  
  • +/
    Хотя вы не указали что-то конкретное, я уважаю ваше мнение и думаю, что оно впол... весь текст скрыт [показать]
     
  • 9.69, Ydro, 13:47, 13/05/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    У меня программирование - домашнее хобби, в итоге Сто раз читал книги по Jave -... весь текст скрыт [показать]
     
     
  • 10.70, Led, 22:47, 13/05/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    Сбегай за пивом и Подавай ужин - это не программирование ... весь текст скрыт [показать]
     
  • 8.51, Вареник, 16:29, 12/05/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    Кто-то никогда не поймет разницы между небольшим драйвером с одним потоком коман... весь текст скрыт [показать]
     
  • 6.43, диванный аналитик, 11:08, 12/05/2017 [^] [ответить] [смотреть все]  
  • +/
    В реальном мире программные продукты пишут ради денег Java позволяет получить д... весь текст скрыт [показать]
     
     
  • 7.48, cmp, 12:34, 12/05/2017 [^] [ответить] [смотреть все]  
  • +/
    А еще воруют, убивают и насилуют в реальном мире, причем кое-где тоже за деньги ... весь текст скрыт [показать]
     
     
  • 8.52, Вареник, 16:32, 12/05/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    Поэтому насильники-профессионалы предпочитают средненький но практичный Глок эпи... весь текст скрыт [показать]
     
     
  • 9.54, cmp, 17:44, 12/05/2017 [^] [ответить] [смотреть все]  
  • +/
    профессионалы это кто например армия тупил в сирии, которые сами себя убивают ... весь текст скрыт [показать]
     
  • 3.28, БорБор, 22:56, 11/05/2017 [^] [ответить] [смотреть все]  
  • –3 +/
    Единственное мое знакомство с этой компанией произошло, когда с рабочего компа м... весь текст скрыт [показать]
     
     
  • 4.32, funny.falcon, 06:39, 12/05/2017 [^] [ответить] [смотреть все]  
  • +/
    Яндекс использует Прувы не дам, самому сорока на хвосте принесла Но той сороке... весь текст скрыт [показать]
     
  • 4.75, Zver, 15:09, 14/05/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    Яндекс по среавнению с Байду маленькая пупырка ... весь текст скрыт [показать]
     
  • 2.19, Аноним, 21:01, 11/05/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • +2 +/
    Согласен: нужно давно все переписать на JavaScript.
     
     
  • 3.25, Аноним, 21:26, 11/05/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    На Typescript!
     
  • 1.2, Crazy Alex, 14:01, 11/05/2017 [ответить] [смотреть все]  
  • +1 +/
    Ну, для дураков, наверное, встроенное шифрование - это хорошо, но вообще-то - комбайн. Это разные уровни и они должны реализовываться независимо. А здесь - прибили гвоздями к SSL...
     
     
  • 2.6, F, 14:46, 11/05/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • –1 +/
    Оно во всех БД нынче есть Не хочешь - не включай, но как фича нужно, чтобы для ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.8, Crazy Alex, 16:02, 11/05/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    Ну разве что для сравнения но это какой-то странный аргумент Скорее поверю, ... весь текст скрыт [показать]
     
     
  • 4.12, пох, 17:03, 11/05/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    датацентр с суммарным out больше 10G, например внутреннего, что характерно, бай... весь текст скрыт [показать]
     
     
  • 5.14, Crazy Alex, 17:42, 11/05/2017 [^] [ответить] [смотреть все]  
  • +/
    э ну и завернуть в шифрованный канал только то, что нужно защищать, нет Не о... весь текст скрыт [показать]
     
     
  • 6.15, Аноним, 18:08, 11/05/2017 [^] [ответить] [смотреть все]  
  • +/
    Вы еще скажите, что QR-коды и вебсервак, собственный su, cron, calendar, netcat,... весь текст скрыт [показать]
     
     
  • 7.16, Аноним, 19:09, 11/05/2017 [^] [ответить] [смотреть все]  
  • +1 +/
    Серьезная как раз не должна.
     
     
  • 8.21, Аноним, 21:05, 11/05/2017 [^] [ответить] [смотреть все]  
  • +/
    А systemd шуточная получается? Надо же.
     
     
  • 9.26, Аноним, 21:28, 11/05/2017 [^] [ответить] [смотреть все]  
  • +/
    Не знаю, но systemd точно от клоунов QR-код в систему инициализаци ахаха, рж... весь текст скрыт [показать]
     
  • 7.27, Crazy Alex, 22:03, 11/05/2017 [^] [ответить] [смотреть все]  
  • +/
    А я это так и говорил Причём всё это безумие отлично отражает безумие в самом к... весь текст скрыт [показать]
     
  • 6.35, Аноним, 07:29, 12/05/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    Не учи -- не научатся Все давно придумано IPSec А шифрование в БД сделано для... весь текст скрыт [показать]
     
     
  • 7.46, пох, 12:17, 12/05/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    ну вот покажите мне датацентр, работающий на ipsec - для начала а что, отличн... весь текст скрыт [показать]
     
     
  • 8.58, Аноним, 21:26, 12/05/2017 [^] [ответить] [смотреть все]  
  • +/
    Чей ДЦ Гугла Вы про что Гугл может и строит свои ДЦ Крупный провайдеры строя... весь текст скрыт [показать]
     
     
  • 9.59, Аноним, 21:34, 12/05/2017 [^] [ответить] [смотреть все]  
  • +/
    s 1000 до 50000 тыс запросов 1000 до 50000 запросов Да, всего 50 тыс запросов... весь текст скрыт [показать]
     
  • 9.78, пох, 00:11, 15/05/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    дорогой админ локалхоста, вынужден сообщить тебе страшное датацентры бывают не ... весь текст скрыт [показать]
     
     
  • 10.85, Аноним, 21:34, 15/05/2017 [^] [ответить] [смотреть все]  
  • +/
    Ты бы почитал про MPLS Тебе чтоли все разжевывать надо Если что, то я имел вви... весь текст скрыт [показать]
     
     
  • 11.86, пох, 16:08, 17/05/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    > Ты бы почитал про MPLS.

    спасибо, поржал.


     
  • 5.22, qsdg, 21:21, 11/05/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    Раньше гугля и не обязывал внутренний свой трафик между серверами шифровать Пок... весь текст скрыт [показать]
     
     
  • 6.37, Аноним, 07:36, 12/05/2017 [^] [ответить] [смотреть все]  
  • +/
    И что, что прослушивали У них там пароли в открытом виде чтоли передавались Ил... весь текст скрыт [показать]
     
     
  • 7.40, qsdg, 08:32, 12/05/2017 [^] [ответить] [смотреть все]  
  • +/
    Вы не поняли Внутренний трафик гугла это, например, репликация БД всяких серв... весь текст скрыт [показать]
     
  • 6.47, пох, 12:20, 12/05/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    они сейчас шифруют _собственную_ n 10G опту между площадками - без всяких между... весь текст скрыт [показать]
     
     
  • 7.53, Вареник, 16:36, 12/05/2017 [^] [ответить] [смотреть все]  
  • +/
    Вот именно Пусть NSA покупают украденную у пользователей всего мира инфу, а не ... весь текст скрыт [показать]
     
  • 1.7, xm, 15:41, 11/05/2017 [ответить] [смотреть все]  
  • +1 +/
    Название, конечно, доставляет. Такое, buggy :-D
     
     
  • 2.17, Anonim, 19:48, 11/05/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Тараканы и жуки в не очень родственных отношениях
     
     
  • 3.23, qsdg, 21:22, 11/05/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    Да и в холодных странах с тараканами легко справлялись -- уходили зимой ночевать... весь текст скрыт [показать]
     
  • 1.10, Аноним, 16:43, 11/05/2017 [ответить] [смотреть все]  
  • +/
    Каждый считает своим долгом в первый стабильный релиз добавить слова отказоусто... весь текст скрыт [показать]
     
     
  • 2.20, Аноним, 21:04, 11/05/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • +1 +/
    Почему каждый? Это неправда.
     
  • 2.24, qsdg, 21:24, 11/05/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • +1 +/
    Но, к их чести, они сперва проконсультировались с Aphyr почти год назад https ... весь текст скрыт [показать] [показать ветку]
     
  • 2.49, пох, 12:55, 12/05/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • –2 +/
    не каждый понимает, что в данном случае решали именно задачу отказозащиты - для ... весь текст скрыт [показать] [показать ветку]
     
  • 1.55, anonymous, 17:53, 12/05/2017 [ответить] [смотреть все]  
  • +/
    люди подскажите чем вы пользуетесь для хранения пусть просто key-value, но гарантированного хранения с записью на диск (возможно с одновременной синхронной записью на slave, хотя по идее можно просто хранить на raid) и масштабированием (подключением/отключением/ребалансировкой серверов без brain split как у всяких cassandra/riak).

    что вы используете? SQL со своими сложными костылями для шардинга?
    mongodb с шардингом из коробки? что-то еще?

     
     
  • 2.76, нах, 15:30, 14/05/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • –1 +/
    осспадя - да nosql-ей - мильен с тыщами, не монгой единой кто что осилил, тем и... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.77, Zver, 15:52, 14/05/2017 [^] [ответить] [смотреть все]  
  • –2 +/
    Да вот как раз позиционируется как strongly-consistent ACID И я не про НоСКУЛ, ... весь текст скрыт [показать]
     
     
  • 4.79, пох, 00:33, 15/05/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    я нарочно подчеркнул - надежность _хранения_ То есть она strongly от разваливан... весь текст скрыт [показать]
     
     
  • 5.80, Zver, 04:35, 15/05/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    Соответствие ACID подразумевает сохранность данных после завершения транзакции ... весь текст скрыт [показать]
     
     
  • 6.81, лютый жабист__, 07:49, 15/05/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    При этом надо учитывать, что документ в Монге это аналог слепленных в РДБМС jo... весь текст скрыт [показать]
     
     
  • 7.82, пох, 09:06, 15/05/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    скорее аналог ненормализованной таблицы Если бы этим все и ограничивалось, монг... весь текст скрыт [показать]
     
  • 3.83, anonymous, 10:05, 15/05/2017 [^] [ответить] [смотреть все]  
  • +/
    я делал такие костыли поверх SQL и даже свою сетевую файловую систему писал, но ... весь текст скрыт [показать]
     
     
  • 4.84, пох, 12:14, 15/05/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    > мне сейчас нужно создать масштабируемую систему и либо я сейчас буду опять с нуля писать
    > мегахитрые костыли поверх SQL либо возьму что-то уже готовое.

    при таком раскладе я бы скачал китайский код, и начал его читать - не в плане как они это сделали, а в плане - я смогу это _сам_ без помощи китайцев поддерживать и менять в нужную мне сторону, или оно так написано что ну его нафиг.
    Потому что поддерживать и менять в такой постановке задачи все равно придется. А тут за тебя, зато, китаец цельный облачный sql написал.

     
  • 1.73, Zver, 15:01, 14/05/2017 [ответить] [смотреть все]  
  • –2 +/
    Прощай Монга и MySQL?
    Как оно вообще? Кто-нибудь тестировал, использовал? Действительно ли так хороша, как описывают?
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2017 by Maxim Chirkov  
    ДобавитьРекламаВебмастеруГИД  
    Hosting by Ihor TopList