The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Балансировка нагрузки и отказоустойчивые системы

   Корень / Программы для администратора / Clusters / Балансировка нагрузки и отказоустойчивые системы

!!!-* HighUpTime Project - high availability clustering system. [+]
[обсудить]
 Набор приложений под FreeBSD для организации высоконадежного (HA) кластера. Система состоит из двух частей: Loadd - Load Balancing Daemon (для распределения нагрузки на все сервера кластера) и Vrrpd - VRRP Daemon (для резервирования, определение целостности сети и переключение режимов работы сервера master/slave).
 
!!!-* mod_backhand - load-balancing proxy module (используется на Rambler) (Версия: 1.2.1 от 2001-12-13) [+]
[обсудить]
 mod_backhand - позволяет обьединить несколько web-серверов в кластер, с равномерным распределением нагрузки, обслуживающий один высокозагруженный ресурс.
 
----* OpenSVC - clustered service manager [+]
[обсудить]
 Менеджер кластерных сервисов OpenSVC распространяется в рамках лицензии GPLv2 и предназначен для автоматизации работы по реплицированию ресурсов (контейнер виртуальной машины, IP, содержимое файловых систем и т.п.) между несколькими машинами. В комплекте с heartbeat-демоном OpenSVC может использоваться для обеспечения работы отказоустойчивых конфигураций. В качестве методов синхронизации данных поддерживаются: rsync+snap, zfs, netapp, emc, drbd.
 
----* Thrudb - indexing and document storage services [+]
[обсудить]
 Thrudb предназначен для индексирования и хранения документов. Код системы основан на наработках социальной сети Facebook, поддерживается интеграция с системами кеширования Memcache и Spread, в качестве бэкенда для конечного хранения данных может использоваться BerkeleyDB, Disk, MySQL, S3.
 
----* beanstalkd - fast, distributed, in-memory workqueue service [+]
[обсудить]
 Демон для обработки очередей заданий (один процесс кидает данные в очередь, другой забирает), как и memcached хранит данные только в памяти. Подходит для оптимизации высоконагруженных систем, опробован в рамках проекта Facebook.
 
----* memcachedb - distributed key-value storage system [+]
[обсудить]
 Модифицированная версия memcached с сохранением кэша на диск, предназначена для надежного постоянного хранения данных для систем с очень большой интенсивностью операций чтения и записи. Протокол совместим с memcached. Для хранения на диске используется Berkeley DB.
  • Tugela - распределенное хранилище хэшей на дисках, на базе memcached и Berkeley DB, разработано в рамках проекта MediaWiki.
  • File cache - система кэширования данных в файловой системе от проекта MediaWiki;
  • Другие распределенные хранилища для хранение данных в формате ключ/значение: Tokyo Tyrant/Cabinet; Facebook Cassandra; Redis; LinkedIn Project Voldemort;
  • Apache CouchDB - документо-ориентированна БД работающая в стиле MapReduce. См. также проект Riak;
  •  
    ----* HA/FST - High Availability for Solaris [+]
    [обсудить]
     Бесплатный и открытый пакет для создания небольших (до 4 узлов) высоконадежных кластеров из машин с Solaris.
     
    ----* HAProxy - Reliable, High Performance TCP/HTTP Load Balancer (Версия: 1.4.24 от 2013-06-19) [+]
    [обсудить]
     Высокопроизводительный прокси/балансировщик для TCP соединений, с поддержкой протокола HTTP.
     
    ----* linuxha - Linux Replicated High Availability Manager [+]
    [обсудить]
     Пакет позволяющий организовать высокодоступный кластер, состоящий из двух обычных машин, работающих под ОС Linux. Данные реплицируются с одной машины на другую посредством DRBD.
     
    ----* CLUSTERIP - Cluster IP hashmark target [+]
    [обсудить]
     Модуль к iptables, позволяющий использовать один multicast MAC адрес на всех серверах кластера. Приняв запрос, за нодой кластера закрепляется обработка всех пакетов пришедших с клиентского IP (также можно учитывать порт назначения и отправки пакета).Пример:
  • Нода 1: iptables - A INPUT - d 192.168.1.1 - i eth0 - p tcp --dport 80 - j CLUSTERIP --new --hashmode sourceip --clustermac 01:23:45:67:89:AB --total- nodes 2 --local-node 1
  • Нода 2: iptables - A INPUT - d 192.168.1.1 - i eth0 - p tcp --dport 80 - j CLUSTERIP --new --hashmode sourceip --clustermac 01:23:45:67:89:AB --total- nodes 2 --local-node 2
  •  
    ----* pbl - Pure Load Balancer for Unix [+]
    [есть мнение]
     Pure Load Balancer - высокопроизводительный балансировщик нагрузки для протоколов HTTP и SMTP. Распространяется под лицензией BSD, совместим со многими UNIX-подобными системами, включая различные xBSD, MacOS, Linux.
     
    ----* keepalived - userspace daemon for LVS cluster nodes healthchecks and LVS directors failover [+]
    [обсудить]
     Демон, реализующий протокол VRRP Virtual Router Redundancy Protocol) для Linux, следящий за работоспособностью машин работающий в рамках LVS (Linux Virtual Server) кластера, в случае обнаружения сбоя - машина исключается из списка активных серверов и перестает получать запросы от балансировщика нагрузки.
  • LVS - ПО для создания отказоустойчивого кластера с распределением нагрузки.
  • vrrpd - другая реализация протокола VRRPv2.
  •  
    ----* UCARP - Common Address Redundancy Protocol (CARP) for Unix (Версия: 1.5.1 от 2009-05-29) [+]
    [обсудить]
     User level реализация CARP для *BSD и Linux. CARP позволяет организовать совместное использование IP между несколькими серверами в локальной сети, может применяться для балансировки нагрузки (IP одновременно используют все сервера) или для создания отказоустойчивых систем (IP использует первичный сервер, при нарушении его работы, IP подхватывает другой).
  • Альтернативы: HSRP (Hot Standby Router Protocol) и VRRP (Virtual Router Redundancy Protocol);
  • VRRPd - реализация VRRPv2 (rfc2338) для Linux.
  • linux_carp - отечественный CARP модуль для 2.6 Linux ядра, код портирован из OpenBSD;
  •  
    ----* memcached - high-performance, distributed memory object caching system (Версия: 1.4.13 от 2012-03-30) [+]
    [обсудить]
     Система кэширования тяжелых объектов в оперативной памяти. Позволяет используя специальное API (Perl, PHP, Python, Java)прокэшировать в ОЗУ блок данных сопоставленный с определенным символьным ключом (работает как хэш).

    Поддерживаемые операции "set", "add", "replace", "get", "delete", "flush_all", так же устанавливается время жизни элемента, после которого он будет удален из кэша.

    Взаимодействие клиента и сервера производится через TCP соединение (libevent kqueue, select, poll и /dev/epoll схемы нотификации).

  • repcached - набор патчей с реализацией возможности асинхронной мульти-мастер репликации между несколькими memcached серверами;
  • libmemcached - клиентская библиотека на языке Си, для работы с memcached сервером. В комплекте имеется набор утилит для осуществления операций с memcached из командной строки.
  • memcache_engine - движок к MySQL для работы с memcached через SQL операторы (SELECT/UPDATE/INSERTE/DELETE).
  • Memcachedb - модифицированная версия memcached с сохранением кэша на диск (кэш не теряется при перезагрузке).
  • Cache::Memcached::Fast - perl модуль для работы с memcached, примерно в 6 раз быстрее стандартного Cache::Memcached.
  • Cache::Memcached::LibMemcached - Perl интерфейс к libmemcached, опережающий стандартный Cache::Memcached в 8 раз.
  • mod_memcached - модуль к HTTP серверу Apache выступающий в роли транслятора GET, PUT и DELETE запросов к memcached, т.е. позволяет организовать отдачу контента напрямую из memcached;
  • statsproxy - web-интерфейс для просмотра статистики memcached.
  •  
    ----* OpenSSI - Single System Image Clusters for Linux (SSI) (доп. ссылка 1) (Версия: 1.2.0 от 2004-12-27) [+]
    [обсудить]
     Набор средств для создания единой операционной среды прозрачно работающей на нескольких нодах кластера. В SSI окружении используется одна файловая система (CFS), единое пространство мигрирующих между нодами процессов и устройств. Готовые пакеты доступны для Linux дистрибутивов debian, Red Hat, Fedora Core, Knoppix.
     
    ----* KTCPVS - Kernel TCP Virtual Server (Версия: 0.0.16 от 2004-11-01) [+]
    [обсудить]
     Балансировщик нагрузки для распределения сетевых запросов между несколькими хостами, реализованных в виде модуля 2.4.x Linux ядра (для исключения лишних переключений пользовательского и kernel контекста). Возможно перенаправление основываясь на параметрах HTTP запроса, содержимого Cookie и т.д.
     
    ----* HAOS - high availbility OpenBSD clusters [+]
    [обсудить]
     Проект позволяющий создать сеть контролирующих друг-друга хостов (допускается вариант когда один хост является первичным), в случае обнаружения проблем или недоступности одного из серверов, IP недоступного сервера поднимается на одной из работающих машин в кластере.
     
    ----* Spread Toolkit - messaging service to create нighly available distributed applications (Версия: 4.3.0 от 2013-06-19) [+]
    [обсудить]
     Многоплатформенный набор программ (демон для обмена multicast сообщениями, контроля достижимости членов кластера) и библиотек для написания программ, которые будут использоваться в рамках высоконадежного и высокопроизводительного кластера приложений с разделением данных и обработчиками распределенными по сети.

    API доступно для языков C/C++, Java, Perl и Ruby. Прекрасно подходит для создания систем балансирования нагрузки между серверами, организации кластеров, репликации баз данных ("replication"), разделения данных между группами, создания высоконадежных продублированных серверов, Distributed Shared Memory (DSM).

     
    ----* Balance - tcp proxy with round robin load balancing and failover mechanisms (Версия: 3.56 от 2013-11-08) [+]
    [есть мнение]
     Небольшая программа для балансировки нагрузки путем переадресации соединения на несколько хостов. Работает под Linux, FreeBSD, BSD/OS и Solaris.
     
    ----* Linux Virtual Server Project (LVS) - cluster many real servers together into a highly available, high-performance virtual server (Версия: 3.11.1 от 2013-09-20) [+]
    [обсудить]
     Позволяет организовать переброс соединения с любого TCP или UDP порта на один из серверов, обслуживающих данный сервис, с балансировкой нагрузки.
     
    ----* Piranha - Load-balanced generic service clustering enviroment [+]
    [есть мнение]
     Набор программного обеспечения для создания и администрирования высокопроизводительного кластера на базе группы машин под ОС Linux.
     
    ----* Clustering Daemon - guarantees that a response will be serviced provided at least one cluster node is up (Версия: 1.0.3 от 2002-04-27) [+]
    [обсудить]
     Позволяет создать "виртуальный сетевой интерфейс", IP адрес которого будет равномерно распеределяться между машинами входящими в кластер.
     
    ----* Watchdog Service Cluster is a High Availability software package (Planned Downtime Anytime, Load Sharing, and Uptime Reports) (Версия: 5.8 от 2010-03-24) [+]
    [обсудить]
     
    ----* Virtual server is a scalable and highly available server built on a cluster of real servers. [+]
    [есть мнение]
     Система для организации распределенной кластерной системы из нескольких машин, воспринимаемой пользователями как один сервер.
     
    ----* high-availability (clustering) solution for Linux which promotes reliability, availability, and serviceability (RAS) [+]
    [обсудить]
     
    ----* FreeQualizer - server load balancing and failover features necessary for constructing a scalable, available server farm (доп. ссылка 1) [+]
    [обсудить]
     
    ----* Eddie - set of cluster applications to be used when building highly robust andscalable server farms (Версия: 1.5.3 от 2003-07-17) [+]
    [обсудить]
     Система для создания высоконадежных и высокопроизводительных кластерных систем. (IP Migration Application,Load-balancingDNS Server, Intelligent HTTP Gateway,Content Replication Application)
     
    ----* LBVM - sharing virtual machines among physical servers [+]
    [обсудить]
     Балансировщих виртуальных машин на нескольких физических серверах. Имеется поддержка Xen и OpenVZ.
     
    ----* HA/FST - Free High Availability Software for Solaris (Версия: 3.0.1 от 2006-01-13) [+]
    [обсудить]
     Бесплатное ПО для организации отказоустойчивого двухнодового кластера на базе Solaris. При нарушении работоспособности первичного сервера, работа сервисов (из коробки поддерживается Apache, NFS, Oracle, Samba) восстанавливается на вторичном. Для управления могут использоваться CLI, GUI и WEB-интерфейсы.
  • Сравнение HA/FST с Sun Cluster 3.0 и Veritas VCS 2.0.
  •  

    Близкие по значению ключи
    carp  heartbeat  nice  garbage  lustre  recover  failover  idle  fault  mpi  mppe  etcnet  ipsec  ospf  gated 
    Близкие по совпадению ключи
    top500  apache  mesos  yandex  mapreduce  lxc  lxd  microcloud  lustre  ceph  ytsaurus  linux  carp  virtual  web 
    Похожие разделы ключей
  • Решение проблем, оптимизация
  • Маршрутизация

  • Раздел новостей
     [18.11.2023] Canonical представил MicroCloud, инструментарий для быстрого развёртывания кластеров
     [14.11.2023] Опубликована 62 редакция рейтинга самых высокопроизводительных суперкомпьютеров
     [22.05.2023] Опубликована 61 редакция рейтинга самых высокопроизводительных суперкомпьютеров
     [23.03.2023] Яндекс открыл YTsaurus, платформу для обработки и хранения больших объёмов данных
     [17.06.2022] Выпуск кластерной ФС Lustre 2.15
     [31.05.2022] Опубликована 59 редакция рейтинга самых высокопроизводительных суперкомпьютеров
     [17.11.2021] Опубликована 58 редакция рейтинга самых высокопроизводительных суперкомпьютеров
     [08.04.2021] Apache сворачивает разработку кластерной платформы Mesos
    Следующая страница >>

    Советы и заметки
     Дублирование сервера с использованием VRRP
     Автоматическое реплицирование статики между несколькими web серверами средствами nginx
     Балансировка трафика в Linux
     История про Ceph и реплику 1+2
     Зеркалирование дисков по сети, между двумя FreeBSD серверами (аналог DRBD)
     Настройка СУБД PostgreSQL 13 под управлением Pacemaker/Corosync в Debian 11
     Настройка кластера для запуска Cloud-окружений с использованием Ubuntu Enterprise Cloud
     Round Robin балансирование IP адресов исходящих соединений средствами iptables
    Следующая страница >>

    Тематический каталог
     Обеспечение надежности http(s) сервисов с помощью Linux Virtual Server.
     CARP(4) Руководство по интерфейсам ядра FreeBSD
     Распределение нагрузки на WEB приложения.
     Построение высоко доступного web кластера с балансировкой нагрузки
     Создание отказоустойчивого сервера Asterisk с поддержкой балансировкой нагрузки
     HSRP и GLBP для повышения отказоустойчивости Cisco.
     Создание кластера высокой доступности для XEN с Live миграцией в CentOS 5.3 с использованием VLAN и DRBD
     Объединение нескольких каналов Интернет и простейшая балансировка нагрузки.
    Следующая страница >>

    Каталог программ
     keepalived - userspace daemon for LVS cluster nodes healthchecks and LVS directors failover
     dns_balance - Load-Balancing DNS server "DNS Balance"
     PelicanHP - LiveCD for set up a high performance computing cluster
     Dbmail - storing and retrieving mail messages from a database.
     DrFTPD - Distributed FTP Daemon
     PVFS - Parallel Virtual File System
     Программы для типовой установки Linux на большое число машин.
     Clustering Daemon - guarantees that a response will be serviced provided at least one cluster node is up
    Следующая страница >>

    Каталог ссылок
     Построение отказоустойчивого кластера, используя DRBD и Heartbeat
     Учебно-информационный центр по параллельным вычислениям
     Oracle on Red Hat Linux Portal
     MPI для начинающих
     cluster.linux-ekb.info - практические руководства по организации Linux-кластеров
     Форум по серверному железу и RAID
     Высокопроизводительные алгоритмы

    Архив документации
     Построение высоко доступного web кластера с балансировкой нагрузки на базе linux
     MOSIX-кластер
     Построение отказоустойчивого кластера, используя DRBD и Heartbeat
     Руководство по MySQL Cluster
     Средства параллельного программирования для ОС Linux
     MPI: Стандарт интерфейса передачи сообщений
     MPI-2: Расширение стандарта на интерфейс передачи сообщений
     MPI для начинающих.
    Следующая страница >>



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру