The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Вычислительные кластеры

   Корень / Программы для администратора / Clusters / Вычислительные кластеры

!!!-* MOSIX - ПО для создания вычислительного Linux кластера (много машин - как одна большая SMP система) (Версия: 3.4.0.12 от 2014-04-01) [+]
[есть мнение]
 
rus-* Русская документация по Mosix кластеру. (Версия: 3.4.0.12 от 2014-04-02) [+]
[обсудить]
 
----* Hadoop - framework for running applications on large clusters [+]
[обсудить]
 Фреймворк на Java для организации распределенных вычислений с использованием парадигмы map/reduce, когда задача делится на множество более мелких обособленных фрагментов, каждый из которых может быть запущен на отдельном узле кластера. В состав Hadoop входит также реализация распределенной файловой системы Hadoop Distributed Filesystem (HDFS), автоматически обеспечивающей резервирование данных и оптимизированной для работы "MapReduse" приложений. Система создана как субпроект поискового механизма Apache Lucene и апробировалась в кластере с 600 узлами.
 
----* DPPEJ - Distributed Parallel Programming Environment for Java [+]
[обсудить]
 Набор средств для создания распределенных приложений на Java. Основной компонент DThread, - параллельно работающие нити, выполнение которых, распределено на несколько JVM машин. API для обмена сообщениями похож на MPI.
 
----* PVM - Parallel Virtual Machine (Версия: 3.4.5 от 2004-11-10) [+]
[обсудить]
 Многоплатформенное программное обеспечения для превращения разнородных машин в локальной сети в один большой виртуальный суперкомпьютер пригодный для выполнения вычислительных задач.
 
----* LAM/MPI - implementation of the Message Passing Interface (MPI-1.2, MPI-2) (Версия: 7.1.1 от 2004-10-27) [+]
[обсудить]
 Open Source реализация промышленного стандарта MPI-1.2 (частично MPI-2) определяющего интерфейс обмена сообщениями между нодами кластера для обеспечения работы параллельных программ. В комплект входит API для создания программ, сервер обмена сообщениями, средства отладки и мониторинга.
  • MPICH-A - Portable Implementation of MPI (альтернативная реализация);
  • Lam-mpi Cluster on FreeBSD HOWTO
  • PVM - Parallel Virtual Machine
  •  
    ----* OpenSSI - Single System Image Clusters for Linux (SSI) (доп. ссылка 1) (Версия: 1.2.0 от 2004-12-27) [+]
    [обсудить]
     Набор средств для создания единой операционной среды прозрачно работающей на нескольких нодах кластера. В SSI окружении используется одна файловая система (CFS), единое пространство мигрирующих между нодами процессов и устройств. Готовые пакеты доступны для Linux дистрибутивов debian, Red Hat, Fedora Core, Knoppix.
     
    ----* openMosix - Linux kernel extension for single-system image clustering (Версия: 2.4.26-1 от 2004-12-17) [+]
    [есть мнение]
     Патчи для Linux ядра превращающие группу машин в сети в SSI (Single System Image) кластер, один большой виртуальный суперкомпьютер (выглядит как SMP система). Позволяет организовать распределенное выполнение программы (миграцию процессов) без использования дополнительных библиотек и модификации кода. "Auto Discovery" протокол позволяет подключаться нодам к кластеру без дополнительного конфигурирования.
  • www.openmosix.org.ru - русскоязычная версия сайта openMosix
  • На странице Дмитрия Кацубо и Юрия Прушинского доступен перевод на русский язык openMosix HOWTO и другой документации.
  • Qps - Visual Process Manager - утилита для мониторинга работы кластера.
  • openMosixview - GUI для управления и мониторинга за работой OpenMosix кластера.
  • kerrighed - альтернативный SSI набор патчей к Linux ядру
  •  
    ----* ClusterKnoppix - OpenMosix + Knoppix (Версия: 3.4-2004-05-10-en-cl1 от 2004-05-17) [+]
    [обсудить]
     Проект по использованию однодискового дистрибутива Knoppix в качестве основы для построения вычислительного кластера (используется openMosix и предустановленные утилиты для мониторинга и управления). Ноды кластера грузятся по сети или через CD-ROM. Благодаря openMosix autodiscovery, они подключаются к кластеру автоматически, без дополнительного конфигурирования.
  • Похожий продукт: ParallelKnoppix (основной "master" сервер загружается с CD-ROM, остальные подчиненные "slave" ноды автоматически загружаются и конфигурируются по сети). Имеется поддержка openMPI, LAM-MPI или MPICH
  •  
    ----* OSCAR - snapshot of the best known methods for building, programming, and using clusters. (Версия: 4.0 от 2004-12-31) [+]
    [обсудить]
     Коллекция приложений для автоматизации процесса формирования кластера, установки типовых программ и последующего обслуживания машин входящих в Linux кластер. Набор open source программ "все в одном" для быстрого и безболезненного формирования кластера (кластер из коробки).
     
    ----* Spread Toolkit - messaging service to create нighly available distributed applications (Версия: 4.3.0 от 2013-06-19) [+]
    [обсудить]
     Многоплатформенный набор программ (демон для обмена multicast сообщениями, контроля достижимости членов кластера) и библиотек для написания программ, которые будут использоваться в рамках высоконадежного и высокопроизводительного кластера приложений с разделением данных и обработчиками распределенными по сети.

    API доступно для языков C/C++, Java, Perl и Ruby. Прекрасно подходит для создания систем балансирования нагрузки между серверами, организации кластеров, репликации баз данных ("replication"), разделения данных между группами, создания высоконадежных продублированных серверов, Distributed Shared Memory (DSM).

     
    ----* Beowulf - high-performance massively parallel computer built primarily out of commodity hardware components (Версия: 29cz-3 от 2004-10-03) [+]
    [обсудить]
     
    ----* Grid Engine - Distributed Resource Management (DRM) software (Версия: 1 от 2003-11-01) [+]
    [обсудить]
     ПО для создания распределенной вычислительной сети, т.е. использование простоя процессорного времени машин в сети для решения ресурсоемких вычислительных задач.
     

    Близкие по значению ключи
    carp  heartbeat  nice  garbage  lustre  recover  failover  idle  fault  mpi 
    Близкие по совпадению ключи
    top500  mesos  yandex  mapreduce  lxc  lxd  microcloud  lustre  ceph  apache  ytsaurus  linux  disk  xen  virtual 
    Похожие разделы ключей
  • Решение проблем, оптимизация

  • Раздел новостей
     [18.11.2023] Canonical представил MicroCloud, инструментарий для быстрого развёртывания кластеров
     [14.11.2023] Опубликована 62 редакция рейтинга самых высокопроизводительных суперкомпьютеров
     [22.05.2023] Опубликована 61 редакция рейтинга самых высокопроизводительных суперкомпьютеров
     [23.03.2023] Яндекс открыл YTsaurus, платформу для обработки и хранения больших объёмов данных
     [17.06.2022] Выпуск кластерной ФС Lustre 2.15
     [31.05.2022] Опубликована 59 редакция рейтинга самых высокопроизводительных суперкомпьютеров
     [17.11.2021] Опубликована 58 редакция рейтинга самых высокопроизводительных суперкомпьютеров
     [08.04.2021] Apache сворачивает разработку кластерной платформы Mesos
    Следующая страница >>

    Советы и заметки
     История про Ceph и реплику 1+2
     Зеркалирование дисков по сети, между двумя FreeBSD серверами (аналог DRBD)
     Настройка СУБД PostgreSQL 13 под управлением Pacemaker/Corosync в Debian 11
     Настройка кластера для запуска Cloud-окружений с использованием Ubuntu Enterprise Cloud
     Запуск John the Ripper в MPI-кластере на базе Ubuntu 10.04
     Как увеличить количество shared memory для работы высоконагруженного PostgreSQL
     Организация мульти-мастер репликации двух memcached-серверов
     Дублирование сервера с использованием VRRP
    Следующая страница >>

    Тематический каталог
     Создание кластера высокой доступности для XEN с Live миграцией в CentOS 5.3 с использованием VLAN и DRBD
     Обеспечение надежности http(s) сервисов с помощью Linux Virtual Server.
     Уставновка кластерной ФС OCFS в CentOS и Debian
     Использование доменов Xen поверх DRBD-устройств
     Обзор недостатков NBD, ENBD, GNBD и iSCSI
     CARP(4) Руководство по интерфейсам ядра FreeBSD
     Iptables CLUSTERIP Multicast MAC + Catalyst
     Собираем HA кластер
    Следующая страница >>

    Каталог программ
     PelicanHP - LiveCD for set up a high performance computing cluster
     Dbmail - storing and retrieving mail messages from a database.
     DrFTPD - Distributed FTP Daemon
     HA/FST - High Availability for Solaris
     PVFS - Parallel Virtual File System
     MogileFS - open source distributed filesystem
     Программы для типовой установки Linux на большое число машин.
     Clustering Daemon - guarantees that a response will be serviced provided at least one cluster node is up
    Следующая страница >>

    Каталог ссылок
     Построение отказоустойчивого кластера, используя DRBD и Heartbeat
     Учебно-информационный центр по параллельным вычислениям
     Oracle on Red Hat Linux Portal
     MPI для начинающих
     cluster.linux-ekb.info - практические руководства по организации Linux-кластеров
     Форум по серверному железу и RAID
     Высокопроизводительные алгоритмы

    Архив документации
     MOSIX-кластер
     Построение отказоустойчивого кластера, используя DRBD и Heartbeat
     Руководство по MySQL Cluster
     Средства параллельного программирования для ОС Linux
     MPI: Стандарт интерфейса передачи сообщений
     Построение высоко доступного web кластера с балансировкой нагрузки на базе linux
     MPI-2: Расширение стандарта на интерфейс передачи сообщений
     MPI для начинающих.
    Следующая страница >>



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру