The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Для ядра Linux развивается система распределённого выполнения потоков Popcorn

04.05.2020 11:14

Политехнический университет Виргинии предложил для обсуждения разработчиками ядра Linux набор патчей с реализацией системы распределённого выполнения потоков Popcorn (Distributed Thread Execution), позволяющей организовать выполнение приложений на нескольких компьютерах с распределением и прозрачной миграцией потоков между хостами. При помощи Popcorn приложения могут быть запущены на одном хосте, после чего без остановки работы перемещены на другой хост. В многопоточных программах допускается миграция на другие хосты отдельных потоков.

В отличие от проекта CRIU, позволяющего сохранять состояние процесса и возобновлять выполнение на другой системе, Popcorn предоставляет бесшовную и динамическую миграцию между хостами в процессе выполнения приложения, не требуя действий от пользователя и обеспечивая согласованность виртуальной памяти на всех хостах, на которых одновременного выполняются потоки.

Программный стек Popcorn образуют патчи к ядру Linux и библиотека с тестами, демонстрирующими как можно использовать системные вызовы Popcorn для миграции потоков в распределённо исполняемых приложениях. На уровне ядра предложены расширения к подсистеме виртуальной памяти с реализацией разделяемой распределённой памяти (distributed shared memory), позволяющей процессам на разных хостах обращаться к общему и согласованному виртуальному адресному пространству. Согласованность страниц виртуальной памяти обеспечивается при помощи протокола, который реплицирует на хост страницы памяти при обращении к ним на чтение и аннулирует страницы памяти при выполнении записи.

Взаимодействие между хостами осуществляется при помощи работающего на уровне ядра обработчика сообщений, передаваемых через TCP-сокет. Отмечается, что TCP/IP используется для упрощения отладки и тестирования в процессе разработки. Разработчики понимают, что с точки зрения безопасности и производительности TCP/IP не лучший способ передачи содержимого структур ядра и страниц памяти между хостами. Все хосты, на которых выполняются распределённые приложения, должны иметь идентичный уровень доверия. После стабилизации основных алгоритмов будет применён более эффективный вид транспорта.

Popcorn развивается с 2014 года как исследовательский проект по изучению возможностей создания распределённых приложений, потоки которых могут выполняться на разных узлах в гетерогенных вычислительных системах, в которых могут комбинироваться ядра на базе различных архитектур набора команд (Xeon/Xeon-Phi, ARM/x86, CPU/GPU/FPGA). Предложенный разработчикам ядра Linux набор патчей поддерживает только выполнение на хостах с CPU x86, но имеется и более функциональный вариант Popcorn Linux, который позволяет выполнять приложения на хостах с разными архитектурами CPU (x86 и ARM). Для использования Popcorn в гетерогенных окружениях необходимо использовать специальный компилятор на основе LLVM. При распределённом выполнении на хостах с одной архитектурой пересборка отдельным компилятором не требуется.

Кроме того, можно отметить анонс чем-то похожего проекта Telefork с реализацией начального прототипа API для запуска дочерних процессов на других компьютерах в кластере (как fork(), но переносит ответвляемый процесс на другой компьютер). Код написан на языке Rust и пока позволяет клонировать только самые простые процессы, в которых не используются системные ресурсы, такие как файлы. При выполнении вызова telefork память и связанные с процессом структуры клонируются на другой хост, на котором запущен серверный обработчик (telepad). При помощи ptrace отражение памяти процесса сериализируется и вместе с состоянием процесса и регистров переносится на другой хост. API также позволяет сохранять состояние процесса в файл и восстанавливать через него.

  1. Главная ссылка к новости (https://www.reddit.com/r/linux...)
  2. OpenNews: Выпуск CRIU 2.0, системы для сохранения и восстановления состояния процессов в Linux
  3. OpenNews: Доступен Dqlite 1.0, распределённый вариант SQLite от компании Canonical
  4. OpenNews: Обновление кластерной файловой системы LizardFS 3.13.0-rc2
  5. OpenNews: Доступен GNUnet 0.12, фреймворк для построения защищённых P2P-сетей
  6. OpenNews: Intel выпустил движок распределённой трассировки лучей OSPRay 2.0
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/52877-popcorn
Ключевые слова: popcorn, distributed, thread, criu, kernel, teleforking
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (122) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 23:10, 04/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –9 +/
    Больше ядер богу ядер
     
     
  • 2.19, Аноним (19), 01:16, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    А что же плохого иметь много ядер? Вы бы отказались от 32 - 128-ядерной машинки?
     
     
  • 3.38, Xenia Joness (ok), 05:04, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • –9 +/
    У меня есть какая-то штука, называется вроде Xeon Phi 7210, только я не могу понять, зачем она мне. Что с ней можно сделать? Какая польза от неё, если поставить в обычный компьютер?
     
     
  • 4.71, Аноним (19), 11:17, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Ну если котиков с фконтактика смотреть, то, да, пользы будет немного. Попробуй на ней LFS что-ли пособирать.
     
  • 4.125, Аноним (125), 20:46, 11/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Это что подарок такой от кого-то? Или покупаю не знаю зачем потому, что хочу вот это?
     

  • 1.2, InuYasha (?), 23:14, 04/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Пожалуй, это покруче ГРИДа будет. Знаю даже тех, кто захочет этим воспользоваться. Особенно когда расчёты неделями идут. Но писанина файлов с результатами - это тот ещё вопрос.
     
     
  • 2.5, JL2001 (ok), 00:02, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Пожалуй, это покруче ГРИДа будет. Знаю даже тех, кто захочет этим воспользоваться.
    > Особенно когда расчёты неделями идут. Но писанина файлов с результатами -
    > это тот ещё вопрос.

    а кто захочет и для чего?
    и чем это для них отличается от уже существующих методов запуска в кластере или в каком-нить GridGain ?

    не, технологически это реально круто, да и как бесшовная миграция с проблемных нод и балансировка - полезно
    но вот само по себе применимость этого какая? всёж задачи для распределённых вычислений довольно специфические

     
     
  • 3.48, Аноним (48), 09:03, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Нормальный кластер единого системного образа обеспечивает миграцию процессов на другие узлы при обычном системном вызове fork (pthreads). Кочу прикладного ПО обычных пользователей: архиваторы, перекодировки видео, не говоря о научном ПО сразу, прозрачно, рапаралелятся по всем узлам кластера.
     
  • 3.74, Аноним (74), 12:22, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Насколько я понимаю для всех кластеров нужно переписывать программы под них.
    Тут можно запустить теоретически любую программу в том числе неподдерживаемую разработчиком.
    От перекодирования видео на домашнем компе со смартфона до рендера изображений на кластере.
     
     
  • 4.105, Аноним (105), 08:32, 07/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    >  для всех кластеров нужно переписывать программы под них.

    Нет. SSI кластер для ПО это обычный комп с общим числом процов и оперативы. Для классического SSI который для миграции дочерных процессов использует системный вызов forck (pthreads) ничего переписывать ненадо.

    > Тут можно запустить теоретически любую программу в том числе неподдерживаемую разработчиком.

    Сабж это не классический SSI они для миграции процессов на другие узлы используют свой отдельный системный вызов. Для сабжа надо переписывать все ПО!!!

    Чем сабж лучше MPI для которого тоже надо переписывать все ПО не понятно. MPI поддерживается сабжем но в той же мере MPI поддерживается и классическим SSI поскольку он прозрачен для ПО.

     
  • 3.113, InuYasha (?), 13:15, 07/05/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    >>но вот само по себе применимость этого какая?

    - адмн: ааааааааабл?дь! у нас рэйд рушится, харды не можем купить! ваш софт надо переносить!
    - бдлк: ааааааааабл?дь! у нас задача 20 из 50 дней считается, остановить её мы не можем!!
    - элкт: ааааааааабл?дь! у нас вчера запланирован перенос на другую фазу, другой подвод, другую подстанцию! Может жахнуть, мы ничего не гарантируем.
    - нчво: ааааааааабл?дь! у нас аренда кончается, переносите своё гуано в другой дотацентр! у вас джва дня!
    - срвр: ааааааааабл?дь! алерт! алерт! алерт! префэйл кондишон! алерт! алерт! алерт!
    и так далее )

     

  • 1.4, Аноним (4), 23:28, 04/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Это как MPI?
     
     
  • 2.8, Аноним (8), 00:16, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • –5 +/
    не вспоминай это...
     
     
  • 3.35, Anonymouss (?), 03:05, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    А что с ним не так было то? Ближайшие альтернативы выглядели куда хуже и страшнее.
     
     
  • 4.49, Аноним (48), 09:05, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Потребность программисту писать специализированное ПО используя только прраллельные алгоритмы.

    Обычное ПО MPI не паралелит.

     
     
  • 5.75, Аноним (74), 12:23, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Так и этот софт не параллелит то что не запаралеллили.
     
     
  • 6.106, Аноним (105), 08:35, 07/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    https://www.opennet.ru/openforum/vsluhforumID3/120533.html#105
     
  • 2.103, Аноним (103), 21:41, 06/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Это как Inferno
     

  • 1.6, JL2001 (ok), 00:05, 05/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    на миграцию запущеного фаерфокса со смартфона на десктоп и обратно я бы посмотрел....
    ну или миграцию tox-а или rss-ридера...

    как можно применять этот "Distributed Thread Execution" ? какие идеи есть?

     
     
  • 2.31, Аноним (31), 02:07, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Мир немножко богаче, чем это видит анонимус с его локалхостом и телефоном.
     
     
  • 3.34, JL2001 (ok), 02:56, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > Мир немножко богаче, чем это видит анонимус с его локалхостом и телефоном.

    о, великий неанонимус! расширь мне сознание! покажи мне мир!

     
     
  • 4.36, Аноним (31), 03:57, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Воспользуйся гуглом и посмотри, для чего используют тот же CRIU.
     
     
  • 5.40, A.Stahl (ok), 08:44, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    И зачем это анонимусу если у него есть лишь локалхост и телефон? Вот анонимус и думает как ему можно применить новую, необычную для локалхоста, технологию. Но некоторые админы не могут опустить свой взляд на локалхост: надутые от гордости щёки мешают.
     
     
  • 6.56, анонимуслинус (?), 09:23, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • –2 +/
    если такое ПО разлетится по всем ядрам линукс во будет праздник для взлома))) нашел одну уязвимость и все хосты одним махом у тебя в кармане)) отличная идея как я погляжу. такие системы придется держать строго в ограниченной локальной сети. для научных институтов вполне хорошая вещь.
     
     
  • 7.59, A.Stahl (ok), 09:39, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    B USB-шки залить эпоксидкой: это ж какой простор для взлома если софт можно копировать между машинами парой кнопок. Пусть с клавы программы набивают. Как в спектрумовские времена.


     
     
  • 8.67, Аноним (67), 09:58, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Только теплые ламповые перфокарты, только хардкор ... текст свёрнут, показать
     
  • 8.73, анонимуслинус (?), 12:11, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    я смотрю вы все воспринимаете в штыки ну не думая о всех возможностях так на эт... текст свёрнут, показать
     
     
  • 9.76, A.Stahl (ok), 12:27, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Абсолютно любая технология может и будет использована во вред Поэтому напомин... текст свёрнут, показать
     
     
  • 10.104, анонимуслинус (?), 01:29, 07/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    никто и не отрицал, что человек разумным зовется только от слова разум, но дейст... текст свёрнут, показать
     
  • 3.87, rshadow (ok), 16:58, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    "Никогда не выеб*вайся в качалке. Ибо всегда найдется тот, кто твоим весом просто разминается." (с)
     
  • 2.50, Аноним (48), 09:07, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    https://www.opennet.ru/openforum/vsluhforumID3/120533.html#48

    https://www.opennet.ru/openforum/vsluhforumID3/120533.html#42

     

  • 1.7, Аноним (7), 00:11, 05/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    telefork - где-то я уже слышал подобное ... а вспомнил, на хабре была недавно статья "Телепортируем процесс на другой компьютер!"
    https://habr.com/ru/company/dcmiran/blog/499422/
    Автор оригинала: Tristan Hume
    он что с Политехнического университета Виргинии, или просто друг у друга потихоньку тыбзят идеи ?
     
     
  • 2.12, Crazy Alex (ok), 00:28, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Есть такое понятие "идея витает в воздухе". Это ж явный следующий логичный шаг от всяких микросервисов и подобного
     
  • 2.60, Аноним (48), 09:39, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > просто друг у друга потихоньку тыбзят идеи ?

    Все идеи тырят с моей работающей реализации: https://www.opennet.ru/openforum/vsluhforumID3/120533.html#42

     
     
  • 3.65, Аноним (65), 09:54, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Если она такая хорошая надо было ее продавать задорого.  
     
     
  • 4.107, Аноним (105), 08:39, 07/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Единичные научные институты которые ее внедрение покупали в средине нулевых не имели денег. Разработка неокупалась.
     

  • 1.9, консервный бомжара (?), 00:20, 05/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    я не понял. то есть я могу собрать 10 говнобуков в один кластер и что-нибудь компилировать?
     
     
  • 2.11, JL2001 (ok), 00:26, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > я не понял. то есть я могу собрать 10 говнобуков в один
    > кластер и что-нибудь компилировать?

    да ты и раньше мог
    https://en.wikipedia.org/wiki/Compile_farm

    не могу сейчас сразу нагуглить методичку по запуску своего кластера для компиляции, но раньше видел

     
     
  • 3.33, kazh (?), 02:55, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Успешно используем: https://github.com/icecc/icecream
     
     
  • 4.72, Аноним (19), 11:38, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Как в сравнении с distcc?
     

  • 1.10, JL2001 (ok), 00:20, 05/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    //оффтоп

    а на *BSD jail'ы мигрировать между нодами умеют?

     
     
  • 2.13, псевдонимус (?), 00:43, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Умеют на холодную. Но в новости не про это.
     
  • 2.126, Аноним (126), 18:18, 24/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Вроде как в cbsd / BHYVE горячая миграция есть, а классические jail - надо останавливать процессы.
     

  • 1.14, Аноним (14), 00:49, 05/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    не взлетит. так и останется в виде патчей...
     
     
  • 2.22, Аноним (19), 01:21, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Про WireGuard тоже так говорили.
     

  • 1.15, псевдонимус (?), 00:59, 05/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Кто про комментирует, для чего бы такое можно применить?
     
     
  • 2.17, Онаним (?), 01:03, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Есть у тебя софт, обрабатывающий данные в 100500 потоков, но при этом имеющий между ними общие данные и синхронизацию. Дальше ты его равномерно размазываешь по N систем без специальных ухищрений по обмену этими самыми данными.
     
     
  • 3.18, псевдонимус (?), 01:11, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +4 +/
    А чем практически это отличается от кластеризации, в чем преимущество?
     
     
  • 4.24, Аноним (19), 01:27, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Так, наверное, это и есть одна из разновидностей кластеризации. Только здесь должно быть существено меньше танцев с настройками.
     
     
  • 5.93, Lex (??), 06:19, 06/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Там работа с памятью несколько смущает.
    Есть смутные подозрения, что, если в ходе работы, активно шарятся данные, то производительность упрется в скорость синхронизации памяти по сети.
     
     
  • 6.108, Аноним (105), 08:43, 07/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Есть смутные подозрения, что, если в ходе работы, активно шарятся данные, то производительность упрется в скорость синхронизации памяти по сети.

    Оно во всех кластерах в скорость сети упирается.

    Хороший выиграш на жирных, тяжолых процесах: распределить перекодировку видео на нескольких компах.

     
  • 3.21, JL2001 (ok), 01:17, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Есть у тебя софт, обрабатывающий данные в 100500 потоков, но при этом
    > имеющий между ними общие данные и синхронизацию. Дальше ты его равномерно
    > размазываешь по N систем без специальных ухищрений по обмену этими самыми
    > данными.

    а чего - распределённые/кластерные фс и просто базы данных раньше не существовали?

    я не понимаю концептуальную новизну/профит (кроме distributed shared memory - не знаю были ли раньше распределённые in-memory map/bd, для java у GridGain было, у них ещё и жавамашина вместо LLVM создаёт мультиплатформенность)

     
     
  • 4.32, Anonimous (?), 02:12, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Не, ну понятно что парни каких-то прорывов в синхронизации данных не совершили ... большой текст свёрнут, показать
     
  • 4.44, Онаним (?), 08:55, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    При чём тут FS? Речь о том, что у тебя треды _одного_ процесса потенциально могут летать между нодами, при этом прозрачно сохраняя общую область памяти + возможность синхронизации - и для этого не надо изголяться с кластерными FS, пилить свою собственную синхронизацию и т.п. Кластерная FS тут идёт только как дополнение - треды вполне могут захотеть что-то с общего "диска" почитать.
     
     
  • 5.53, Аноним (65), 09:16, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Потоки с чтением файлов не могут клонироваться в новости написано.
     
     
  • 6.91, Онаним (?), 23:03, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Потоки с чтением файлов не могут клонироваться в новости написано.

    А я поэтому и говорю, что из этого супового набора имхо взлетит только DSM.

     
  • 5.80, JL2001 (ok), 14:57, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > При чём тут FS? Речь о том, что у тебя треды _одного_
    > процесса потенциально могут летать между нодами, при этом прозрачно сохраняя общую
    > область памяти + возможность синхронизации

    а чем это от numa отличается?

     
     
  • 6.90, Онаним (?), 23:02, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Извини дружок, ты это в школе не проходил, да?
    https://en.wikipedia.org/wiki/Non-uniform_memory_access
     
     
  • 7.92, JL2001 (ok), 02:28, 06/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Извини дружок, ты это в школе не проходил, да?
    > https://en.wikipedia.org/wiki/Non-uniform_memory_access

    и? так в чём разница? иль numa-over-ethernet диво дивное?

     
     
  • 8.94, Онаним (?), 09:01, 06/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Разница в том, что при NUMA одна микропроцессорная система осуществляет множеств... текст свёрнут, показать
     
     
  • 9.97, JL2001 (ok), 09:55, 06/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    давайте лучше в терминах когерентности кеша для каждого проца в чём отличие в ... текст свёрнут, показать
     
  • 2.23, Аноним (19), 01:24, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +7 +/
    >Кто про комментирует, для чего бы такое можно применить?

    MAKEOPTS="-j 1000" emerge ....

     
  • 2.37, Аноним (37), 04:38, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Суперкомпьютеры станут ближе к людям.
     
     
  • 3.83, псевдонимус (?), 16:25, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Людям, как выясняется, обычные-то компы почти не нужны (постоянно сталкиваюсь с гейфон- дрочерами, причём чем крупнее город, тем больше этих юродивых), а что они будут делать с суперкомпом?
     
     
  • 4.95, Онаним (?), 09:01, 06/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Между людьми и хомячками есть небольшая разница :)
     
     
  • 5.116, псевдонимус (?), 17:08, 07/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    "Ну я то уж точно не хомяк, идущий на поводу у конюктуры!"
     
     
  • 6.120, Онаним (?), 10:32, 08/05/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Вот, один из носителей характерных детекторов этой разницы вылез.
     
     
  • 7.121, псевдонимус (?), 10:37, 08/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Так залежь обратно, "не хомяк"
     
     
  • 8.122, Онаним (?), 11:47, 08/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Самовнушением занимаешься прилюдно ... текст свёрнут, показать
     
  • 2.51, COBA (?), 09:09, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    А еще как бесшовный переезд на более мощное жедезо без остановки процесса можно использовать наверное.
     

  • 1.16, Онаним (?), 01:01, 05/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Distributed shared memory - это то, что из всего этого счастья реально может взлететь. Идея витает в воздухе уже очень долго.
     
     
  • 2.28, all_glory_to_the_hypnotoad (ok), 01:42, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Оно уже давно есть, называется NUMA. По очевидным причинам от этого больше гемора, как и от самой идеи SSI кластера, чем пользы.
     
     
  • 3.41, Онаним (?), 08:51, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ты что-то путаешь. NUMA существует в пределах машины, а тут между несколькими машинами.

    На самом деле идея с DSM витала давно, и с ней экспериментировали. Всё упиралось в относительно медленную связность, но с появлением в массах серверных 40G и 100G интерфейсов идея DSM становится ближе к реальности - отсюда и новые эксперименты.

     

  • 1.20, rm_ (ok), 01:17, 05/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Воу, неужели спустя годы снова изобрели то, что уже было и прекрасно работало у дедов в OpenMosix, правда судя по тому что нужен особый компилятор, в каком-то урезанном игрушечном варианте.
     
     
  • 2.26, Аноним (26), 01:31, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Компилятор нужен для поддержки переезда процесса с железа на одной архитектуре (пускай x86) на железо на другой (пускай ARM)
     
  • 2.27, Аноним (19), 01:32, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    В гомогенной среде особый компилятор не нужен.
     
  • 2.57, Аноним (48), 09:27, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    https://www.opennet.ru/openforum/vsluhforumID3/120533.html#42
     

  • 1.25, anonimous (?), 01:28, 05/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Давно уже реализовано было - Amoeba OS Таненбаума и Ко.
     
  • 1.29, evkogan (?), 01:53, 05/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    Из новости не понятны ограничения технологии.
    Явно ПО под эту вещь писать надо специальное.
    Иначе не представляю как прозрачно для существующего ПО это может взлететь. Даже банальное обращение к файлам из разных потоков сломает это.
    Именно в этом отличие от CRIU где миграция возможна для ПО которое не знает что его могут мигрировать.
    Т.е. по факту это ядерная поддержка для всяких GRID.
    Ну хорошо, это то чего не хватает Linux для реализации скайнета :)
     
     
  • 2.43, Онаним (?), 08:52, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Из новости не понятны ограничения технологии.
    > Явно ПО под эту вещь писать надо специальное.
    > Иначе не представляю как прозрачно для существующего ПО это может взлететь.

    Да, это не прозрачный переход. Но если идея с DSM зайдёт даже в таком виде - в гипервизорах можно будет ждать уже прозрачной имплементации.

     

  • 1.30, Аноним (30), 02:01, 05/05/2020 Скрыто ботом-модератором [﹢﹢﹢] [ · · · ]     [к модератору]
  • –4 +/
     
  • 1.42, Аноним (48), 08:51, 05/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    http popcornlinux org index php overview 1 Для миграции потоков необходимо пе... большой текст свёрнут, показать
     
     
  • 2.46, Онаним (?), 08:58, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • –3 +/
    >> Программный стек Popcorn образуют патчи к ядру Linux и библиотека с тестами, демонстрирующими как можно использовать системные вызовы Popcorn для миграции потоков в распределённо исполняемых приложениях.
    > 1. Для миграции потоков необходимо переписывать прикладное ПО и линковать с их либой

    Внезапно. Естественно, такая фича не будет прозрачной.

    > 2. Сегодняшние ядра Linux, FreeBSD, OpenBSD непригодны для реализации виртуализации и кластера

    Если из этого списка удалить Linux, всё будет верно.

     
  • 2.47, Онаним (?), 09:02, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > 3. Давным давно поддерживал сборник патчей для ядра Linux который мог:

    Проблема моськи знаешь в чём? Это строго SSI. Никакой реальной кластеризацией софта там банально не пахнет, софт должен сам уметь в синхронизацию между своими процессами, обмен данными (через "классические" решения например) и т.п.

     
     
  • 3.52, Аноним (48), 09:15, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Это огромный плюс, что для миграции между нодами используются стандартные системные вызовы fork (pthreads). Именно это избавляет от потребности переписывать прикладное ПО. Все что умеет fork (pthreads) будет изкаробки, сразу, прозрачно работать в кластере SSI балансируя нагрузку между узлами!

     
  • 3.54, Аноним (48), 09:21, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Это строго SSI. Никакой реальной кластеризацией софта там банально не пахнет, софт должен сам уметь в синхронизацию между своими процессами, обмен данными (через "классические" решения например) и т.п.

    Смотри DYSTRYK. В нем одновременно реализован SSI и MPI. Они друг другу совсем не мешают, а наоборот помогают. SSI дает один виртуальный компьютер с общим числом процов и оперативы в сети. MPI можно запускать не на физических компах, а сразу на виртуальных - кластерах SSI!

     
     
  • 4.96, Онаним (?), 09:04, 06/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Смотри DYSTRYK. В нем одновременно реализован SSI и MPI. Они друг другу

    И много у тебя классического софта с MPI? Софт под это дело всё равно нужен специализированный. Понятно, что там грант хороший был, вот дистр на коленке и запилили, давай уж честно...


     
     
  • 5.100, Аноним (100), 16:20, 06/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > И много у тебя классического софта с MPI

    equery h mpi

    Понятно что только научные проги.

    > Софт под это дело всё равно нужен специализированный.

    Для нормального SSI не надо специализированного софта! Системных вызовов fork (pthreads) хватает. Дочирные процесс будут мигрировать на узлы кластера. Для обычного пользователя это архиваторы, кодировщик видео.

    > Понятно, что там грант хороший был, вот дистр на коленке и запилили, давай уж честно...

    Делал сам, для себя, в свободное время, без всяких президентских грандов.

    Установку купили пару школ и один ВУЗ. Предприятия от кластерной реализации отказались, другую версию покупали.

     
     
  • 6.101, Онаним (?), 19:41, 06/05/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Понятно что только научные проги

    Ну ладно, здесь таки признал.

    > Для нормального SSI не надо специализированного софта! Системных вызовов fork (pthreads) хватает.

    Для этого вполне докера достаточно и микросервисов. Идея с миграцией бессмысленна без DSM, солнце закатывать (синхронизацию, обмен данными) иначе всё равно придётся костылить вручную.

     
     
  • 7.109, Аноним (105), 09:07, 07/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    MPI это довольно не тривиальный интерфейс параллельного программирования разрабо... большой текст свёрнут, показать
     
     
  • 8.112, Онаним (?), 12:49, 07/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Ну и зачем оно в таком виде ... текст свёрнут, показать
     
     
  • 9.114, Аноним (114), 13:58, 07/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Практика использования SSI показала, что быстрее всего задача считается когда за... текст свёрнут, показать
     
  • 6.102, Онаним (?), 19:42, 06/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Делал сам, для себя, в свободное время, без всяких президентских грандов.
    > Установку купили пару школ и один ВУЗ.

    Ну давай, признай уже, что были, может не президентские, но стимул эту бессмыслицу пилить должен быть :)


     
     
  • 7.110, Аноним (105), 09:16, 07/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Ну давай, признай уже, что были, может не президентские, но стимул эту бессмыслицу пилить должен быть :)

    SSI кластер это не бесмыслица, а пропущенный путь развития. Linux, FreeBSD, OpenBSD не в тот поворот свернули.

    Разработка DYSTRYK никем, никогда не финансировать и велась мною в свободное время.

    Хочу чтобы увидели один закон:

    Если задачи ресурсоемки, а процессоры очень дорогие и маломощны - есть спрос на кластерные решения SSI.

    Если ресурсоемких задач нет, а процессоры мощные и дешовые - спроса на кластера SSI не будет.

     
     
  • 8.111, Онаним (?), 12:48, 07/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    OS 2 тоже пропущенный путь развития Нежизнеспособное отмирает ... текст свёрнут, показать
     
     
  • 9.115, Аноним (114), 14:03, 07/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Если вдруг станет вопрос необходимости SSI кластера, то отомрут Linux, FreeBSD, ... текст свёрнут, показать
     
     
  • 10.118, Онаним (?), 19:48, 07/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Если бы у бабушки был он, ну вы поняли ... текст свёрнут, показать
     
     
  • 11.124, Аноним (124), 09:38, 09/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Требование к вычислительным ресурсам будет расти до бесконечности, а вычислитель... текст свёрнут, показать
     
     
  • 12.127, Аноним (126), 18:38, 24/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    практически уже упёрлись - выхода годных после eUV, а так же ситуация со всяки... текст свёрнут, показать
     
  • 2.55, Аноним (65), 09:22, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    По хорошему такое должно решаться на уровне гипервизиора. И да тот же z/VM в такое умеет.
     
     
  • 3.58, Аноним (48), 09:32, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > По хорошему такое должно решаться на уровне ...

    Нет детки, виртуализация и кластера единого системного образа решаются только в точке реализации ядром асинхронный работы на многопроцессорных системах.

    Все зависит от выбранной матмодели ядра для асинхронной работы на много процессорных системах.

    Сегодняшний Linux, FreeBSD, OpenBSD для виртуализации и кластера единого системного образа не подходят.

     
     
  • 4.119, Онаним (?), 19:49, 07/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Только сферический дистрюк в вакууме )
     
  • 4.128, Аноним (126), 18:40, 24/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Dragonfly BSD к этому идёт годами, практически в полтора рыла, и - если им здоровья хватит - таки придёт!
     
  • 2.70, Аноним (19), 11:06, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • –2 +/
    >збоя

    сбоя

     

  • 1.61, glebiao (ok), 09:41, 05/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    круто. Но openMOSIX, это было круче (такая болезненная потеря...)
     
     
  • 2.62, Аноним (48), 09:44, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    https://www.opennet.ru/openforum/vsluhforumID3/120533.html#42

    Надо было форкать ядро Linux! Мне сильно вредили, мешали и не хватило ресурсов...

     
     
  • 3.81, Аноним (81), 16:21, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Было бы не плохо если бы вы где-то рассказали поподробнее. Например на https://habr.ru/ если нет аккаунта то через песочницу. Плюсы, минусы, подводные камни, что помешало, что помогла, почему не взлетело.
     
     
  • 4.99, Аноним (100), 16:09, 06/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    SSI, , там одни плюсы К стати мою реализацию превзойти не смогли - она единс... большой текст свёрнут, показать
     
     
  • 5.117, 111 (??), 17:28, 07/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Очень напоминает общественное разделение труда в разных формациях,например: капитализм и социализм. Видимо это влияет.
     

  • 1.63, Аноним (63), 09:46, 05/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Ахахах, как в том меме.
    Так линукс теперь может работать с 4086 ядер!
    Так а там реализовали нормальный просмотр видео в браузере?
    Нет
     
     
  • 2.64, Аноним (65), 09:49, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Да что там видео, теперь даже джаваскрипт не тормозит.
     
  • 2.66, Аноним (48), 09:56, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Так линукс теперь может работать с 4086 ядер!
    > Так а там реализовали нормальный просмотр видео в браузере?

    Да, теперь декодировка видео в бровзере нормально параллелится аж на 4086 ядерах! ;)

     
     
  • 3.78, Аноним (63), 14:04, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    А в windows юзается аппаратная деодировка. А если нету поддержки как допустим у меня с vp9, то как то юзают 3d шейдеры. Походу direct3d можно юзать как рендер
     

  • 1.68, Пыщь (?), 10:26, 05/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    InfernoOS ?
     
     
  • 2.77, имя_ (?), 12:35, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    она просто может быть распределенной, как план9, но разве может выполняться на разных хостах?
     

  • 1.69, Анонъ (?), 10:48, 05/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Надо такое же, только over web
     
  • 1.79, Аноним (79), 14:45, 05/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    вот есть у меня сервер который слушает порт 55555 и что они этот же порт на удаленной машине откроют и туда его перенесут?
     
     
  • 2.82, Аноним (81), 16:23, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Живую миграцию кто только не делает. Тут же они туда перенесут сначала процесс, а потом если надо вернут результат.  По протоколу TCP.
     

  • 1.88, mail (?), 21:51, 05/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    "Политехнический университет Виргинии" ===> "Вирджиния Тех (Политехнический университет Виргинии)"


    Его никто кроме как "Вирджиния Тех" не называет.

     
     
  • 2.89, Аноним (89), 22:50, 05/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    ТЕХ САМЫХ??
     
     
  • 3.123, mail (?), 21:36, 08/05/2020 [^] [^^] [^^^] [ответить]  
  • +/
    "Virginia Tech" - any prononciation are welcome.
     

  • 1.98, Аноним (-), 12:32, 06/05/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >Для использования Popcorn в гетерогенных окружениях необходимо использовать специальный компилятор на основе LLVM.

    Без GCC не нужно!

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру