Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Hadoop установил новый мировой рекорд, opennews (?), 16-Май-09, (0) [смотреть все] А сейчас мы послушаем начальника транспортного цеха Переписать Apache Had, iZEN (ok), 23:01 , 16-Май-09, (4) Кто там говорил про тормоза Java User239 Ну ну , Аноним (-), 23:49 , 16-Май-09, (5) +2 // ну думайте, что говорите же производительность кластера не является доказательс, stone3 (?), 00:52 , 17-Май-09, (6) // речь не о производительности кластера, а о рекорде установленном приложением нап, idkfa (?), 06:48 , 17-Май-09, (9) –1 // Платформа Hadoop состоит из нескольких элементов В основании лежит распределен, Jet (??), 10:49 , 17-Май-09, (14) Вы бы хоть в SVN им заглянули, прежде чем тут чушь писать ximaera loderunner , ximaera (?), 13:33 , 18-Май-09, (36) решение на основе явы может с успехом применяться в тех случаях, когда быстродей, Voviandr (ok), 01:26 , 17-Май-09, (7) // Может ли алюминий использоваться для производства молока - Может, из него делают, Jet (??), 10:54 , 17-Май-09, (16) // Hadoop установил новый мировой рекорд, pavlinux (ok), 15:11 , 17-Май-09, (21) Ну предположим что сортировка проводилась методом пузыря Как этот алгоритм ре, Jet (??), 18:34 , 17-Май-09, (26) –1 А зачем такое предполагать Очевидно что на Map-Reduce делать сортировку пузырем, crypto5 (?), 19:00 , 17-Май-09, (27) –1 Зачем предполагать, когда можно проверить Реализован он так static class Tota, ximaera (?), 13:57 , 18-Май-09, (39) http developer yahoo net blogs hadoop Yahoo2009 pdf -- тут написано какое soft, crypto5 (?), 19:43 , 17-Май-09, (30) я говорил в статье не написано сколько они этот свой кластер тюнили, не удивлюс, sluge (??), 11:28 , 18-Май-09, (33) Дык сравните с таким же переписанных на сях А то если соревноваться только с сам, User294 (??), 14:06 , 18-Май-09, (40) с 4ядерным ксеоном и с 16гб оперативы чоб оно тормозило , funky_dennis (?), 07:18 , 17-Май-09, (10) // ну так и обьемы данных не маленькие , crypto5 (?), 08:57 , 17-Май-09, (11) На С таки оно было бы существенно быстрее , Deniel (?), 10:48 , 17-Май-09, (13) // Возможно оно и так было на С Hadoop написанный на жабе - не производит никаки, Jet (??), 10:53 , 17-Май-09, (15) –1 // Пф Производительность зависит не от той демонстрационной утилиты, которую ребят, ximaera (?), 13:40 , 18-Май-09, (37) Специально для Вас There are now 4 Hadoop map reduce applications to support th, ximaera (?), 13:53 , 18-Май-09, (38) Религия C еще заразнее, чем я думал , Knuckles (ok), 13:19 , 17-Май-09, (17) На С его нет И не будет , Vasiliy (??), 14:23 , 17-Май-09, (18) // Вообще GoogleFS MapReduse это вроде на С Python сделано Но открытых на С , uZver (ok), 11:53 , 18-Май-09, (34) http scienceblogs com goodmath 2006 11 the_c_is_efficient_language_fa phpI dec, Volodymyr Lisivka (?), 15:09 , 17-Май-09, (19)   // Зачем одновремено давать ссылку и искажать те факты которые по этой ссылке есть , Zzz (??), 16:44 , 17-Май-09, (24)   // А прочитать ниже было уже никак About a year later, testing a new JIT for Java, noname (??), 17:07 , 17-Май-09, (25) +1   Отсюда мораль придет злобный асемблерщик и всех порвет как всегда - сями и т п , User294 (??), 14:16 , 18-Май-09, (41)   // Что это, мы-то, как раз-таки, имеем представление в какой код транслируется байт, iZEN (ok), 14:34 , 18-Май-09, (43)   MapReduce очень просто реализовать на чём угодно, хоть на bash-е Есть уже готов, Volodymyr Lisivka (?), 15:06 , 18-Май-09, (44)   Вот, кстати, примитивная реализация Hadoop раскидывание задач по кластеру на b, Volodymyr Lisivka (?), 16:19 , 18-Май-09, (45)   User294 считает по другому Не было разрывов, не было , Аноним (-), 19:16 , 18-Май-09, (48)   Only in your dreams JAVA could be faster than C , Marinov (?), 16:28 , 18-Май-09, (46)   // http www mail-archive com hadoop-user lucene apache org msg02139 htmlMapReduce, Volodymyr Lisivka (?), 17:38 , 18-Май-09, (47)   А как они определили, что 1Тб отсортирован Сколько на это уходит время А если , pavlinux (ok), 15:10 , 17-Май-09, (20) // Ну прогу проверки в сто раз легче написать , crypto5 (?), 19:00 , 17-Май-09, (28) Куда такие объёмый данных Гораздо проще разбить на логически разделённые блоки , FSA (??), 15:12 , 17-Май-09, (22) // Ну ведь бывают ситуации когда разбить не получается , crypto5 (?), 19:01 , 17-Май-09, (29) Так понт Hadoop как раз и заключается что он САМ разбивает на блоки и размазывае, uZver (ok), 11:56 , 18-Май-09, (35) Прошлогодний результат сортировки 1 терабайта данных, показанный также Hadoop н, kandrew (?), 15:52 , 17-Май-09, (23) // http developer yahoo net blogs hadoop 2008 07 apache_hadoop_wins_terabyte_sort, Pasystem (??), 09:33 , 18-Май-09, (32) // Итого добавили мощи - подтянули рекорд А если еще вдвое больше машин Что, де, User294 (??), 14:17 , 18-Май-09, (42) // Не надо считать всех дураками Если бы было целесообразнее использовать с , а р, Аноним (-), 19:26 , 18-Май-09, (49) тогда кем их считать, если они говорят глупости НЕ МОЖЕТ байт-код исполняться бы, аноним (?), 19:36 , 18-Май-09, (50) –1 gt оверквотинг удален Может так оказатся что качество С компилера хуже чем JIT, crypto5 (?), 19:44 , 18-Май-09, (51) Ну вот когда будут доказательства - отлично, поговорим Вот только про рекорд , User294 (??), 20:30 , 18-Май-09, (53) Сколько раз тебе нужно говорить, что lzma- и zip-алгоритмы в JavaSE написаны с и, iZEN (ok), 20:35 , 18-Май-09, (54) gt оверквотинг удален Так а я и не говорю что джава круче Вы просто утверждал, crypto5 (?), 20:45 , 18-Май-09, (55) МОЖЕТ Да может же А потому что JIT оптимизирует код под конкретный процессор , Аноним (-), 20:12 , 18-Май-09, (52) А пруфлинк можно , crypto5 (?), 20:46 , 18-Май-09, (56) К пущей досаде жабистов могу припомнить что пруфлинк про gcc и как раз вот такую, User294 (??), 21:25 , 18-Май-09, (58) А проверки характерные для managed кода куда денутся Испарятся Зато си-компилято, User294 (??), 21:22 , 18-Май-09, (57) На численных алгоритмах все обычно без managed проверок идет их еще компилятор , Аноним (-), 22:49 , 18-Май-09, (60) Ну я запустил этот QuickLZ У меня на 2GHz Celeron 550 оно показывает скорость с, Volodymyr Lisivka (?), 03:57 , 19-Май-09, (62) s и я не даю и я даю , Volodymyr Lisivka (?), 03:59 , 19-Май-09, (63) -march и про остальные опции вы, видимо, не слыхали Любая профилировка - огромны, Аноним (-), 22:01 , 18-Май-09, (59) Слыхали, а вот вы не понял сути вопроса Вы что - будете генерировать 10 выполни, Аноним (-), 22:53 , 18-Май-09, (61) Компилятор, не Никто не сомневался, что java - зрелая и развитая технология Толь, аноним (?), 08:15 , 19-Май-09, (64) +1 Под виртуальную машину сотню мегабайт на каждом компьютере - и всё Остальное та, Интегратор Императора (?), 12:29 , 19-Май-09, (65) вынесем за скобки сомнительный пассаж про неподдатливых программеров платформа j, аноним (?), 14:20 , 19-Май-09, (66) И это правильно 50 грамм кремния должны стоить дешевле двух кило мозга , Аноним (-), 14:38 , 19-Май-09, (67) 4,5,10,13,20,22,23

Сообщения

[Сортировка по времени | RSS]

	19. "Hadoop установил новый мировой рекорд"	+/–
	Сообщение от Volodymyr Lisivka (?), 17-Май-09, 15:09
	> На С++ таки оно было бы существенно быстрее :) http://scienceblogs.com/goodmath/2006/11/the_c_is_efficient_... I decided to do an experiment. I wrote the LCS algorithm in a bunch of different languages, to compare how complex the code was, and how fast it ran. I wrote the comp bio algorithm in C, C++, OCaml, Java, and Python, and recorded the results. What I got timing-wise for running the programs on arrays of 2000 elements each was:     * OCaml: 0.6 seconds *interpreted*, 0.3 seconds fully compiled.     * C: 0.8 seconds.     * Java: about 1 second for the JVM to start up, 0.7 seconds to run the code     * C++: 2.3 seconds.     * Python: over 5 minutes.
	Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

	24. "Hadoop установил новый мировой рекорд"	+/–
	Сообщение от Zzz (??), 17-Май-09, 16:44
	Зачем одновремено давать ссылку и искажать те факты которые по этой ссылке есть: *Java: 1 minute 20 seconds.
	Ответить | Правка | Наверх | Cообщить модератору

	25. "Hadoop установил новый мировой рекорд"	+1 +/–
	Сообщение от noname (??), 17-Май-09, 17:07
	А прочитать ниже было уже никак? "About a year later, testing a new JIT for Java, the Java time was down to 0.7 seconds to run the code, plus about 1 second for the JVM to start up."
	Ответить | Правка | Наверх | Cообщить модератору

	41. "Hadoop установил новый мировой рекорд"	+/–
	Сообщение от User294 (??), 18-Май-09, 14:16
	>    * OCaml: 0.6 seconds *interpreted*, 0.3 seconds fully >compiled. Отсюда мораль: придет злобный асемблерщик и всех порвет как всегда - сями и т.п. явно сгенерен дерьмовый код в узком месте.В глубоких циклах достаточно жалкую пару команд сэкономить и будет о-го-го какой выигрыш в сумме :) Кстати сишные компилеры умеют генерить в некоторых ситуациях дерьмовый код.Если кто вдруг не знал - сюрприз! :D Впрочем жабистам и прочим придуркам которые даже не имеют представления в какой именно код трансформируется их конструкция - простительно.Что с тупых и убогих взять?Они только на форумах бухтеть умеют, а "под микроскопом" тот бред выдаваемый компилером и JIT ни разу не видели все-равно.Там же высокие концепции!Взять кластеров на 4-ядерниках побольше - и вот вам мировой рекорд!Главное взять достаточно много машин :D
	Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

	43. "Hadoop установил новый мировой рекорд"	+/–
	Сообщение от iZEN (ok), 18-Май-09, 14:34
	>Впрочем жабистам и прочим придуркам которые даже не имеют представления в какой >именно код трансформируется их конструкция - простительно. Что это, мы-то, как раз-таки, имеем представление в какой код транслируется байткод: на [i386] получается код x86, на [amd64] -- x86-64, на [sparc] -- код для risc-процессора SPARC, на [mips], очевидно же(!) -- код MIPS, на [arm] -- код ядра процессоров ARM, если нету пришлёпки Jazelle DBX. Притом что байткод переносим между архитектурами без перекомпиляции исходников, а конкретная виртуальная машина оптимизирует выполнение "по месту" с учётом особенностей CPU (длина конвеера, количество РОН, размер кэша, объём оперативной памяти). Количество аппаратных параметров, которые учитываются JVM для обеспечения такой же скорости исполнения как и у блобов, полученных методом красноглазой оптимизации исходников C++, не так много, но они важны для выбора правильной стратегии GC и тем самым влияют на общий отклик java-приложения. Некоторые java-приложения замахиваются даже на реал-тайм режим исполнения (Oracle/BEA JRockit JVM, IBM J9). >Что с тупых и убогих >взять?Они только на форумах бухтеть умеют, а "под микроскопом" тот бред >выдаваемый компилером и JIT ни разу не видели все-равно.Там же высокие >концепции!Взять кластеров на 4-ядерниках побольше - и вот вам мировой рекорд!Главное >взять достаточно много машин :D Кто там говорил, что микроядро всё время будет проигрывать монолитному ядру в эффективности? Торвальдс(tm), кажется. Так напишите Hadoop на C/C++, чтобы доказать обратное. :))
	Ответить | Правка | Наверх | Cообщить модератору

	44. "Hadoop установил новый мировой рекорд"	+/–
	Сообщение от Volodymyr Lisivka (?), 18-Май-09, 15:06
	>Кто там говорил, что микроядро всё время будет проигрывать монолитному ядру в >эффективности? Торвальдс(tm), кажется. Так напишите Hadoop на C/C++, чтобы доказать обратное. >:)) MapReduce очень просто реализовать на чём угодно, хоть на bash-е. Есть уже готовые реализации на многих языках (просто поищи, например в QT 4.4.x она уже есть: QFuture mappedReduced(list, mapFunction, reducefunction) ). Основная проблема здесь в управляющей логике, которая должна эфективно разбивать на подзадачи, поддерживать высокий уровень надёжности и минимизировать блуждание данных по кластеру без нужды, иначе сетевая подсистема станет узким местом. Проблема именно в *алгоритме* *управляющих* серверов. Ява просто позволила найти достаточно толковых энтузиастов, которые оттюнили этот алгоритм. Перенести готовые наработки на другой язык - не проблема. Можна даже просто скомпилировать Cи++ и Яву в один бинарник при помощи gcj и не парится. Скорости от этого не прибавится - статическая оптимизация _сейчас_ проигрывает динамической.
	Ответить | Правка | Наверх | Cообщить модератору

	45. "Hadoop установил новый мировой рекорд"	+/–
	Сообщение от Volodymyr Lisivka (?), 18-Май-09, 16:19
	>>Кто там говорил, что микроядро всё время будет проигрывать монолитному ядру в >>эффективности? Торвальдс(tm), кажется. Так напишите Hadoop на C/C++, чтобы доказать обратное. >>:)) > >MapReduce очень просто реализовать на чём угодно, хоть на bash-е. Вот, кстати, примитивная реализация Hadoop (раскидывание задач по кластеру) на bash-e: http://blog.last.fm/2009/04/06/mapreduce-bash-script http://github.com/erikfrey/bashreduce/blob/master/br (3 страницы кода). PS. Чел ищет сипласпласника... :-)
	Ответить | Правка | Наверх | Cообщить модератору

	48. "Hadoop установил новый мировой рекорд"	+/–
	Сообщение от Аноним (-), 18-Май-09, 19:16
	>Скорости от этого не прибавится - статическая оптимизация _сейчас_ >проигрывает динамической. User294 считает по другому! Не было разрывов, не было!!!
	Ответить | Правка | К родителю #44 | Наверх | Cообщить модератору

	46. "Hadoop установил новый мировой рекорд"	+/–
	Сообщение от Marinov (?), 18-Май-09, 16:28
	Only in your dreams JAVA could be faster than C++ :)
	Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

	47. "Hadoop установил новый мировой рекорд"	+/–
	Сообщение от Volodymyr Lisivka (?), 18-Май-09, 17:38
	>Only in your dreams JAVA could be faster than C++ :) http://www.mail-archive.com/hadoop-user@lucene.apache.o... MapReduce in C++ vs MapReduce in Java ... Java version was about 4 times quicker. ...
	Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема