https://www.opennet.ru/openforum/vsluhforumID13/710.html Доброе время суток, возникла проблема которую не смог решить сам поэтому прошу вашей помощи.<br><br>Необходимо добиться максимальной скорости передачи данных между 2 серверами.<br>При удачных тестах все введется в эксплуатацию на боевых серверах с приличным объемом РАМ<br><br>----<br>Что имеем:<br>2 одинаковых сервера (тестовая лаборатория):<br>P4 x64<br>сетевая карта 1 - 1 Гбит <br>сетевая карта 2 - 4-х портовая 1Гбит<br>4GB Ram<br>eth0 - интерфейс 1 карты<br><br>bond0 - бондинг с задействоваными интерфейсами eth1 eth2 eth3 eth4<br><br><br>Cisco Catalyst 3560G<br>----<br><br>Что сделано <br><br>1. Созданы виртуальные РАМдиски на каждом сервере ( mount -t tmpfs -o size=3000M tmpfs /mnt/RAMDrive/ )<br>2. Вроде как настроен Nic Bonding (Nic Teaming) На обоих серверах, IP 10.10.250.3 и 10.10.250.2<br><br>auto bond0<br>iface bond0 inet static<br> address 10.10.250.3<br> netmask 255.255.255.0<br> network 10.10.250.0<br> bond_mode balance-rr<br> bond_miimon 100<br> bond_downdelay 200<br> bond_updelay 200<br> slaves eth1 https://www.opennet.ru/openforum/vsluhforumID13/710.html#13 Tue, 18 Jan 2011 05:50:58 GMT &gt; а вы на циске port-channel-ы настроили-то ? в каком режиме ?<br>&gt; попробуйте в режиме 802.3ad в режиме load-balance src-dst-port на циске + 4 <br>&gt; режим бондинга на линуксе.<br>&gt; про iperf и скорость - неоднократно обсуждалось.<br><br>Мы нашли другой вариант который нас устроил больше. Заюзали InfiniBand по протоколу SRP =)<br> https://www.opennet.ru/openforum/vsluhforumID13/710.html#12 Mon, 10 Jan 2011 11:50:22 GMT а вы на циске port-channel-ы настроили-то ? в каком режиме ?<br>попробуйте в режиме 802.3ad в режиме load-balance src-dst-port на циске + 4 режим бондинга на линуксе.<br><br>про iperf и скорость - неоднократно обсуждалось.<br><br><br> https://www.opennet.ru/openforum/vsluhforumID13/710.html#11 Tue, 02 Nov 2010 14:59:18 GMT &gt; А что будет если не iSCSI использовать а скажем nfs/FTP (проверить что<br>&gt; на других протоколах будет)<br><br>~# dd if=/dev/zero of=/mnt/nfs/imeea.img bs=1024k count=1024<br>1024+0 records in<br>1024+0 records out<br>1073741824 bytes (1.1 GB) copied, 9.28765 s, 116 MB/s<br><br>ФТП тоже самое....<br> https://www.opennet.ru/openforum/vsluhforumID13/710.html#10 Tue, 02 Nov 2010 13:48:07 GMT А что будет если не iSCSI использовать а скажем nfs/FTP (проверить что на других протоколах будет)<br> https://www.opennet.ru/openforum/vsluhforumID13/710.html#9 Tue, 02 Nov 2010 13:34:20 GMT Да нет, скорость РАМдрайва сама по себе нормальная.<br><br><br>Выше показано создание файла на РАМдиск по сети по iSCSI в bonding.<br><br>Локально на любом сервере скорость работы РАМдиска нормальная, вот результаты<br># dd if=/dev/zero of=/mnt/ramdrv/image.img bs=1024k count=1024<br>1024+0 records in<br>1024+0 records out<br>1073741824 bytes (1.1 GB) copied, 0.861937 s, 1.2 GB/s<br> https://www.opennet.ru/openforum/vsluhforumID13/710.html#8 Tue, 02 Nov 2010 12:34:47 GMT Вот скорее всего здесь и упирается. Честно говоря маловата скорость для RAMDrive. Видимо в его сторону и копать.<br> https://www.opennet.ru/openforum/vsluhforumID13/710.html#7 Tue, 02 Nov 2010 12:31:45 GMT Поставил режим balance-tlb и попробовал посоздавать файлы разных размеров вот что вышло...<br><br># dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=200 && dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=400 && dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=600 && dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=750<br>200+0 records in<br>200+0 records out<br>209715200 bytes (210 MB) copied, 0.159145 s, 1.3 GB/s<br>400+0 records in<br>400+0 records out<br>419430400 bytes (419 MB) copied, 0.511152 s, 821 MB/s<br>600+0 records in<br>600+0 records out<br>629145600 bytes (629 MB) copied, 3.38926 s, 186 MB/s<br>750+0 records in<br>750+0 records out<br>786432000 bytes (786 MB) copied, 5.69244 s, 138 MB/s<br><br>3# dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=800 && dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=1100<br>800+0 records in<br>800+0 records out<br>838860800 bytes (839 MB) copied, 6.24761 s, 134 MB/s<br>1100+0 records in<br>1100+0 records out<br>1153433600 bytes (1.2 GB) copied, 10.3507 s, 111 MB/s https://www.opennet.ru/openforum/vsluhforumID13/710.html#6 Tue, 02 Nov 2010 07:43:34 GMT &gt; RAMDrive - думаю дадут дольше.<br>&gt; я так полагаю что человек делает тесты в "тепличных условиях" когда скорость<br>&gt; винтов гораздо выше скорости сети.<br>&gt; А что сказал dd когда был сделан файл - "Создаем файлик 1.1<br>&gt; гиг dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=1024"<br><br>Да тесты проводятся в "тепличных условиях" для дальнейшего применения на боевых серверах фирмы.<br>Так же на боевых машинках используется infinyband и корзинки =)<br><br>Результаты:<br><br>~# dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=1024<br>1024+0 records in<br>1024+0 records out<br>1073741824 bytes (1.1 GB) copied, 9.35884 s, 115 MB/s<br><br><br>iotop 80-260Mb/Sec<br><br>iptraf показывает 0..... новерно он не понял bonding...<br><br>Скорость работы с файлами (замерена через mc):<br>Копирование:<br>iSCSI -&gt; RAMDrive 185-310M/Sec<br>RAMDrive -&gt; iSCSI 135-185M/Sec<br><br>Перезапись файла:<br>iSCSi -&gt; RAMDrive 180-320M/Sec<br>RAMDrive -&gt; iSCSI 150-175M/Sec<br> https://www.opennet.ru/openforum/vsluhforumID13/710.html#5 Tue, 02 Nov 2010 05:31:24 GMT RAMDrive - думаю дадут дольше.<br>я так полагаю что человек делает тесты в "тепличных условиях" когда скорость винтов гораздо выше скорости сети.<br><br>А что сказал dd когда был сделан файл - "Создаем файлик 1.1 гиг dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=1024" <br>