Версія даної теми для друку

Автор: smilesvua Aug 31 2011, 17:44

Как его разогнать на 100 мбит? Задал настройки которые были рекомедованы, но он нагружет около 25 мбит/с. Ошибок сети менее 5%.

Автор: Rilian Aug 31 2011, 17:50

smilesvua, яка ОС ? які ще відомі параметри? пам'ять, проц вільні?

пограйся кількістю воркерів та величиною downstream, upstream

Автор: smilesvua Aug 31 2011, 18:02

Windows 7 x86, Intel q8300, 2 Gb. В общем-то все курит.

Автор: Rilian Aug 31 2011, 18:18

а вільної пам'яті скільки?

також, які налаштування воркерів та швидкості? (давай скріншоти)

Автор: smilesvua Aug 31 2011, 19:02

http://images.sevstar.net/viewer.php?file=12853702599304131673.png
http://images.sevstar.net/viewer.php?file=52131122215212493426.png
Памяти свободно больше 1 ГБ

Автор: Rilian Aug 31 2011, 19:10

ок, спробуємо так

workers 500
delay before 0
reserved 100
ensure disk space - постав 10 гіг. перевір що дійсно є місце
retry connection errors -- 4 галка - не треба

взагалі, на форумі це обговорюється, зараз підкину посилань

http://www.majestic12.co.uk/forum/viewtopic.php?p=56072&highlight=#56072

прочитай топік, особливо відповіді DeadlyFire -- там рекомендують під кожні 20МБіт давати віртуальну ноду

Автор: smilesvua Aug 31 2011, 19:14

как создаются виртуальные ноды?

Автор: Rilian Aug 31 2011, 19:16

Parallels, WMware
став туди windows 7

Автор: smilesvua Aug 31 2011, 19:22

мне кажется данное решение является костылем, буду курить основной форум.

Автор: Rilian Aug 31 2011, 21:06

smilesvua, это ограничение windows платформы

Автор: smilesvua Aug 31 2011, 23:03

В каком смысле ограничение? Ограничение чего?

Автор: Rilian Sep 1 2011, 09:09

на відкриття і обробку сокетів в программах на .NET

Автор: smilesvua Sep 1 2011, 13:19

В клиенте есть возможностиь использовать свою http библиотеку.

Автор: Rilian Sep 1 2011, 13:36

многорічним досвідом маджестік-кранчерів виявлено що нормально більше 20 МБіт одна нода не тягне. Під віндовс

Під лінукс теж рекомендується запускати по ноді на кожні 10 МБіт

При цьому, під лінуксом їх можливо запустити на одній системі, а під віндовс - ні. Тому приходиться встановлювати віртуальні машини, і ставити ноду там. (Доречі, як для DIMES)

Автор: Fightcat Sep 8 2011, 21:47

Сам MJ12 клиент написан не очень оптимально даже с точки зрения .NET, жрет довольно много памяти и процессора.
Покопался в потрохах , нашел несколько простых и не очень возможностей для оптимизации.
1. Своевременно вызывать "сборщик мусора" - сэкономит 5-10% потребления RAM
2. Уменьшить размер пула для каждого потока - ускорит работу на 5-10% и сэкономит 20-30% потребления RAM
3. Вычисления и парсинг проводить мощностями видеокарты, CUDA намного лучше с этим справится - экономия проца 70-75%
4. Включить поддержку gzip для трафика - экономия трафика 15-70%, зависит от размера страниц
5. Можно обойти ограничение Windows в количестве потоков (на С++ есть решение), и тогда уже потоков устанавливай сколько проц потянет и памяти хватит - стандартная современная домашняя машина сможет удержать 2500-3000 потоков
6. И, конечно же, оптимизация работы с базой - ускорит работу на 5-15%

Вот только, где взять время, чтобы это переписать.

Также я сделал небольшую калькуляцию по объему трафика при такой производительности, получилось около 450 Гб/сут. или ~13 Тб/мес.
Совсем забыл про плюшки. Количество URL-ов будет в пределах 20-35 млн/сут. (ну это как повезет с пачками для кроулинга).

Вопрос: предоставляет ли ваш провайдер настолько "безлимитный" интернет?



зы: оторвался на смайлах по полной

Автор: smilesvua Sep 8 2011, 22:42

Мой да. Я там работаю. :-)
P.S. Вариант прокси для UA-IX?

Автор: nikelong Sep 9 2011, 08:35

Fightcat,
Написать бы это на оффорум шоб Алекс почитал (!)

Автор: Death Sep 9 2011, 21:56

кто отпишет ему - скажите тут шоб 2 раза не писать.

кстати он вообще-то русский ) так что не парьтесь с переводом ))))))))

Автор: Rilian Sep 9 2011, 22:12

Я уже отписал

Кстати, те кто не вкурсе, пару недель назад я вежливо попросил Алекса отправить приглашение двум "бездомным" участникам проекта zabirnik & ipserf со ссылкой на наш командний форум. Эти участники выдавали каждый по 100 кбит/сек и явно нуждались в помощи в настройках. В проекте маджестик за 7 лет так и не удосужились прикрутить простую функцию сообщения между участниками, что делается за 1 час

На что Алекс ответил что он не собирается "рассылать наши рекламные сообщения", а прикрутить функцию мессаджей у него нет времени. Это при том что majesticSEO -- главный продукт из-за которого работает majestic-12 -- приносит приличные деньги.

Я к чему. fightcat (в нашем топ-3 команды) так и не узнал бы что у нас есть команда, если бы я раньше не попросил Алекса отправить ему приглашение. А те два новичка, которые не смогли ничего настроить, уже больше не участвуют.

Вот так вот, раз уже есть несколько мощных юзеров с хорошим инетом, зачем напрягаться и дать возможность другим формировать комьюнити.

Автор: Fightcat Sep 10 2011, 19:34

Если у Алекса с проектом все пучком, то какой нам профит?

Я заджоинился в команду на второй день регистрации, а подтвердилась она только в тот день, когда Rilian меня пригласил.

Автор: Death Sep 10 2011, 20:33

вообщето он собирается раздать прибыль юзерам насколько ты помнишь ))

Автор: Rilian Sep 25 2011, 21:24

Итак, я получил гайдлайны по настройке виртуалок от кранчеров с оф форума

завтра напишу инструкцию

вроде все просто

Автор: smilesvua Sep 25 2011, 22:55

ждем с нетерпением

Автор: nick4eva Oct 7 2011, 16:40

Rilian

Так шо там с гайдлайном по настройке виртуалок?

Автор: Rilian Oct 8 2011, 10:19

времени нет написать

если кратко: юзай windows 7 для каждых 20 мбит , памяти ставь 700 метров на виртуалку