Версія даної теми для друку

Автор: nikelong Mar 3 2007, 15:34

Нашёл 15 ГиГ камедиКлаб.
Так что около 15-ти дней команда Украины будет недополучать ~150000 ППД

Автор: ReMMeR Mar 3 2007, 17:59

(nikelong @ Mar 3 2007, 03:34 PM)

Нашёл 15 ГиГ камедиКлаб.
Так что около 15-ти дней команда Украины будет недополучать ~150000 ППД

Автор: Rilian Mar 3 2007, 18:33

+1, сериалеги ни руляд

Автор: Oleg82 Mar 3 2007, 18:56

nikelong:
не дай Бог

Автор: ReMMeR Mar 3 2007, 19:36

(Rilian @ Mar 3 2007, 06:33 PM)

Автор: nikelong Mar 4 2007, 04:13

Ну, к хорошему привыкаешь быстро, теперь конечно я скажу что НЕТ! , не ради РВ....
А вот в начале января.... на работе нэт есть, а дома...80 грн можно и съэкономить ;-)
Хотя, ФАХ, МАДЖ, статистика по ним и наш форум о РВ съедают львиную долю моего "интернета"....процентов 80...

Автор: Tamagoch Mar 8 2007, 21:02

(nikelong @ Mar 3 2007, 03:34 PM)

Нашёл 15 ГиГ камедиКлаб.
Так что около 15-ти дней команда Украины будет недополучать ~150000 ППД

Автор: nikelong Mar 9 2007, 17:45

Выложи у себя на серваке, я стяну...

Автор: Tamagoch Apr 12 2007, 09:46

(nikelong @ Mar 9 2007, 06:45 PM)

Автор: ReMMeR Apr 12 2007, 10:46

(Tamagoch @ Apr 12 2007, 10:46 AM)

(nikelong @ Mar 9 2007, 06:45 PM)

Выложи у себя на серваке, я стяну...

не могу отдавать столько траффика в мир, сорри

Автор: nikelong Apr 12 2007, 10:55

Посе приезда с коммандировки нафиг отвалился маджестик.
А времени для танцев с бубном нет... так-что я ВРЕМЕННО неучаствую...

Автор: Oleg82 Jul 9 2007, 22:09

у меня плохие новости думал по окончанию Пи сегмента дать в Мадже полный вперёд но сегодня получил звонок от провайдера что если я не сбавлю оборот трафика то мне отключат сервис нета... вот такая х...йня
пока дам им там остыть а через некоторое время опять запустить но с меньшим объемом.

Автор: nikelong Jul 9 2007, 22:15

Вот уроды, а ещё называется "безлимитный интернет"
Да все в провайдеров аху...евают от траффика маджа (!)
Рэммера отключили, тебя... эх!
ЗЫ: интересно, как же своео прова имеет норвежец http://www.majestic12.co.uk/projects/dsearch/userinfo.php?id=1208 ?

Автор: Rilian Jul 9 2007, 22:21

Oleg82,

скажи прямо причину трафика и спроси на сколько % сбавить оборот.

Автор: ReMMeR Jul 10 2007, 00:09

Oleg82,
Согласен с Рилианом.
Я то за свой трафик не платил.
А ты если платиш, то имееш право спросить, по какой причине тебе следует убавить темп.
А если бы ты другое чтото важное качал ?
Сменить провайдера сможеш ?

Автор: nikelong Jul 10 2007, 06:47

Договор подписывал? Там-же есть какой-то пункт "мы предоставляем неограниченый доступ в и-нэт" ?

Автор: Oleg82 Jul 11 2007, 06:28

Автор: nikelong Sep 12 2007, 11:03

Вобщем, позонили Олегу во второй раз, пригрозили репресиями. Так что он мадж считать перестал.
RIP

Прийдецца одному мне отдуватся за всю страну ...

Автор: nikelong Oct 20 2007, 20:25

Всё, ток98 доигрался.

Его статистики нет ни за день, ни вообще в команде

Автор: Rilian Oct 20 2007, 21:26

На мадже удалили?

Автор: Rilian Oct 21 2007, 13:22

http://www.majestic12.co.uk/forum/viewtopic.php?t=2782
http://majestic12.co.uk/forum/viewtopic.php?t=2784

Автор: Oleg82 Oct 21 2007, 19:19

http://www.majestic12.co.uk/projects/dsearch/teaminfo.php?id=97 тоже самое и сегодня

Автор: alexc Oct 21 2007, 20:19

(Oleg82 @ Oct 21 2007, 07:19 PM)

http://www.majestic12.co.uk/projects/dsearch/teaminfo.php?id=97 тоже самое и сегодня

Автор: nikelong Oct 21 2007, 21:20

Хотть мы и "никого не баним", но свое лицо тоже нужно иметь. И если к человеку не доходит "по спокойному" - значит нужно применять другие меры.
Ещё раз просим: ток98 - уймись, поставь 50 воркеров и приноси благо команде Украины, а не приноси ей вред своими действиями.
О нас только начинают говорить "на международном уровне". И к сожалению в данный момент "на международном уровне" заговорили о нас как о плохих людях. Ну и кому мля это нужно?

Автор: nikelong Nov 2 2007, 19:50

http://www.majestic12.co.uk/projects/dsearch/userinfo.php?id=1916

Украинец, с командой еще не определился

Автор: nikelong Nov 22 2007, 14:51

Участник с ником maks , не желаешь ли присоединится к нашей команде?

http://www.majestic12.co.uk/projects/dsearch/userinfo.php?id=1961

Для этого достаточно открыть страницу нашей команды:
http://www.majestic12.co.uk/projects/dsearch/teaminfo.php?id=97

и нажать кнопку (Join this team)

Автор: nikelong Dec 14 2007, 11:20

Уже второй день наблюдаю такие проблемы: запускаешь маджестик....5 минут и модем повис. Всё интернета нету, даже в вэб-интерфейс модема не пускает.
Помогает только перезагрузка модема.
Думаю, может из-за количества воркеров виснет - так нет, поставил 5 воркеров и через 5 минут модем повис.

Поэтому сегодня мадж даже на запускаю ...

Автор: nick4eva Jan 16 2008, 13:37

Сегодня у меня на Majestic12 ругнулся антивирус (Trend Micro Officescan) на работе

(Show/Hide)

Автор: ReMMeR Jan 16 2008, 13:55

Может из инета слил чегото вирусного.

Автор: nikelong Jan 16 2008, 14:57

Кстати да, мадж то индексирует странички...вот на какой-то и подцепил себе вирус...

Автор: ReMMeR Jan 16 2008, 16:17

Не подцепил а скачал.

Автор: nick4eva Jan 16 2008, 17:17

(ReMMeR @ Jan 16 2008, 04:17 PM)

Автор: ReMMeR Jan 17 2008, 00:09

Ну опять же - не нахвататся а скачать.
И скорее всего это каието злостные ифреймы или яваскрипт.
ВЫ его(ХТМЛ) никогда запускать не будете.

Автор: ReMMeR May 28 2008, 08:14

ВВиду Того, что внешний Архиватор Както заглючил ??? (РАР)
Мадж не мог КУУуучу результатов отправить.
Заюзая внутренний архиватор всё получилось. вот.

Всеравно в статсе чегото это не отобразилось ...

Автор: Rilian Aug 20 2008, 15:37

Я вышел из проекта так как он начал предоставлять платные сервисы для СЕО

Автор: (_KoDAk_) Jan 22 2009, 10:02

Ukraine
(Down 1 places1) 18

Автор: nikelong Jan 22 2009, 12:44

(_KoDAk_),
Даа, фины жгуд!

Автор: Roamer Mar 20 2009, 16:12

Уже неделю в проекте участвует человек из Украины под ником ldi и он не в Команде !
Жаль, мог бы помочь !

Автор: Death Mar 22 2009, 12:37

мне со вчерашнего пишет реджект и не даёт букетов ((( забанели чтоле?

Автор: Rilian Mar 22 2009, 13:08

Death, закончились урлы на выбранных доменах

Автор: Death Mar 22 2009, 21:31

всю Украину перекравлили.
поставил галку получать шопопало - накидало су, ню, ау.

а щас вообще одни комы. не люблю я этого...

Автор: nikelong Nov 3 2009, 22:55

Roamer, шо со сливами?

Автор: Roamer Nov 7 2009, 00:52

Якась падлюка обрезала оба канала в Inet в подъезде!

Один канал уже восстановили, скоро включу второй !

З.Ы. Друзья не проплотили Inet вовремя - проэтому у них пока тишина!

Автор: nikelong Apr 2 2010, 23:02

Ну вот, с сегодня я уже не третий ....

Автор: Alexis Kravtchenko Jan 6 2011, 12:23

Последние дней десять постоянно выдает "NoMoreURLsAviable"
Это только у меня такое?

Версия 1.6.11(.NET 2.0).

Автор: nikelong Jan 6 2011, 13:48

Alexis Kravtchenko,
Та да, ты посмотри как дневные сливы проекта упали:
http://www.majestic12.co.uk/projects/dsearch/stats.php

Автор: Alexis Kravtchenko Jan 6 2011, 14:02

nikelong, там плохо видно
Вот на free-dc суммарно(по проекту) :

И не скажешь что скорость у всех заметно упала(у меня ~ в 2 раза!)...
Пока думаю может попробовать v1.6.12...

Автор: nikelong Jan 6 2011, 14:18

Ну у меня уже давно 12-ка кранчит, так шо попробуй её...

Автор: A1ex01 Jan 6 2011, 15:16

(Alexis Kravtchenko @ Jan 6 2011, 12:23)

Автор: Death Jan 6 2011, 19:37

vikachali ves internet, figli teper...

Автор: Alexis Kravtchenko Jan 6 2011, 22:39

(A1ex01 @ Jan 6 2011, 15:16)

Автор: A1ex01 Jan 6 2011, 23:10

gdetotak

Автор: nikelong Jan 9 2011, 18:04

Появилась идея...
Мы ж - кранчеры?
У нас пусть и на одном канале - но может быть несколько компьютеров?

Короче, запустил не одну, а пару копий 1 6 12. Пусть и сидят они на одном канале, но если каждая грузит его на 40% - то две будут грузить а 80% )))))))))

Автор: A1ex01 Jan 9 2011, 18:55

та я тоже так делал, на виртуалку приходило даже меньше
ну их, видно не надо им уже...

Автор: nikelong Jan 9 2011, 21:39

Нууу... может праздники, поэтому и отдыхают ...

Автор: nikelong Jan 10 2011, 21:42

(nikelong @ Jan 9 2011, 18:04)

Автор: Death Jan 11 2011, 13:42

1.7 бета кстате заглохла, Алекс на форуме писал

Автор: Roamer Jan 12 2011, 00:49

(nikelong @ Jan 9 2011, 18:04)

(nikelong @ Jan 10 2011, 21:42)

Автор: nikelong Jan 17 2011, 19:50

refic вікачал все букеті маджестика:
http://www.majestic12.co.uk/projects/dsearch/stats.php

Автор: Rilian Apr 4 2011, 22:02

походу инет есть только у 10 украинских кранчеров из 3500 ...

Автор: Death Apr 4 2011, 22:48

Автор: Rilian May 12 2011, 13:09

Помогите удержать 8 место

Автор: Death May 12 2011, 13:35

рассылка?

Автор: nikelong May 12 2011, 14:08

Death,
Для интернет-проектов непомогает.
В даймсе проимеем скоро первое (а не 9-е) место, но всемпохуй.

Хотя...могу написать конечно, если тут кроме тебя еще ктото выскажется за то что рассылку СТОИТ делать)...

Автор: Rilian May 12 2011, 14:29

Nike, 17 мая в день интернета можно организоваться и побить рекорд дневного кравлинга в 1 МЛРД УРЛов. Щяс рекорд около 800.

Я могу написать текст. Разошлешь?

Автор: Rilian Aug 4 2011, 12:01

http://www.majestic12.co.uk/projects/dsearch/teaminfo.php?id=97

а чего нас так мало? только у 4 кранчеров в команде остался безлимитный инет

пс: не забудьте обновиться на версию 1.7.5, ибо на старые версии задания уже не выдаются

QUOTE(nikelong @ Mar 3 2007, 16:34)

Нашёл 15 ГиГ камедиКлаб.
Так что около 15-ти дней команда Украины будет недополучать ~150000 ППД

Автор: nikelong Aug 4 2011, 15:41

Автор: smilesvua Aug 4 2011, 22:58

У меня через некоторое время они перестали запускаться вываливаясь с ошибками. Просто убрал из автозагрузки.

Автор: Rilian Aug 5 2011, 09:59

QUOTE(smilesvua @ Aug 4 2011, 23:58)

Автор: Rilian Aug 8 2011, 08:57

кто такой fightcat http://www.majestic12.co.uk/projects/dsearch/userinfo.php?id=4082 и почему он не вступил в команду Ukraine http://www.majestic12.co.uk/projects/dsearch/teaminfo.php?id=97 ?

Автор: Rilian Aug 22 2011, 10:16

Rjurik, и ВСЕ кто не обновился - обновите ноду на 1.7.5! Вы не получаете заданий!

http://www.majestic12.co.uk/projects/dsearch/userinfo.php?id=2901

Автор: Rilian Sep 8 2011, 12:54

http://www.majestic12.co.uk/projects/dsearch/stats.php

Дивлюсь, кожен день нам не висточає якогось міліону УРЛов в день для того щоб триматися попереду XtremeSystems.
Агов! Додайте до команди зайвих пару мегабіт!

Якщо не можете, то відпишіться, будь ласка, у топіку та поясніть. Може є складнощі з налаштуваннями? Я допоможу



Наші герої

1 Rilian
2 smilesvua
3 fightcat.name
4 nikelong
5 _ro
6 akostyrin
7 plotnik
8 Andrey fox

Автор: smilesvua Sep 8 2011, 22:10

Через недельку-две включу еще 20-25 мбит и буде щастье

Автор: Sonechko Sep 13 2011, 15:04

я підключився, наче все гуд) щось працює, графіки будує, циферки скачуть, тільки мережа юзається <10мбіт але мож так і має, поставив 400 воркерів 100 букетів, але фактично працюють 50-150 воркерів, да і щось часто, кожних декілька хвилин архівує і проца факає, не підкажете що з цим можна зробити, і де саме, може ще якісь налаштування є?

п.с. ще якісь проекти паралельно мережеві треба/можна запустити?) тільки корисні а не мишкою намотати шлях до місяця)))

Автор: nikelong Sep 14 2011, 10:50

(Sonechko @ Sep 13 2011, 16:04)

Автор: Sonechko Sep 19 2011, 23:58

підключив, 3 дні крутиться, але очки щось не капають, wtf? наче графіки будує, по мережі, може треба ініціювати надсилати звіти з цією лобудою? х.з. що за муть

Автор: smilesvua Sep 20 2011, 07:59

все у тебя тикает http://www.majestic12.co.uk/projects/dsearch/userinfo.php?id=4128

Автор: Sonechko Sep 20 2011, 10:56

Failed to clean up completed buckets due to: System.Exception: System.Exception: Can't execute query 'pn_delete_urlbuckets_bystatus': The database disk image is malformed
database disk image is malformed - - SQL:
wtf? ато пів ночі простоювало через глюк якийсь....

Автор: Rilian Sep 20 2011, 11:24

Sonechko, рекомендую перевстановити ноду повністю заново.

та перевірити права на доступ до папок

Автор: Evgverh Sep 20 2011, 19:07

Долучаюся до пошуку )

Автор: Rilian Sep 23 2011, 10:59

сайты проекта не отвечают

[09/23/2011 11:53:40] Could not execute action GetURLs - The request timed out
[09/23/2011 11:53:40] Failed to receive more URLs, response code: ConnectivityProblem
[09/23/2011 11:53:40] BucketManager: Server seems to be down persistently, so we will wait for at least 60 secs

Автор: Rilian Sep 23 2011, 11:37

из твиттера @MajesticSEO

Our data center is experiencing problems right now, they are working furiously on fix the problem - very sorry for that!

авария в датацентре

Автор: smilesvua Sep 23 2011, 12:38

А я уже нервничать начал, что такое происходит? Кстати, клиент разгоняется более 60 мбит/с но довольно быстро начинает утекать память, кривой код где-то.

Автор: Rilian Sep 23 2011, 12:52

smilesvua, как сказал бы Алекс, "мы получаем достаточно УРЛов (данных) чтобы этими утечками можно было принебречь" ...

Автор: Alexis Kravtchenko Sep 23 2011, 18:37

Ну... Если долго не будут исправлять утечку памяти - то начнется утечка участников...

P.S. У меня две возможные ноды(Win) перестали работать при переходе к 1.7.х...
Писал в форум и общался с alexc... Не помогло... Проверил 1.7.5... Те же яйграбли...

Автор: smilesvua Sep 23 2011, 19:08

вот и начинаешь задумываться: А ну их нафиг с таким отношением!
P.S. Куда можно с пользой израсходовать много интернета?

Автор: Rilian Sep 23 2011, 19:13

smilesvua, пиши на оф форуме параметры итд, скриншо ы с памятью...

попробуй в ноде выставить авторестарт каждые несколько часов ..

Автор: smilesvua Sep 23 2011, 19:45

авторестарт у нее есть встроенный, но если если скорость достигает более 50 мбит более нескольких секунд приложение быстро есть память а потом вообще вылетает.

Автор: Rilian Sep 23 2011, 19:49

smilesvua, рекомендуют, для полного выюзывания канала, ставить виртуалки. поставь например на каждые 30 мегабит по виндовой виртуалке и проверь, как будет пахать...

сначала одну, а потом расклонируй

Автор: smilesvua Sep 23 2011, 20:28

ты уже советовал, но это же "костыль". Если хотят много урлов пускай оптимизируют клиент. Хотя бы дырки уберут. На и7-2600к (странно кстати) загрузка процессора меньше 10%, траффик правдоподобный, но когда ставишь 999 воркеров разгоняется до 50+ мбит и вылетает.

Автор: Death Sep 23 2011, 21:38

а проверку памяти раз в минуту и максимум 300 мб?

Автор: Rilian Sep 23 2011, 22:02

smilesvua, вылетает с какой ошибкой? пришли лог

костыль или нет, но если есть желание заюзать мощности по полной - то лучше с костылем

виртуалка очень быстро поднимается..

Автор: Dobromyr Sep 24 2011, 13:09

Тільки рахує статистику якось незрозуміло. На локальному компі вчора було десь до 500000 урлів, а зарахувалося тільки 14000 на сайті. Не можу зрозуміти в чому причина....

Автор: smilesvua Sep 25 2011, 09:32

Вот вам и код проблемы.
Описание:
Stopped working

Сигнатура проблемы:
Имя события проблемы: CLR20r3
Сигнатура проблемы 01: mj12node.exe
Сигнатура проблемы 02: 1.7.1.25260
Сигнатура проблемы 03: 4e11c7d9
Сигнатура проблемы 04: MJ12commonLib
Сигнатура проблемы 05: 1.7.5.25259
Сигнатура проблемы 06: 4e11c7d7
Сигнатура проблемы 07: 353
Сигнатура проблемы 08: b4
Сигнатура проблемы 09: System.Exception
Версия ОС: 6.1.7601.2.1.0.256.1
Код языка: 1049
Причем с использованием библиотеки дот.нета ошибки не было более суток, переключил на свою вылетело на 6 часе. Но с библиотекой дот нета быстрее 20-30 мбит не разгоняет.

Автор: Rilian Sep 25 2011, 10:01

smilesvua, поставь библиотеку .NET - она явно лучше написана чем в ноде, и юзай 30 мбит

Если будет желание - потом поставишь еще виртуалку и загрузишь канал

Автор: Dobromyr Sep 27 2011, 11:56

Запустив два ноди під лінуксом на 20 Мбіт. Один нод працює нормально. А от у другому постійно повідомлення:

[09/27/2011 12:54:04] BucketManager: Server seems to be down persistently, so we will wait for at least 60 secs
[09/27/2011 12:54:33] Could not execute action GetUploadTarget - The request timed out
[09/27/2011 12:54:33] Failed to get upload target due to ConnectivityProblem

Це в мене щось, чи на сервері?
Пробував наново ставити, деякий час пропрацює, потім те саме...

Автор: Rilian Sep 27 2011, 12:00

Dobromyr, Як ти їх запускаєш ? З якими параметрами

така помилка є коли твоя нода не може закачати порахований букет на сервер ... це в тебе домашній комп або сервер ? є проблеми з інетом ?

Автор: Dobromyr Sep 27 2011, 12:41

З нетом нема проблем. Стабільний канал 20/20 Мбіт. Стоїть роутер TP-link 740. Ноут селерок 1,6, 2 Гб оперативки. Місця вистачає

Запускаю через run.sh
Обидва ноди з параметрами 350 воркерів, 75 букетів. 90% від 20 Мбіт (поставив так, бо один нод в основному витягує десь 7-8 Мбіт). Все решта по замовчуванню

Один стабільно працює, але не загружає канал. Десь тут читав, що треба по ноду на кожні 10Мбіт. От і спробував...

Автор: Rilian Sep 27 2011, 12:47

спробуй поставити 1 ноду, 400 воркерів, 75 букетів

Автор: Dobromyr Sep 27 2011, 12:51

ОК. Спробую. Завтра відпишусь як результат

Автор: Dobromyr Sep 28 2011, 14:32

Звітуюсь за добу.
Значиться параметри: 400 воркерів, 75 букетів, ДЛ-19 Мбіт, АЛ-18 Мбіт. Майже 25 робочих годин

Результат (по локальній статистиці):

Автор: Rilian Sep 28 2011, 14:51

Dobromyr, ошибки в логе - ничего критического (разве что их не очень много, особенно про миссинг букет)

скорость да - на 8 мегабит у меня нода за день вытягивает гдето 3 млн УРЛов

Если будешь винду в виртуалке ставить - ставь win7 - там с инетом получше чем на XPшке

Покажи все другие настройки плиз

если стартуешь сервер - клавиша s в консоли там где у тебя run.py -- http://localhost:1088/

Автор: Dobromyr Sep 28 2011, 15:13

Які конкретніше параметри написати?
Кидаю цілий конфіг.

Автор: Rilian Sep 28 2011, 16:12

а куда у тебя в конфиге делся DownStreamLimit ?

Автор: Dobromyr Sep 28 2011, 19:01

Опа. Не побачив. Виправляю... Вродь нічо не витирав там...

Автор: Dobromyr Sep 29 2011, 12:12

Без змін ((((. Ввечері поміняю роутер інший, поставлю Zyxel NBG344W Може він не пускає. Але торенти витягують всі 20 мбіт без проблем

Автор: Rilian Sep 29 2011, 12:16

QUOTE(Dobromyr @ Sep 29 2011, 13:12)

Автор: Dobromyr Oct 16 2011, 11:19

Виявилось, що "самое слабое звено" - процесор на ноуті. Тормозить на процесі архівації. Налаштування архівації стандартні. Чи можна щось змінити, щоб цей процес покращити? Чи зразу міняти комп? )

Автор: Death Oct 16 2011, 11:40

есть настройки архивации. поставь минимальное сжатие. и вообще посмотри там ))

Автор: _Ro Oct 17 2011, 10:44

(Dobromyr @ Oct 16 2011, 12:19)

Виявилось, що "самое слабое звено" - процесор на ноуті. Тормозить на процесі архівації. Налаштування архівації стандартні. Чи можна щось змінити, щоб цей процес покращити? Чи зразу міняти комп? )

Автор: Rilian Oct 17 2011, 11:10

QUOTE(_Ro @ Oct 17 2011, 11:44)

QUOTE(Dobromyr @ Oct 16 2011, 12:19)

Виявилось, що "самое слабое звено" - процесор на ноуті. Тормозить на процесі архівації. Налаштування архівації стандартні. Чи можна щось змінити, щоб цей процес покращити? Чи зразу міняти комп? )

в настройках архивации отключи ЛЗМА компрессию и будет счастье.

Автор: _Ro Oct 20 2011, 15:43

(Rilian @ Oct 17 2011, 12:10)

(_Ro @ Oct 17 2011, 11:44)

(Dobromyr @ Oct 16 2011, 12:19)

Виявилось, що "самое слабое звено" - процесор на ноуті. Тормозить на процесі архівації. Налаштування архівації стандартні. Чи можна щось змінити, щоб цей процес покращити? Чи зразу міняти комп? )

в настройках архивации отключи ЛЗМА компрессию и будет счастье.

отключил

61%......65%......68%......73%......76%......79%...[10/17/2011 12:08:08] Finished uploading of data barrel
...84%......87%......89%...[10/17/2011 12:08:10] Started uploading data barrel back to base
...92%......94%......96%...[10/17/2011 12:08:12] Finished uploading of data barrel
...97%......98%......100%......100% (done: 28 secs)

Pass: 2 of 3: ...3%...Stacktrace:

at (wrapper managed-to-native) string.InternalAllocateStr (int) <0xffffffff>
at string.SubstringUnchecked (int,int) <0x00023>
at string.Substring (int,int) <0x0004f>
at Majestic12.Utils.UrlDecode (string,bool,System.Text.Encoding) <0x001af>
at Majestic12.URLs.CleanURI (string,string&,string&,bool,bool,bool,System.Text.Encoding) <0x00cd7>
at Majestic12.URLs.CleanURI (string,string&,string&,bool,System.Text.Encoding) <0x00043>
at Majestic12.URLs.CleanURI (string,string&,string&,System.Text.Encoding) <0x0001b>
at Majestic12.ContentAnalyser.SaveURL (string,Majestic12.UrlType,string&) <0x000ff>
at Majestic12.URLDataBarrelAnalyser.AnalyseContent (Majestic12.ContentAnalyser,Majestic12.URLDataItem,Majestic12.ContentAnalyserResults,Majestic12.ComplexBucketUrl,byte[],int) <0x004cf>
at Majestic12.URLDataBarrelAnalyser.MergeCallBack (object,object,int) <0x0016b>
at Majestic12.ExternalMerger.MultiWayMerge (System.IO.BinaryWriter,System.IO.BinaryReader[],Majestic12.IExternalSortElement[],bool,bool,bool,bool) <0x02011>
at Majestic12.ExternalMerger.MultiWayMerge (System.IO.BinaryWriter,System.IO.BinaryReader[],Majestic12.IExternalSortElement[],bool,bool) <0x00027>
at Majestic12.URLDataBarrelAnalyser.SplitIntoChunks (string,string) <0x00afb>
at Majestic12.URLDataBarrelAnalyser.Process (string,string,string) <0x0029f>
at Majestic12.BarrelArchiver.FinaliseDataBucket (int&,bool&) <0x006c7>
at Majestic12.MJ12bar.Process (string[]) <0x0071b>
at Majestic12.MJ12bar.Main (string[]) <0x003f7>
at (wrapper runtime-invoke) <Module>.runtime_invoke_void_object (object,intptr,intptr,intptr) <0xffffffff>

Native stacktrace:

0 mono 0x000b98e6 mono_handle_native_sigsegv + 422
1 mono 0x000048fe mono_sigsegv_signal_handler + 334
2 libSystem.B.dylib 0x9630a05b _sigtramp + 43
3 ??? 0xffffffff 0x0 + 4294967295
4 mono 0x001c5130 mono_object_allocate_ptrfree + 47
5 mono 0x001c5444 mono_string_new_size + 140
6 mono 0x001f8437 ves_icall_System_String_InternalAllocateStr + 28
7 ??? 0x004b35f4 0x0 + 4929012
8 ??? 0x004c1304 0x0 + 4985604
9 ??? 0x004c11b8 0x0 + 4985272
10 ??? 0x0511a440 0x0 + 85042240
11 ??? 0x048bab48 0x0 + 76262216
12 ??? 0x048b9c54 0x0 + 76258388
13 ??? 0x051221d4 0x0 + 85074388
14 ??? 0x05121d90 0x0 + 85073296
15 ??? 0x051200d0 0x0 + 85065936
16 ??? 0x0511f944 0x0 + 85064004
17 ??? 0x0511e762 0x0 + 85059426
18 ??? 0x0511c738 0x0 + 85051192
19 ??? 0x017ee2c4 0x0 + 25092804
20 ??? 0x017ed150 0x0 + 25088336
21 ??? 0x017e9f10 0x0 + 25075472
22 ??? 0x017d58cc 0x0 + 24991948
23 ??? 0x004b3e00 0x0 + 4931072
24 ??? 0x004b3ff7 0x0 + 4931575
25 mono 0x00010624 mono_jit_runtime_invoke + 164
26 mono 0x001c1032 mono_runtime_invoke + 137
27 mono 0x001c3940 mono_runtime_exec_main + 669
28 mono 0x001c2c7a mono_runtime_run_main + 843
29 mono 0x0008943d mono_main + 7773
30 mono 0x00002db5 start + 53

Debug info from gdb:

/tmp/mono-gdb-commands.MnBJGE:1: Error in sourced command file:
unable to debug self

=================================================================
Got a SIGSEGV while executing native code. This usually indicates
a fatal error in the mono runtime or one of the native libraries
used by your application.
=================================================================

[10/17/2011 12:08:39] Warning: Barrel archiving in external process failed due to: Exit code from external archiving process was not good: 134

Автор: nikelong Nov 7 2011, 01:01

http://www.majestic12.co.uk/projects/dsearch/userinfo.php?id=4166

Вот так вот ....

Автор: Rilian Feb 4 2012, 14:57

Andrey Fenchenko, это тебе

rilian wrote:

Автор: Andrey Fenchenko Feb 4 2012, 15:56

Оформил уже заявку на подключение к Триолану. Завтра мастер прийдет. Буду маджестик там проверять

Не думаю, что в Киевстаре больше скажут. Вчера, когда я попросил расшифровать понятие ARP-атака, они обьяснили, что очень много запросов в единицу времени было на разные адреса и на их оборудовании (непомню, роутером или маршрутизатором он назвал его) переполняется кеш и оно глючит. Что приводит к нестабильной работе их системы и создает проблемы для других пользователей. Вот примерно такой был ответ. Более детально я уже не стал расспрашивать, так как они обещали, что при возобновлении услуги со мной свяжется их специалист и он подробно все обьяснит.

Автор: Death Feb 4 2012, 18:08

Автор: Rilian Apr 27 2012, 15:21

http://www.majestic12.co.uk/projects/dsearch/countries.php

на днях нас обгонит England и потеснит на 10 место

Автор: Rilian May 5 2012, 21:30

http://www.majestic12.co.uk/projects/dsearch/countries.php

мы немного нарастили отрыв до 40 МЛН УРЛов, но этого очень мало! Нужны еще ресурсы. Подключайте друзей

Автор: Dobromyr May 14 2012, 22:40

Хм... Маю проблемку. Ноут. Убунту 12.04. Нода розпакована на примонтованій системі NTFS. Останнім часом почало зменшуватись вільне місце. Виявилось, що в папці barrels назбиралося десь 7 Гіг прихованих файлів типу .fuse_hidden000023160000006d. Хтось знає шо воно таке?

Автор: Death May 14 2012, 22:49

версия последняя?
а почему нтфс-то???

с грубом наверное проблемы

Автор: Rilian May 14 2012, 23:00

Dobromyr,

http://forum.ubuntu.ru/index.php?topic=169922.0

Дошло я удалял файлы которые раздавались rtorrent

Автор: Dobromyr May 14 2012, 23:06

(Death @ May 14 2012, 23:49)

(Rilian @ May 15 2012, 00:00)

Автор: Dobromyr Jul 13 2012, 21:08

Пічалька з роздачею букетів (( Запустив 3 ноди, а толку, як від одного (. І Алекс на форумі нічо не може пояснити

Автор: Death Sep 24 2012, 12:37

как бороцца с такими ошибками??

[24.09.2012 13:36:01] MJ12node v1.7.8 (.NET 2.0) starting up
[24.09.2012 13:36:01] Loading webserver config from: C:\Program Files\Majestic-12\MJ12node\webserver.xml
[24.09.2012 13:36:01] Node will use built-in .NET HTTP library for crawling
[24.09.2012 13:36:01] Failed to clean up completed buckets due to: System.Exception: System.Exception: Can't execute query 'pn_delete_urlbuckets_bystatus': The database disk image is malformed
database disk image is malformed - - SQL:
at Majestic12.EasyDB.intExecQuery(String sQueryName, ArrayList oQueries, Object[] asParams)
at Majestic12.EasyDB.intExecQuery(String sQueryName, ArrayList oQueries, String sTranID, Object[] asParams)
at Majestic12.EasyDB.intExecQuery(String sQueryName, ArrayList oQueries, String sTranID, Object[] asParams)
at Majestic12.EasyDB.ExecQueryByNameAndTran(String sQueryName, String sTranID, Object[] asParams)
at Majestic12.EasyDB.ExecQueryByName(String sQueryName, Object[] asParams)
at Majestic12.p_SQL.DeleteURLbucketsByStatus(EasyDB oEasyDB, PeerNodeURLbucketStatus oStatus)
at Majestic12.WebCrawler.CleanDatabase()
[24.09.2012 13:36:01] Returning very old bucket #915 (Priority: 55) back to base, dated: 13.06.2012 8:03:50
[24.09.2012 13:36:02] Could not clean up old buckets: System.Exception: System.Exception: Can't execute query 'pn_delete_urlbucket_by_id': The database disk image is malformed
database disk image is malformed - - SQL:
at Majestic12.EasyDB.intExecQuery(String sQueryName, ArrayList oQueries, Object[] asParams)
at Majestic12.EasyDB.intExecQuery(String sQueryName, ArrayList oQueries, String sTranID, Object[] asParams)
at Majestic12.EasyDB.intExecQuery(String sQueryName, ArrayList oQueries, String sTranID, Object[] asParams)
at Majestic12.EasyDB.ExecQueryByNameAndTran(String sQueryName, String sTranID, Object[] asParams)
at Majestic12.EasyDB.ExecQueryByName(String sQueryName, Object[] asParams)
at Majestic12.p_SQL.DeleteURLbucketByID(EasyDB oEasyDB, Int32 iBucketID)
at Majestic12.WebCrawler.CleanDatabase()
[24.09.2012 13:36:02] Buckets server address: http://crawl.majestic12.co.uk
[24.09.2012 13:36:02] Mozilla/5.0 (compatible; MJ12bot/v1.4.3; http://www.majestic12.co.uk/bot.php?+ started with 175 worker(s)
[24.09.2012 13:36:07] Could not update traffic stats: System.Exception: System.Exception: Can't execute query 'pn_insert_param': The database disk image is malformed
database disk image is malformed - - SQL:
at Majestic12.EasyDB.intExecQuery(String sQueryName, ArrayList oQueries, Object[] asParams)
at Majestic12.EasyDB.intExecQuery(String sQueryName, ArrayList oQueries, String sTranID, Object[] asParams)
at Majestic12.EasyDB.intExecQuery(String sQueryName, ArrayList oQueries, String sTranID, Object[] asParams)
at Majestic12.EasyDB.ExecQueryByNameAndTran(String sQueryName, String sTranID, Object[] asParams)
at Majestic12.EasyDB.ExecQueryByName(String sQueryName, Object[] asParams)
at Majestic12.p_SQL.InsertParam(EasyDB oEasyDB, String sParam, String sValue)
at Majestic12.WebCrawler.SetParamValue(String sParam, String sValue)
at Majestic12.WebCrawler.UpdateParam(String sParam, Int64& lCurrentValue, Int64& lPrevValue, Int64 lNewUpdateValue)
at Majestic12.WebCrawler.UpdateTrafficUsage(Boolean bShutDown)
[24.09.2012 13:37:10] Could not update traffic stats: System.Exception: System.Exception: Can't execute query 'pn_insert_param': The database disk image is malformed
database disk image is malformed - - SQL:
at Majestic12.EasyDB.intExecQuery(String sQueryName, ArrayList oQueries, Object[] asParams)
at Majestic12.EasyDB.intExecQuery(String sQueryName, ArrayList oQueries, String sTranID, Object[] asParams)
at Majestic12.EasyDB.intExecQuery(String sQueryName, ArrayList oQueries, String sTranID, Object[] asParams)
at Majestic12.EasyDB.ExecQueryByNameAndTran(String sQueryName, String sTranID, Object[] asParams)
at Majestic12.EasyDB.ExecQueryByName(String sQueryName, Object[] asParams)
at Majestic12.p_SQL.InsertParam(EasyDB oEasyDB, String sParam, String sValue)
at Majestic12.WebCrawler.SetParamValue(String sParam, String sValue)
at Majestic12.WebCrawler.UpdateParam(String sParam, Int64& lCurrentValue, Int64& lPrevValue, Int64 lNewUpdateValue)
at Majestic12.WebCrawler.UpdateTrafficUsage(Boolean bShutDown)

Автор: Rilian Sep 25 2012, 07:27

выключать ноду, а потом удалять peers.db и /data

Автор: nikelong Sep 25 2012, 10:14

Автор: Dobromyr Sep 25 2012, 11:22

(nikelong @ Sep 25 2012, 11:14)

Автор: nikelong Sep 25 2012, 13:03

Гммм.... грохнул всю папку дата - все равно не работает...

Автор: Rilian Sep 25 2012, 14:09

Кстати с утра маджестик сервер не пашет

совет грохать папку /data относится ТОЛЬКО к проблеме поврежденной локальной базы данных

Автор: Dobromyr Oct 9 2012, 01:08

Підкажіть, як на FreeBSD ноду запустити? amd64 архітектура

Автор: Rilian Oct 9 2012, 08:38

QUOTE(Dobromyr @ Oct 9 2012, 02:08)

Підкажіть, як на FreeBSD ноду запустити? amd64 архітектура

Автор: Dobromyr Oct 9 2012, 21:36

Проблема з SQL (на libsqlite3.so сватиться), треба середовище настроїти (в readme пише що якийсь LD_LIBRARY_PATH треба прописати, правда не знаю куда???) на використання бази даних з папки мажестіка . Думаю проблема ще може бути в тому, що 64-бітну версію mono встановив. Треба якось спробувати встановити 32 бітну

Автор: Rilian Oct 9 2012, 21:44

да, 64-битная моно не поддерживается вообще

Автор: Dobromyr Oct 9 2012, 21:49

(Rilian @ Oct 9 2012, 22:44)

да, 64-битная моно не поддерживается вообще

Автор: Rilian Oct 10 2012, 06:45

QUOTE(Dobromyr @ Oct 9 2012, 22:49)

QUOTE(Rilian @ Oct 9 2012, 22:44)

да, 64-битная моно не поддерживается вообще

Ну от я і думаю як встановити 32-бітну. Поки в фрі не сильно розбираюсь, в основному файєрволами займаюсь