Форум » О проекте » Наш сайт » Новая система антилинча : обсуждаем ...
 
Предыдущая страница Следующая страница [1] > 2 < [3] [4]

Автор Сообщение

Eugene

Members


Онлайн статус

17 сообщений

Местоположение: Ukraine
Род занятий:
Возраст:

#247   2006-05-10 21:15 GMT      
Цитата
Sania :
Новая система Антилинча это не уважение к пользователю! Я качаю по ночам с 2.00 до 9.00 по карте Rol 20. (В это время я сплю)
Качал раньше так: DownMaster, по расписанию, выставив в менеджере сайтов свой пароль и Ник. Докачка поддерживалась по крайне мере в течении 3-х суток точно. Теперь обламись, я могу выкинуть свою Rol 20.


Давайте конкретно:
- если время сессии 24 часа, то я из описания не пойму, почему будет облом с "2.00 до 9.00"? Ты днем или когда удобно формируешь линк, вставляешь в DM, он начинает ночью качать. Если тредов нет свободных (а это ночью вряд ли) - он в цикле будет пытаться retry. И зачем тебе 3 суток время сеcсии? Аргументируй плиз

Цитата
Sania :
Теперь получается, что при определённом раскладе одновременно качать книги может только 5 человек ...



Наоборот, раньше в качалку кому не лень вставляли по 20 потоков, и 2 человека мешали остальным. Теперь же, наоборот, всем должно стать более вольготно, скажем так.

Цитата

Может лучше как-нибудь ограничить скорость скачивания с каждого IP каким-нибудь разумным пределом ? Наверняка такую нагрузку на сервер создают те, кто сидит по ADSL и выделенкам, а не диалапщики.



Скорость можно ограничить. Но это для разгрузки канала. А для разгрузки самого сервера нужно сократить число тредов, т.е. потоков. Фактически - это сделать так, чтобы не 5 человек обновременно качали в 20 потоков каждый, а 50 человек в два потока каждый. Чувствуешь разницу?

Резюме такое: в этом антилинче есть свои подводные камни. Они настраиваемые, уже есть опыт. Пока именно на них то жалоб и не было, поэтому я их и не перечисляю. Поэтому если закачка не идет - смотрите логи качалки и пишите, почему именно у вас не пошла закачка. Конкретно.
Вот Rover_Spam написал: "не получилось скачать книгу" - если бы он не поленился заглянуть в лог и добавить, почему именно не получилось - было бы куда полезнее.

ksander

Members


Онлайн статус

6 сообщений

Местоположение: Russia
Род занятий:
Возраст:

#248   2006-05-10 22:03 GMT      
Вот такую ошибку мне выдаёт RegetDeluxeError #80070002(Не удается найти указанный файл.) in CRgHttpSession::RequestFile()
До 10 часов утра всё качается отлично ... по крайней мере вчера успел скачать 2 книги ... после 10 часов, когда кол-во подключившихся увеличивается начинает вылетать вон та ошибка и через некоторое время RegetDeluxe захлопывает соединение из-за кучи ошибок (((
Цитата
Наоборот, раньше в качалку кому не лень вставляли по 20 потоков, и 2 человека мешали остальным. Теперь же, наоборот, всем должно стать более вольготно, скажем так.


Не стало
Цитата
Скорость можно ограничить. Но это для разгрузки канала. А для разгрузки самого сервера нужно сократить число тредов, т.е. потоков. Фактически - это сделать так, чтобы не 5 человек обновременно качали в 20 потоков каждый, а 50 человек в два потока каждый. Чувствуешь разницу?


Ну ... вам виднее


З.Ы. Не в тему:
Цитата
Если тредов нет свободных (а это ночью вряд ли) - он в цикле будет пытаться retry. И зачем тебе 3 суток время сеcсии? Аргументируй плиз

Обидно когда качаешь большой файл ... остаётся ещё чуть чуть и ... выкидывают из инета, а на следующий день докачать уже нельзя ... хотя по идее 2 дней должно хватить

Сообщение было отредактировано ksander (2006-05-10 22:15 GMT, назад)

Eugene

Members


Онлайн статус

17 сообщений

Местоположение: Ukraine
Род занятий:
Возраст:

#252   2006-05-11 13:48 GMT      
Цитата
ksander :
Вот такую ошибку мне выдаёт RegetDeluxeError #80070002(Не удается найти указанный файл.) in CRgHttpSession::RequestFile()
До 10 часов утра всё качается отлично ... по крайней мере вчера успел скачать 2 книги ... после 10 часов, когда кол-во подключившихся увеличивается начинает вылетать вон та ошибка



Если линк валидный по времени - значит это из-за большого числа потоков, отлуп идет по суммарному числу тредов. Решение только одно - администратор увеличивает максимально допустимое число тредов.

Цитата

и через некоторое время RegetDeluxe захлопывает соединение из-за кучи ошибок (((



Это в регете настраивается.

Цитата
Наоборот, раньше в качалку кому не лень вставляли по 20 потоков, и 2 человека мешали остальным. Теперь же, наоборот, всем должно стать более вольготно, скажем так.

Не стало



Amro уже писал, что сейчас идет настройка. Он установил сейчас весьма жестко ограничения. Если он сочтет нужным, их можно сделать более либеральными. Например, не более 3-х потоков с IP при суммарном числе тредов 90-150.

Цитата
Если тредов нет свободных (а это ночью вряд ли) - он в цикле будет пытаться retry. И зачем тебе 3 суток время сеcсии? Аргументируй плиз

Обидно когда качаешь большой файл ... остаётся ещё чуть чуть и ... выкидывают из инета, а на следующий день докачать уже нельзя ... хотя по идее 2 дней должно хватить



Слушай, просто интересно - я сам ведь когда-то был диал-апщиком: ночью 8 часов, если самый хреновый коннект - скорость 5 килобайт/сек, значит за 8 часов можно выкачать 140 метров. На любую книгу хватит с головой. Зачем же 2 дня?
Просто цифра валидности сессии 24 часа, вроде как, должна устраивать всех. Вот на взоре там больше стоит - но там же и не книги, там более крупнокалиберный софт.
Вобщем я из описания так и не понял - почему 24 часа мало

Сообщение было отредактировано Eugene (2006-05-11 13:55 GMT, назад)

Amro

Administrators


Онлайн статус

147 сообщений
http://asvu.ru
Местоположение: Russia Астрахань
Род занятий: Студент
Возраст: 35

#255   2006-05-11 14:24 GMT      
Итак в результате обсуждений я сделал вывод и установил следущие значения :

Общее число потоков : 90
Количество потоков с одного IP : 3
Время ссесии : 24 часа (по их истечении сессия закрывается и вам придётся закачивать файл заново)


Таким образом одновременно качать могут 30 пользователей в три потока каждый. В дальнейшем, переработаю антилинч и в ночное время общее кол-во потоков будет увеличиваться!
/*
Пусть дни бегут, идут года, ПК не бросим никогда!!!
*/

ksander

Members


Онлайн статус

6 сообщений

Местоположение: Russia
Род занятий:
Возраст:

#258   2006-05-11 15:59 GMT      
Цитата
Это в регете настраивается.

Так файл то в итоге ко мне битый приходит =) и не распаковывается ...
Цитата

На любую книгу хватит с головой. Зачем же 2 дня? Просто цифра валидности сессии 24 часа, вроде как, должна устраивать всех. Вот на взоре там больше стоит - но там же и не книги, там более крупнокалиберный софт.
Вобщем я из описания так и не понял - почему 24 часа мало


Просто можно начать скачивать книгу за 2-3 часа до того времени как тебя скинут с инета ... а начинать качать то, что уже было скачано за те 2-3 часа влом
amro
Общее число потоков : 90
Количество потоков с одного IP : 3
Время ссесии : 24 часа (по их истечении сессия закрывается и вам придётся закачивать файл заново)

Таким образом одновременно качать могут 30 пользователей в три потока каждый. В дальнейшем, переработаю антилинч и в ночное время общее кол-во потоков будет увеличиваться!

Thank's

Sania

Members


Онлайн статус

3 сообщений

Местоположение:
Род занятий:
Возраст:

#259   2006-05-11 19:28 GMT      
Я делал так. С 2.00 до 9.00 - время большой скачки, с учётом сбоев 100-110 Mb, но не более. Скорость соединения Dual-up от 46 до 51. Это меня, в принципе, устраива(ло)ет. Теоретически я должен выкачивать не менее 140Mb. Но с учётом загруженности сервера и долбанных линий всего ~ 100Mb.
Я не ощущал большой загруженности вашего сервера, и считаю, что 100Mb это нормально, т.к. на других файловых серверах за этоже время я выкачивал столько же.
Всё удобство и красоту вашего сервера портят пользователи с высокоскоростным Инетом. Предлагаю решить проблему одним из следующих способов (или комбинируя их):
1. Увеличить с 24 часов до хотя бы 48 (лучше 72 часов), просто так удобнее.
2. Переложить часть библиотеки на slil.ru или mytempdir.com (блин, не будьте единоличниками, всё равно оптимальных настроев сервера вам не добиться, всегда будут неудобства со стороны пользователей), на одном из этих сайтов есть даже возможность докачки. Скорость для Dual-up нормальная, для локал. Не проверял. В край можно использовать Universal Share Downloader v.1.3.3. Испытана мною в течении 2-х месяцев, хотя можно и без проги обойтись (так для удобства).
3. Т.к. люди с выделенкой готовы сожрать сайт целиком и полностью, не оставив ни кусочка dual-upшникам, то следует принять меры по прекращению такого безобразия. А именно:
a) Ввести ограничения с одного и того же IP по объёму скачиваемой инфы, хотя использование сменяющ. Proxy обойдёт защиту (если это не супер-Антилинч, умеющий определять параметры и конфигурацию компьютера), хоть как-то придержит ламеров;
б) Ввести ограничения по объёму скачивания (но только для выделенных линий), пропорционально времени, например 300 Mb в сутки (не уложился, т.е. не смог скачать нужный 301-ый Mb, его проблемы, пусть выбирает объём скачиваемых книг в сумме менее 300Mb).
в) Ввести ограничения по скорости скачивания (но только для выделенных линий), если скорость их соединения 2-4МЬ, то искуственно сделать скорость обмена между сервером и определённым пользователем не более 0.4Мb (типа искусственной эмуляции загруженности).
P.S. Цена 1 Мb = 0.3 до 2 руб. (в разных регионах). Книга 30Mb*2=60 руб.,и это за одну книгу, 10 книг = 600 руб. Вопрос: разве найдутся такие разеб..и. А в Москве БЕЗЛИМИТНЫЙ ИНТЕРНЕТ = 600 руб/мес. А почему бы пользуясь случаем не скачать всё и вся. Ни что не приходит на мысль? Не что не напоминает? Надеюсь, администраторы поняли основную идею (подсказка: бороться надо с безлимитчиками, это они сажают сервер на 70%, выделенка по Mb 15%, 15 на Dualup.). Подумайте, сделайте для себя выводы. Лично я для себя уже сделал чёткие выводы. А ВЫ?

Eugene

Members


Онлайн статус

17 сообщений

Местоположение: Ukraine
Род занятий:
Возраст:

#260   2006-05-11 21:19 GMT      
Цитата
Sania :
Я делал так. С 2.00 до 9.00 - время большой скачки, с учётом сбоев 100-110 Mb, но не более. Скорость соединения Dual-up от 46 до 51. Это меня, в принципе, устраива(ло)ет. Теоретически я должен выкачивать не менее 140Mb. Но с учётом загруженности сервера и долбанных линий всего ~ 100Mb.
Я не ощущал большой загруженности вашего сервера, и считаю, что 100Mb это нормально, т.к. на других файловых серверах за этоже время я выкачивал столько же.



тут полностью согласен

Цитата

Всё удобство и красоту вашего сервера портят пользователи с высокоскоростным Инетом.



Вот тут - сильно сомневаюсь.

Цитата

Предлагаю решить проблему одним из следующих способов (или комбинируя их):
1. Увеличить с 24 часов до хотя бы 48 (лучше 72 часов), просто так удобнее.



Удобнее. Но технически возникают некоторые проблемы, их не описую, т.к. это может быть не совсем понятно.

Цитата

2. Переложить часть библиотеки на slil.ru или mytempdir.com (блин, не будьте единоличниками, всё равно оптимальных настроев сервера вам не добиться, всегда будут неудобства со стороны пользователей), на одном из этих сайтов есть даже возможность докачки. Скорость для Dual-up нормальная, для локал. Не проверял. В край можно использовать Universal Share Downloader v.1.3.3. Испытана мною в течении 2-х месяцев, хотя можно и без проги обойтись (так для удобства).



гы-гы, нафига то попу гармонь, можно подумать этот сайт единственный, где есть эти книги. Куча народу как делает: как где что надыбает новое - сразу себе вставляет в новости со ссылками на ту же рапиду, источник вестимо большинство не указывает. Это я к тому, все эти книги уже есть в файлообменниках. А там то ссылки часто дохнут. И найти их трудно (хотя есть куча каталогов). Смысл то этого сайта главный в именно том, что "все храним у себя, ничего не теряется, все удобно качается". Кроме того ты забыл, что отсюда качают не только россияне - а попробуй со stil скачать, если ты в Канаде. Сколько я на разных форумах слышал - один кричит, что рапида гребанная, второй - что стил не дает качать, с mytempdir скорость отвратительная. Все же наличие своего хостинга имеет большие преимущества (хотя и голова болит про прегруз, эт точно)

Цитата

3. Т.к. люди с выделенкой готовы сожрать сайт целиком и полностью, не оставив ни кусочка dual-upшникам, то следует принять меры по прекращению такого безобразия. А именно:
a) Ввести ограничения с одного и того же IP по объёму скачиваемой инфы, хотя использование сменяющ. Proxy обойдёт защиту (если это не супер-Антилинч, умеющий определять параметры и конфигурацию компьютера), хоть как-то придержит ламеров;
б) Ввести ограничения по объёму скачивания (но только для выделенных линий), пропорционально времени, например 300 Mb в сутки (не уложился, т.е. не смог скачать нужный 301-ый Mb, его проблемы, пусть выбирает объём скачиваемых книг в сумме менее 300Mb).



Это может быть реализовано. Если сильно припрет. Думаю пока до этого далеко.

Цитата

в) Ввести ограничения по скорости скачивания (но только для выделенных линий), если скорость их соединения 2-4МЬ, то искуственно сделать скорость обмена между сервером и определённым пользователем не более 0.4Мb (типа искусственной эмуляции загруженности).



Можно, хотя также это не главное

Цитата

P.S. Цена 1 Мb = 0.3 до 2 руб. (в разных регионах). Книга 30Mb*2=60 руб.,и это за одну книгу, 10 книг = 600 руб. Вопрос: разве найдутся такие разеб..и. А в Москве БЕЗЛИМИТНЫЙ ИНТЕРНЕТ = 600 руб/мес. А почему бы пользуясь случаем не скачать всё и вся. Ни что не приходит на мысль? Не что не напоминает?
Надеюсь, администраторы поняли основную идею (подсказка: бороться надо с безлимитчиками, это они сажают сервер на 70%, выделенка по Mb 15%, 15 на Dualup.). Подумайте, сделайте для себя выводы.


Вот мы то сразу подумали, и кардинально не согласны с главным выводом: что во всем виноваты безлимитчики/Москвичи/владельцы толстых каналов. И причина простая - у них есть возможность скачать эти книги в других местах, а не только тут.
Пока же с введением нового антилинча пострадали лишь те, кто в качалках имел привычку качать в 20 потоков. А для диал-апщиков, кто качает по ночам, Amro как будет время сделает в ночное время исключания для этих ограничений

Цитата

Лично я для себя уже сделал чёткие выводы



Намек понятен Думаю как на русском радио "все будет хорошо", все наладится

Amro

Administrators


Онлайн статус

147 сообщений
http://asvu.ru
Местоположение: Russia Астрахань
Род занятий: Студент
Возраст: 35

#261   2006-05-11 22:04 GMT      
Цитата
Всё удобство и красоту вашего сервера портят пользователи с высокоскоростным Инетом.


Возможно раньше и портили, но не ваше удобство, а удобство студентов АГУ, хотя удобства никагого и не было, когда тормозит система тестирования, расположенная на одном из поддоменов aspu.ru и все остальные хосты, это не есть гуд. Когда сервер виснет и в пики активности админу приходится перезагружать Apache это тоже не есть гуд! Вот теперь и думайте, что лучше ограничения? или закрытие проекта?

Цитата
3. Т.к. люди с выделенкой готовы сожрать сайт целиком и полностью, не оставив ни кусочка dual-upшникам, то следует принять меры по прекращению такого безобразия. А именно:
a) Ввести ограничения с одного и того же IP по объёму скачиваемой инфы, хотя использование сменяющ. Proxy обойдёт защиту (если это не супер-Антилинч, умеющий определять параметры и конфигурацию компьютера), хоть как-то придержит ламеров;
б) Ввести ограничения по объёму скачивания (но только для выделенных линий), пропорционально времени, например 300 Mb в сутки (не уложился, т.е. не смог скачать нужный 301-ый Mb, его проблемы, пусть выбирает объём скачиваемых книг в сумме менее 300Mb).


Когда посещаемость залезет за несколько тысяч хостов в сутки и университет не закупит новый сервер -- тогда возможно об этом и подумаем, но скорее всего это наврядли!

Цитата
в) Ввести ограничения по скорости скачивания (но только для выделенных линий), если скорость их соединения 2-4МЬ, то искуственно сделать скорость обмена между сервером и определённым пользователем не более 0.4Мb (типа искусственной эмуляции загруженности).


Только для выделенных линий? Думаю это будет немного сложновато . . . Легче установить для всех сразу! (По крайней мере я не догадываюсь как выделенную линию отличить от диалапа?)

Цитата
Вот мы то сразу подумали, и кардинально не согласны с главным выводом: что во всем виноваты безлимитчики/Москвичи/владельцы толстых каналов. И причина простая - у них есть возможность скачать эти книги в других местах, а не только тут.
Пока же с введением нового антилинча пострадали лишь те, кто в качалках имел привычку качать в 20 потоков. А для диал-апщиков, кто качает по ночам, Amro как будет время сделает в ночное время исключания для этих ограничений


Большинство всех книг можно скачать на рапиде, мегааплоаде и т.д. В основном на белый свет книги появляются от тудова! Поэтому
Цитата
Надеюсь, администраторы поняли основную идею (подсказка: бороться надо с безлимитчиками, это они сажают сервер на 70%, выделенка по Mb 15%, 15 на Dualup.). Подумайте, сделайте для себя выводы.
Я согласен с Eugene это глупо так говорить.
А на счёт разограничений по времени я уже над этим работаю, вскоре добавлю!

Цитата
Намек понятен Думаю как на русском радио "все будет хорошо", все наладится


Конечно наладиться, как говорилось не помню где "Москва не сразу строилась ..."
/*
Пусть дни бегут, идут года, ПК не бросим никогда!!!
*/

Eugene

Members


Онлайн статус

17 сообщений

Местоположение: Ukraine
Род занятий:
Возраст:

#268   2006-05-12 15:01 GMT      
Кстати, большое спасибо за обсуждение. Оно показало слабые места и направления для улучшений, серьезно пишу .

Amro

Administrators


Онлайн статус

147 сообщений
http://asvu.ru
Местоположение: Russia Астрахань
Род занятий: Студент
Возраст: 35

#269   2006-05-12 15:09 GMT      
Я вот поглядел Eugene даже сейчас число потоков держится на отметке 80-90, скорее всего по часам вводить будет действительно хороший вариант! Сегодня попробую дописать антилинч, завтра протестируем : )
/*
Пусть дни бегут, идут года, ПК не бросим никогда!!!
*/