andrkoss [296630]: К счастью, торренты используются не только ради пиратства. Некоторые фирмы через них официально распространяют свою продукцию, например. И я считаю, поступают очень мудро, экономя значительные средства на распространении и обеспечении резервных копий и каналов.

andrkoss [296630]: У ТТК много дочек, которые в том числе занимаются и хостингом. Соответственно, он частично является генератором собственного трафика.

andrkoss [296630]: Давно уже пора бороться с пиратством на уровне провайдеров. Это бы плюсом подразгрузило каналы связи. - борьба с пиратством очень непростое дело, и как раз провайдера оно касается в последнюю очередь. С каналами тут тоже не всё так просто.

strayer [296638]: Кстати, коль уж зашла речь о хостерах - есть какая-нибудь статистика? Интересно распределение по зоне .ru

andrkoss [296699]:

http://1stat.ru/?date1=01-11-2009&date2=01-12-2009&zone=ru

Как представитель хостера, могу сказать что данные не точные и для разных провайдеров процент погрешности разные. Но общую тенденцию увидеть можно.

И учти, что это статистика отображает не где фактически сколько сайтов находится, а на чьих серверах имён сколько сайтов расположилось. Что опять же, в целом картину описывает относительно точно, если вычесть аккредитованных регистраторов (Webnames, R01, NIC.ru, reg.ru) и парковщиков доменов (parking.nic.ru, sedoparking.com, expired.reg.ru, parkodrome.ru, ...).

maxp [296660]: Провайдер теряет деньги за огромный трафик, так почему же его это касается в последнюю очередь? Понятно, что правовое государство должно иметь механизмы противодействия пиратству и использованию пиратских продуктов. Однако, правообладатели и провайдеры в данном случае несут убытки, и вполне могут способствовать борьбе с пиратством, а может даже и инициировать ее. Но боязно провайдерам, что они потеряют клиентов. Боязно ДСИ, что клиент убежит в ЭС, которая может и не захочет ограничивать своих клиентов. Боязно и ЭС по тем же причинам. В итоге получаем ценовую политику не в пользу ЮЛ. Мы, натурально, получаемся спонсорами Васи Пупкина, качающего Аватар.

strayer [296708]: Спасибо, для осознания вполне достаточно :)

Да потому, что никакая аппаратура не в состоянии отличить пиратский контент от легального. У легалов и, вообще, никак не связанных с этим людей проблем будет больше, чем у пиратов.

Типа, как болкировка слова "секс" в Англии привела к выпадению из сети графств Сассекс и Эссекс.

"Если для разных протоколов ещё возможно теоретически (при условии, что хотя бы большинство провайдеров мира согласятся поддерживать QoS), то для разных файлов внутри HTTP это невозможно в принципе."

Речь не идет о том, чтобы все. Это уже нарушит принцип свободы информации. Речь о том, чтобы конечный провайдер таким способом втискивал пользовательский трафик в имеющиеся у него каналы наверх.

" По крайней мере, до тех пор пока ваш провайдер не воткнул себе прозрачный прокси-сервер, что по определённым техническим причинам делают далеко не все. И даже в случае установки прокси-сервера, это возможно лишь частично т.к. далеко не всегда заранее известен размер скачиваемого файла. "

Естественно, нужен контент-енджайн. И не надо размер файла знать. Сколько-то пакетов по запросу принимаем с максмальной скоростью, затем - постепенно снижаем.

"Кстати, вы действительно согласны, чтобы все мелкие иконки на этом сайте подгружались моментально, а вот фотографии в галерее по 5 минут? "

Ну, не 5 минут, но сущетвенно медленнее превьюх - согласен. Если не анлим, я бы вообще предпочел, чтобы все картинки больше тамбнейлов грузились только после 2го запроса. И еще - было бы не плохо, если бы пров баннеры резал и сам вел спамерские блэклисты - я бы за это платить согласился. А прову - двойной выигрыш: и сокращение трафика и еще и плата за это.

andrkoss [296784]:
1. Деньги он теряет на безлимитных тарифах. А на всех остальных получает.
2. Введение любого ограничения — это несение дополнительных расходов на оборудовании (лишь сравнительно дорогие железки умеют заглядывать внутрь трафика и лишь реально дорогие умеют делать это с большим трафиком).
3. Ограничение трафика есть введение цензуры и неполноценность доступа к Сети, что крайне спорно с юридической стороны.

Спонсорами Васи никто не является, поскольку цены на юриков вряд ли как-то изменятся, если заменить цены для физиков или ограничить их доступ. Более того, учитывая, что ДСИ больше ориентирована на юриков (видимо, за счёт этого до сих пор и жива), изменение цен для физиков конкретно здесь окажет ещё меньшее влияние.

Skikiki [296837]: В той же Англии некоторые провайдеры поступили топорно: прикрыли доступ к торрентам, таким образом закрыв доступ к 80% доступной в сети пиратщины и 0.001% легального контента.

Skikiki [296842]: Речь о том, чтобы конечный провайдер таким способом втискивал пользовательский трафик в имеющиеся у него каналы наверх.

Это и есть QoS. Только втискивателем трафика является каждый из провайдеров по направлению сервер → ... → клиент. А чтобы этот самый QoS нормально работал — вся сеть должна его поддерживать т.к. узкие места возможны не только в "последней миле", но и где угодно ещё по пути следования пакетика. Грубо говоря, правила QoS должны работать перед любым узким местом.
Есть т.н. нисходящий QoS: в нём как раз провайдер клиента регулирует исходящие байты. Но технически он пока возможен только для VoIP, а теоретически возможен для совсем небольшого количества протоколов.

Естественно, нужен контент-енджайн. И не надо размер файла знать. Сколько-то пакетов по запросу принимаем с максмальной скоростью, затем - постепенно снижаем.

Даже если канал простаивает?

Если не анлим, я бы вообще предпочел, чтобы все картинки больше тамбнейлов грузились только после 2го запроса.

Наймите за 500 рублей какого-нибудь народного умельца, он вам плагин к Firefox напишет :)

И еще - было бы не плохо, если бы пров баннеры резал и сам вел спамерские блэклисты - я бы за это платить согласился.

Проблема в том, что некоторым баннеры надо видеть. По роду своей деятельности. И вот тут начинаются пляски с бубном. Этому пользователю нужно показывать баннеры, тем двоим не нужно. А какой у того пользователя сейчас IP? А, надо к DHCP сходить посмотреть. Блин, а прокси-сервер такого не умеет! ... В общем, реализуемо, но с матами. И резко усложняется поддержка. А как следствие, расходы на работу специалистов.

А прову - двойной выигрыш: и сокращение трафика и еще и плата за это.

И ещё:
1. Маты от людей типа меня, у которых род деятельности таков, что никакого прокси-сервера по пути до сайтов быть не должно (на баннеры пофиг). К слову, включить его только для определённых клиентов будет тоже достаточно затратно.
2. Расходы на покупку и поддержку сервера(-ов) достаточно мощного, чтобы переваривал проксирование в пиках не менее 50MBit входящего HTTP-трафика. Циферку для ДСИ на глаз прикинул, но не думаю что сильно ошибся.

andrkoss [296784]: Как уже написано выше на стороне провайдера весьма и весьма проблематично отличать пиратские байты от не пиратских.

andrkoss [296699]: strayer [296708]: Как я понимаю интересовал объем трафика, а не количество зарегистрированных домашних страничек.

maxp [296855]: Как я понимаю интересовал объем трафика

Это большой-большой секрет хостеров :)

Но в целом картина такова, что Интернет уже давно захватили роботы. 90% сайтов делаются роботами (генераторы сайтов) и для роботов (поисковики). И не менее 40% HTTP-трафика генерится опять же роботами. С другой стороны, каждый такой сайт генерит сравнительно немного трафика т.к. кроме роботов на него никто не ходит.
А вот настоящие сайты, которые для человеков, могут становиться неожиданно популярными. Есть у нас один новогодний сайтик, состоит из одной HTML-странички и небольшой флэшки. Раскрутился на вирусной рекламе. В сутки генерил до 80 гиг трафика.

strayer [296860]: Откуда такие данные по роботам?

Насколько я помню Гугль рассказывал, что у них 40% даёт YouTube.
А зная распределение трафика у нескольких типичных контор могу сказать, что роботами там не пахло,
но всё распределение достаточно стабильно и одинаково у весьма разных, казалось бы, предприятий.

По сайтам аналогичная картина - если есть какой-никакой контент, то всякие яндексы с гуглями значительно меньше запросов делают, чем нормальные клиенты.

maxp [296882]: Цифра 90% скорее для красного словца, но я наврал не на порядки. Количество хитов за сегодня на первых попавшихся 300-х сайтах: 129000. Из них:

2570 хитов от совсем не популярных роботов
2726 хитов от Wordpress'а разных сортов
    77 "Mozilla/5.0 (compatible; Tagoobot/3.0;
    81 "UniversalFeedParser/4.1 +http://feedparser.org/"
    102 "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
    126 "Mediapartners-Google"
    130 "TNX"
    198 "Java/1.6.0_17"
    217 "FeedBurner/1.0 (http://www.FeedBurner.com)"
    272 "YandexSomething/1.0"
    306 "Googlebot-Image/1.0"
    504 "PHP"
    522 "YandexBlog/0.99.101 (compatible; DOS3.30;
    968 "Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)"
    1367 "msnbot/2.0b (+http://search.msn.com/msnbot.htm)"
    5661 "Mozilla/5.0 (compatible; Googlebot/2.1;
    5689 "StackRambler/2.0 (MSIE incompatible)"
    19338 "Yandex/1.01.001 (compatible; Win16;

Итого, почти 41000 хитов от роботов. 31%.

И вообще, речь шла о сайтах .ru, а не всяких ютубах! :) Говорят, если в среднестатистической конторе закрыть одноклассников и иже с ними, то HTTP-трафик падает на четверть.

maxp [296882]: В рамках обсуждения было бы интересно посмотреть процент сайтов, на которых как минимум 90% трафика от роботов. Таким образом, мы выясним процент тех самых сайтов от роботов для роботов. Но сейчас мне уже как-то лень скриптовать на эту тему.

strayer [296885]: Ютуб я привел как пример того, что медиаконтент у нас наиболее трафикогенерящий.
Насчет Одноклассников всё практически таки и есть, т.е. если взять их, моймир, вконтакте то треть трафика почти гарантирована.

А с теми 300-мя стами сайтов статистика какая-то странная получается. Если у меня в пятницу было порядка 170 тыс хитов (тут нюанс, оформительская статика не логгируется, а с ней может получиться в несколько раз больше).
Иными словами получается соотношение порядка 1/1000.

Понятно, что контент-проекты не особо здорово весить на vds, от того у вас и такой перекос в сторону поисковиков.

maxp [296901]: Это была статистика с шаред-хостинга. Температура в среднем по больнице примерно такая и есть. Ты не сравнивай один из самых популярных сайтов страны по активному отдыху с поделками сеошников :) Попадаются сайты с 1-1.5 миллиона хитов в сутки, но это один даже не на тысячу.

Вот и я о том же.
По ссылке strayer [296708]: приведена статистика по зарегистрированным доменам (даже не сайтам), т.е. если говорить о трафике, то даже соотношение 1/1000 может оказаться весьма спорным.

Ох-х-х, strayer! Написать я и сам могу что угодно. Тока, если я сам буду писать все, что мне надо и удобно, да еще - всем этим рулить, да блек-листы обновлять, то ни на что другое времени у меня не останется. Именно, для того админы и существуют. И прову разобраться, чего-кому и как резать - проще паренной репы. По логину.

Оборудование у прова дешевым не бывает. А, уж если хочется сэкономить, можно такое решение применить: порт-монитор канала наверх на Каталисте и никсовый сервер на нем, т.е. не транзитом, а - сбоку, который анализирует трафик, как вам вздумается, а потом отдает Циске команду, какому коннекту как скорость ограничить.

Skikiki [296947]: Вот тут и начинаются те самые пляски. Как с минимально работающей реализацией, так и обеспечением высокой доступности. Кстати, местным провайдерам не приходится сдавать Связьнадзору узлы связи? А то ведь такой тандем на за какие коврижки не примут.

От тут - не знаю... Я, хоть и рулил в свое время крупным интернет-узлом, но от провайдерства и лицензирования чисто-юридически сумел отмазаться. Думаю, что такой тандем протащить можно, да и показывать его не обязательно, именно потому, что он не транзитный и его наличие доказать очень сложно.