SteelWind [106212]: гы, у нас база занимает 500 гигов... хочу посмотреть на недорогу программу способную это переваривать в адекватное время и выдавать отчеты.

StarWind [106217]: 500 гигов база чего?
И что значит "переваривать это в адекватное время"?
А на каком железе это все крутится?

а "Траффик Инспектор" - удобное решение для организации доступа в интернет для небольших локальных сетей.

SteelWind [106294]: логов, инетовских ну и немного собирает с серверов. база оракловая. Записей конкретно в логах интернета 280,5 миллионов. А адекватное время... сколько вы готовы ждать результата запроса, отчета?

Для малых... может быть.

с программами проблем нет, есть проблема в следующем:

строки из отчета:
hit5.hotlog.ru
img.mail.ru
hit3.hotlog.ru
smarticon.geotrust.com
bs.yandex.ru
counter.rambler.ru
shared.live.com
u6071.52.spylog.com
baikalvisa.ru
hit2.hotlog.ru
u3979.94.spylog.com
crl.microsoft.com

что из этих строк что? интуитивно понятно, что часть это счетчики с страниц (u3979.94.spylog.com, counter.rambler.ru, hit2.hotlog.ru), а как объяснить такое как baikalvisa.ru - по размеру трафика в отчете это явно не посещение страницы, значит какой-то баннер или прочая подобная лабуда? или вот это img.mail.ru? там хранятся изображения для mail.ru ?

Rogoff [107360]: почему baikalvisa.ru это явно не посещение страницы?
Было бы неплохо еще и объемы указать, если смотреть на список счетчиков, то по ним объемы должны быть достаточно небольшие.

maxp [107363]: судя по трафику в Кб:

hit5.hotlog.ru 18
img.mail.ru 8
hit3.hotlog.ru 7
smarticon.geotrust.com 6
bs.yandex.ru 4
counter.rambler.ru 4
shared.live.com 4
u6071.52.spylog.com 3
baikalvisa.ru 2
hit2.hotlog.ru 2
u3979.94.spylog.com 2
crl.microsoft.com 1
hit4.hotlog.ru 1
index.babr.ru 1

Rogoff [107375]: если это действительно правильные цифры, то 2 кб может быть все что угодно -
начиная от редиректа или просто запроса If-Modified.

И мне не совсем понятно, что мы хотим выяснить? Вышеприведенный список не понятно каким способом посчитан, но его суммарный объем меньше 100 кб, соответственно, вся стоимость копеек десять-двадцать.

Может не отчитываться, а послать всех на... Вы - полезный для компании сотрудник! Поэтому немного развлечений и информационного обмена вам не повредит. Вам должно быть комфортно в офисе, но это не должно отражаться на показателях общего дела, результативность деятельности не должна снижаться!

Traveller [107581]: вот все бы руководители так думали, а руководителя не пошлешь - сказано - в своих целях инетом польоваться только дома, а не на работе. Так теперь за каждую строчку в отчете надо отчитаться, неважно сколько за эту строчку копеек натикало...

maxp [107398]: так вот за эти строчки надо отчитаться, а я не знаю как это грамотно и главное правильно описать. Пугают что пригласят специалистов, которые все распишут за 5 минут :) вроде на это копейки идет, а ты возьми и отчитайся. Объяснения не помогают, да и что можно объяснить, если человек не видит разницы между сайтом и элетронной почтой...

Rogoff
Антон А.
Ситуация сложная, необходим дар убеждения! Если руководитель не потомок буратино, выслушает, поймет. Ну, а если его предки сделаны из баобаба (дерево), надо подумать!

Traveller [107581]: на самом деле ситуация бывает гораздо сложнее и начальство просто бывает вынуждено принимать ограничительные меры - например, лимиты по времени или по скорости. Причём, некоторые из этих самых ценных сотрудников (ни на кого не намекаю) просто не могут "побороть соблазн" - интернет их засасывает.

Rogoff [107591]: если начальство желает подрючить подчиненных заставляя отчитываться за трафик ценою в 1 руб и нецелевое использование рабочего времени объемом в 2 минуты, то это, конечно, тяжелый случай,
но если начальство действительно озабочено производительностью, то пусть обращается - проконсультируем :)

maxp [107645]: кстати, у нас новая эпопея, куда обращаться нашему руководству для консультаций?

Макс, еще коробит название темы, лучше исправить на " ... за пользование интернетом"

Rogoff [111948]: да иди к любому провайдеру, за бутылочкой пива знакомься с их сисадмином(-ами)/саппортом. Пусть он расскажет вашему директору где он работает, покажет какой-нибудь свой сертификат. "Sertificied FreeBSD system administrator" вполне сойдёт для чайника. И на пальцах объяснит, что от мусорного трафика он никуда не денется. Не говоря уже о плохо разделяемом по пользователям инженерном (GRE, если используете виртуальные каналы, BGP, SYN и т.д.) и всяком сервисном (DNS, HTTP-заголовки (сквид их не учитывает), ...).

Если хочет экономить трафик - пусть поставит сжимающую прокси где-нибудь вдалеке, воткнёт локальный DNS, сделает вдалеке корпоративный почтовый сервер с антиспамом-антивирусом. Если в конторе много активных пользователей e-mail - это достаточно много может сэкономить. Я в сутки около 1500 писем спама получаю, ~20Mb :) Ну и как уже предложили - введёт лимит "бесплатного" трафика для каждого сотрудника, в зависимости от его средней рабочей потребности.

Это сэкономит на порядки больше трафика и человекочасов, чем его текущая политика, когда сотрудники в рабочее время сидят на Ангаре и выясняют, как бы отмазаться от 2Kb трафика :)

Если ничего не поможет - во всех альтернативных браузерах есть возможность (в виде плагина, или сразу) не показывать картинки с других сайтов. Отличный способ отрезать многие баннеры, на 90% решит твою проблему.

strayer [111956]: ну-ну, отмазаться! не отмазаться, а объяснить :) это в общем-то рабочий вопрос и он решается в рабочее, ессно, время. Все логично. Я пытаюсь постепенно решить вопрос и я его решу в течении какого-то времени.

Вопрос про отрезать баннеры. Это всем известный REJIK или есть что-то еще. И еще хотелось бы пригласить знающего специалиста и за плату все настроить по нашим потребностям.

Если покупать софт для всего этого разброс цен следующий - от 6000 до 21000 руб. Следовательно в этом промежутке кто-то может заработать. Неохота снова обращаться в фирму, которая нам изначально поставила сервак...

Regik - это на стороне прокси-сервера. Решает проблему лишь частично т.к. не учитывает, на каком сайте ты сейчас находишься (чтобы, соответственно, не давать грузить картинки с других сайтов). Ну и, как я понимаю, оно никак не подконтрольно тебе, конечному пользователю.

Если у вас бесплатная ОС на локальном сервере, то никакой софт покупать не надо. Впрочем, то что я предложил - вообще никак не зависит от вашего локального сервера. Покупаете у какого-нибудь хостинг-провайдера сервер / виртуальный сервер (не буду ничего рекламировать, но это вам обойдётся от 150руб/месяц). На нём ставите:
- сжимающая прокси. Я брал ziproxy.
- почтовый сервер. Обычно уже предустановлен. Доставляете антиспам и антивирус.
- покупаете какой-нибудь домен (от $2 в год), направляете его на ваш сервер, в этом домене заводите корпоративную почту, размещаете сайт и т.д.

ziproxy я несколько лет держал для домашних нужд. По моим оценкам, на пару с локальной прокси, экономила до 40% трафика. Процента 1-2 можно выиграть на локальном DNS. Процентов 1..30 на антиспаме+антивирусе - в зависимости от специфики.

Итого, минусы:
- дополнительные расходы в год увеличиваются на 150*12+2*24 = 1848 руб.
- интернет (в первую очередь, http) в офисе становится чуть-чуть менее стабильным т.к. появляется зависимость от железок ещё одного провайдера.
Плюсы:
- Экономится до 30-60% трафика. Какие объёмы окупят расходы считай сам.

Себя не предлагаю. Нет ни интереса, ни времени. Хотя всё это поднимается в пределах 8-часового рабочего дня.

Rogoff [111948]: за консультацией можно обращаться ко мне.
К "любому" провайдеру обращаться не надо - что-то у них сейчас в целом заметно хуже стало с квалифицированными кадрами. В Ориенте досточно не плохо, Энфорта вроде тоже специалистов поднабрала.

strayer [111956]: ты вот пишешь всякие умные слова (половину из которых собеседник не понимает :) и считаешь цены, но почему-то не учитываешь, что в цену владения входит как минимум цена установки и сопровождения всего этого хозяйства.

Боюсь такими изощренными способами экономить трафик сейчас не очень-то выгодно.

strayer [111974]: Себя не предлагаю. Нет ни интереса, ни времени - это ключевая фраза к тому, что написано выше.

maxp [111991]: из Энфорты сейчас один из парней к нам ушёл. Хотя да, судить кроме как об Энфорте, ДСИ 3-летней давности и Сиброне 10-летней я не могу.

ты вот пишешь всякие умные слова (половину из которых собеседник не понимает :)

Этот собеседник до меня периодически домогается с кусочками файлов из /var/log, и /etc так что ничего не знаю! :)

и считаешь цены, но почему-то не учитываешь, что в цену владения входит как минимум цена установки и сопровождения всего этого хозяйства

Вот из-за сопровождения и не хочу связываться. А кроме установки и сопровождения - я даже затрудняюсь сказать, что может входить. Трафик за скачивание свободного софта?

Боюсь такими изощренными способами экономить трафик сейчас не очень-то выгодно.

Почта и http - 95% трафика в среднем офисе.

# zcat /var/log/ziproxy/access.log.* | awk '{i+=$5; o+=$6} END {print "compressed=" o " incoming=" i}'
compressed=618925739 incoming=835159141

Экономия почти 26%. Это данные с уже безлимитным интернетом, когда без напряга грузятся все подряд картинки. Правда, весь даунлоад сюда не попал... Но если там за 2 килобайта дерутся - надо полагать, сотнями мегабайт они не качают.

По поводу спама всё конечно сильно индивидуально. Я ловлю 1500 спама в день исключительно потому что приходится читать сильно популярные в интернете email'ы. На средний ящик, с собеседниками средней завирусованности, падает около 30 спама и 0.5 нормальных письма в день, на мой взгляд. Тоже какая-то экономия.

жесть однако, не вижу проблем вообще не с чем )) ну банеры и прочий лишний мусор, сложно сформулировать и привеcти пример из жизни полоумному начальнику параноику...
хочешь экономить, решений как грязи.
по поводу спама делал проще mx размещал на каком ни будь vds сервере, ставил туда СпамОборону (так как её купили что бы не париться со всякими спамАтсосинами которые ну уж очень медленно работаю) , далее header check *SPAM*
/dev/null или куда надо, все остальное транзитом в оффис..
плюсы конечно видны, на vds я за трафик не плачу, и в офис идет уже отфильтрованная только нужная почта.

далее squid + bfilter ( в жоо ....) ваш режик , жалкая тормозная поделка. которая уже пару лет не обновлялась...

ps )) к тем васям провайдерам к которым можно подойти с пивом и потрепаться, сами как правило из гнезда выпали, и являются не очень хорошими специалистами...

помогут думаю любые адекватные люди которые уже не один год крутятся в IT )) и на этом сайте таких людей предостаточно.
но и пальца проблему сосать тоже не надо )))