Total Commander

[Hram]

Версия 2.5.1
[*] снято ограничение размера копируемых фотографий 6 МБ

[Vigoros]

Евгений не перестает нас радовать продолжением работы над плагином! Спасибо ему за это!!

2Hram: Так все-таки ограничения на предельный размер одного файла были установлены искусственно? А причина?


В защиту Автора от мнимых нападков по поводу уворовывания трафика плагином сегодня не поскупился и провел разведку боем - укачал дофига фотофайла. Сейчас буду приводить скупые цифры.

(Но сперва небольшое отступление - теперь это (качать) делать крайне удобно, чтобы раньше закачать такой же объем нужно было так извратиться, что диву давался своим возможностям :) Но нам еще есть куда стараться улучшать функциональность плагина, не следует останавливаться на достигнутом ;) )

Строчка из лога провайдера:
Начало Конец Отправлено Принято Время
15-11-2007 20:38:21 16-11-2007 04:26:27 75717957 2855442287 7 часов 48 минут 6 секунд

Цифра из монитора состояния сети (принято):
2 927 200 170 байт

NetPeeker 2.83 показывает что
система в общем и целом приняла 2,82Гб информации (это в том числе трафик локальной сети), из них
Опера (1) получила 13,65Мб - попутно лазил по форумам и тд
Опера (2) получила 124,35Мб - это глядел миддл-превьюхи фотофайла
Тотал - показывается какое-то непонятное число (с минусом почему-то, видно то что отобразилось в системном трафике здесь заминусовалось) - 3 823 554 855,00

Реально положено файлов на диск:
2,27 ГБ (2 445 633 991 байт) в 37 альбомах

Первый интересующий файл был закачан в Пт, 16 ноября 2007 г., 00:53:01,
т.е. весь предыдущий трафик в рамках теста можно считать паразитным.

Сейчас в силу раннего утра я уже не способен на глубинный анализ приведенных данных, но на первый взгляд поводов для паники нет никаких.

Что и требовалось доказать!!

[Hram]

2Vigoros

[Hram]

Версия 2.6.0
[+] вхождение в альбом по паролю для http://photofile.ru
[*] считывание >20 альбомов для http://photofile.ru

[anddrew]

На счет трафика: проверял еще раз - трафик получается значительно больше, чем суммарный объем скаченных файлов (проверял и с Photofile и с Fotoplenka). Смотрел через Диспечер задач. Причем, например, при соединении (ввожу адрес альбома и до тех пор, пока на панели не появятся имена всех файлов в альбоме) трафик - 52,2 Мб, при скачивании (копировании) еще 52,2 Мб, а объем файлов - 48,9 Мб.
Вопрос, почему при вводе адреса альбома и соединении получается такой трафик?

Постараюсь более подробно попроверять еще, просто времени маловато. Если со своей стороны дадите рекомендации как проверить, сделаю.

[bookmist]

Можно ли получить хоть какую-то справку по написанию скриптов для плагина. Хотя бы расшифровкой какие параметры что обозначают. Или, если объяснять долго и сложно, хотя бы ту часть кода, где разбираются страницы.

[Vigoros]

Всем привет, и с Новым удачным годом!!

Зашел сегодня провериться на обновления и... вуаля... они есть! Да еще какие!!
Спасибо, Евгений, ты, как всегда, радуешь нас своим творчеством!
Уже испытал в деле - прекрасно работает. Это здорово! Прекрасный подарок на новый год! Еще раз - гранд мерси!!

Зы. А [*] считывание >20 альбомов для ФФ я уже и сам поборол - заменил одну строчечку в скрипте и все заработало ;-)

Уже, казалось бы, чего и желать? ;)
Однако у нас до сих пор остались не "окученными" фотки из запротекченных альбомов (есть на ФФ такая бяка), а точнее их xlarge-копии. Вернее доступ к ним как таковой есть (это если внести соответствующие изменения в файл-скрипт, то в режиме квик-превью все прекрасно просматривается), а вот удобство их сохранения отсутствует.
Так вот, нельзя ли это как-то преодолеть? Это дало бы нам еще одну степень свободы.

2 anddrew
На днях сделаю еще один контрольный замер трафика, чтобы уже окончательно расставить точки по своим местам.
Если есть желание, то скинь мне в личку авторов (только фф... а может и не только...), на которых ты мерялся. Так, для чистоты эксперимента.

[Hram]

2 anddrew
не удержался и решил еще раз проверить трафик плагина,
чтоб не накого было валить взял в качестве измерителя "подключение по локальной сети" то что в трее.

................изначально.......после получ. списка........ после скачивания
отправл....318062..............361334............................843554
получен....1393124............1837078..........................23348212

размер альбома 20330000 из 56 фотографий
http://photofile.ru/users/hramov/2972737/

получаем что:
- на получение списка альбома ушло вх. трафика 443954, что составляет 2.18 % от размера альбома
- на все операции по скачиванию альбома ушло вх. трафика 21955088, что составляет 107.99 % от размера альбома

конечно справедливости ради стоило посчитать и исходящий трафик в 525492 байт что составляет 2.58 % от размера альбома, но я поленился, уж простите.

по моим предположениям вместо цифры 107.99 должна была быть около 120, но чтож так оно еще лучше

[Hram]

2 Vigoros
спасибо!!!
а автообновление разве не работает?

по поводу паролей кстати не мне спасибо. Прислал мне письмо Сергей(больше ничего о нем не знаю) с исходниками в которых был заложен механизм работы с альбомами под паролем. Немного правда пришлось доработать, но еслиб не он я бы еще долго собирался

с дальнейшей доработкой пока все сложно, поменял работу, времени теперь совсем мало, хорошо, что новогодние праздники были

ЗЫ чтож не напиcал, что скрипт по поводу >20 альбомов надо поменять?

[anddrew]

2Hram: Я наконец выяснил причину такого большого трафика при использовании Вашего плагина. Все дело в Касперском. У меня установлен Kaspersky Internet Security 7 и в настройках Веб-антивируса был установлен максимальный уровень защиты, при этом при получении списка альбома трафик, практически, был равен суммарному объему файлов в альбоме. Если установить минимальный уровень защиты, то трафик значительно снижается. Если Касперского вообще отключить, то при копировании трафик снижается еще на несколько процентов.
При отключенном Касперском и получении списка альбома http://photofile.ru/users/hramov/2972737/ трафик составил где-то 1.1 Мб (точные цифры не запомнил), после копирования файлов трафик составил 22.8 Мб (включая трафик, затраченный на получение списка альбома). Так что цифры вполне удовлетворительные, правда почему-то на получение списка у меня все-таки расходуется больше трафика, чем у Вас.
Так что всем рекомендую отключать антивирус при копировании фото при помощи плагина.
Еще раз спасибо автору за проделанную работу по созданию плагина.

[bookmist]

Скрипт для deviantart.com Глючит, но работает.
[!!!ИмяАвтора!!!.deviantart.com]
DirExpression = NULL
AlbumExpression = NULL
NameAlbum = NULL
UrlAlbum = NULL
IfNextPageAlbum = NULL
NextPageAlbum = NULL

FileExpression = ([^.]+.deviantart.com)(\/)(gallery)(\/)v1(\/)
FotoExpression = (<a href=\"http:\/\/)([^.]+.deviantart.com)(\/art\/[^\"]+)(\" title=\")([^\">]+)(\"><i><\/i><img width=\"[^\">]+\" height=\"[^\">]+\" src=\"http:\/\/)([^\/]+)([^\"]+)(\"\/>)
UrlOrig = %s`Match[3];
OrigExpression = (<a href=\"http:\/\/)(www.deviantart.com)(\/download\/[^\/]+\/)([^\"]+)(\">Download<\/a>)
NameFoto = %s`Match[4];
UrlFoto = %s%s`Match[3]`Match[4];
UrlPrev = NULL;
ServFoto = %s`Match[2];
IfNextPageFoto = (<a href=\")(\/gallery\/v1\/\?[^o]+offset=[1234567890]+)(\">Next Page<\/a>)
NextPageFoto = %s`Match[2];

User = 5
Album = 1
Original = 1
Utf = 0

Что такое User и Album я не особо понял и не стал разбираться.
!!!Важно!!! На сайте авторам даётся доменное имя третьего уровня, т.о. Для каждого автора требуется создать копию файла скрипта с соответствующим именем и текстом в квадратных скобках в начале.
Сильно тормозит, скорее, конечно, интернет, чем плагин, но всё же на спешите вырубать ТС, минут через 5 он отработает.
Просмотра превьюшек нет. Урл превьюхи нужно выдирать из страницы с альбомом, а не с картинкой.
Если ссылка Download на странице отключена, скрипт не работает.

[bookmist]

Ошибка в плагине. Если режим originals отключен и в параметре ServFoto стоит текст с параметрами(к примеру: %s`Match[2];) и вход в альбом произошёл из списка альбомов(а не непосредственным заданием url'а) то в параметр ServFoto подставляется соответствующий текст из AlbumExpression.
Кроме того, при непосредственном задании url альбома сервер одинаков для всех фотографий, несмотря на задание параметра в параметре ServFoto.
Судя по коду, даные в параметр ServFoto подставляются только один раз за всё время работы с сайтом и нигде не хранятся.

Готов почти рабочий скрипт для vkontakte_ru однако вышеуказанные ошибки делают его непригодным для использования.

[bookmist]

Скрипт для pics.livejournal.com
[pics.livejournal.com]
DirExpression = (pics.livejournal.com\/)([^\/]+)(\/)
AlbumExpression = (<a href=\"http:\/\/pics.livejournal.com)(\/)(%s)(\/gallery\/)([^\"]+)(\" alt=\")([^\"]*)(\">)`User;
NameAlbum = %s_%s`Match[7]`Match[5];
UrlAlbum = /%s/gallery/%s`User`Match[5];
IfNextPageAlbum = NULL
NextPageAlbum = NULL

FileExpression = (pics.livejournal.com\/)([^\/]+)(\/gallery\/)([^\/]+)
FotoExpression = (\" alt=\")([^\"]*)(\">)([\s]*)(<img src=\"http:\/\/pics.livejournal.com\/)([^\/]+)(\/pic\/)([^\/]+)(\/)([^\"]+)(\")
OrigExpression = (\" alt=\")([^\"]*)(\">)([\s]*)(<img src=\"http:\/\/pics.livejournal.com\/)([^\/]+)(\/pic\/)([^\/]+)(\/)([^\"]+)(\")
NameFoto = %s_%s.jpg`Match[2]`Match[8];
UrlFoto = /%s/pic/%s`Match[6]`Match[8];
UrlPrev = /%s/pic/%s`Match[6]`Match[8];
;/%s/pic/%s/%s`Match[6]`Match[8]`Match[10];
ServFoto = pics.livejournal.com
IfNextPageFoto = (<a href=\"http:\/\/pics.livejournal.com)(\/%s\/gallery\/%s\?page=%d)(\">next page<\/a>)`User`Album`Page;
NextPageFoto = /%s/gallery/%s?page=%d`User`Album`Page;

User = 2
Album = 4
Original = 0
Utf = 0

[Hram]

2bookmist
спасибо за скрипт и баг
что то мне рассылка о новых сообщениях перестала приходить, так что на выходных постараюсь исправить баг и добавитьть скрипт

[bookmist]

Отлично, жду.
Когда будет исправленая версия - проверю и выложу скрипт для вконтакте.ру
И ещё хотелось бы возможность отключения информации о фото(размер). Почему-то её получение для некоторых сайтов идёт очень долго.