Total Commander Forum Index Total Commander
Форум поддержки пользователей Total Commander
Сайты: Все о Total Commander | Totalcmd.net | Ghisler.com | RU.TCKB
 
 RulesRules   SearchSearch   FAQFAQ   MemberlistMemberlist   UsergroupsUsergroups   RegisterRegister 
 ProfileProfile   Log in to check your private messagesLog in to check your private messages   Log inLog in 

Поиск дубликатов по размеру с погрешностью

 
Post new topic   Reply to topic    Total Commander Forum Index -> Общие вопросы printer-friendly view
View previous topic :: View next topic  
Author Message
oyx147



Joined: 18 Apr 2021
Posts: 2

Post (Separately) Posted: Sun Apr 18, 2021 13:41    Post subject: Поиск дубликатов по размеру с погрешностью Reply with quote

Всем привет!

Есть ли возможность настроить погрешность при поиске дубликатов по размеру? К примеру у одного файла размер 25 507 килобайт, а у другого 25 505. Содержимое-то и одно и то же, просто взято из разных источников и лежит в одной куче.
Back to top
View user's profile Send private message
Avada



Joined: 01 Aug 2008
Posts: 10236
Location: Россия, Саратов

Post (Separately) Posted: Sun Apr 18, 2021 14:07    Post subject: Reply with quote

oyx147
При поиске дубликатов — не настраивается. (И каким образом, интересно, вы установили, что файлы с разным размером полностью одинаковы? Последнего переноса строки в одном месте нет?)
_________________
Даже самая богатая фантазия
Не представит себе наши безобразия.
Back to top
View user's profile Send private message
Skif_off



Joined: 28 Nov 2012
Posts: 1232

Post (Separately) Posted: Sun Apr 18, 2021 14:37    Post subject: Reply with quote

Avada
По идее, в MP3, например, теги в формате ID3v2 (они вроде обычно в начале файла): очистить какой-нибудь или добавить - размер и контрольная сумма изменятся (или только второе, если, например, опечатку исправили или теги ID3v1), но собственно содержимое то же.
Хотя пример так себе, ТС же не будет вырезать теги и сравнивать...
Back to top
View user's profile Send private message
oyx147



Joined: 18 Apr 2021
Posts: 2

Post (Separately) Posted: Sun Apr 18, 2021 14:42    Post subject: Reply with quote

Avada wrote:
oyx147
При поиске дубликатов — не настраивается. (И каким образом, интересно, вы установили, что файлы с разным размером полностью одинаковы? Последнего переноса строки в одном месте нет?)


Это pdf-файлы в основном. За счет чего отличие - черт его знает. Я открывал и сравнивал. Просто когда их за тысячу с хреном - очень муторно их разгребать. Думал что хоть так себе задачу облегчу.
Back to top
View user's profile Send private message
Avada



Joined: 01 Aug 2008
Posts: 10236
Location: Россия, Саратов

Post (Separately) Posted: Sun Apr 18, 2021 15:18    Post subject: Reply with quote

Skif_off wrote:
ТС же не будет вырезать теги и сравнивать...
Вот именно.

oyx147
Непохоже, что вы себе что-то облегчите. Сравнение дубликатов как таковое совпадений не выявит, а сравнивать по порядку каждую пару... Впрочем, мне иногда приходится что-то подобное делать. Например, при сравнениии разных версий HTM-файлов, составляющих справку TC. И на уровне самого текста, и — при необходимости — с тегами, если текст одинаков, а файлы всё-таки разные. Но это уже совсем другой инструментарий.
_________________
Даже самая богатая фантазия
Не представит себе наши безобразия.
Back to top
View user's profile Send private message
Моторокер



Joined: 06 May 2005
Posts: 1517
Location: г. Пермь (читается Перьмь)

Post (Separately) Posted: Wed Apr 28, 2021 13:27    Post subject: Reply with quote

Теоретически можно в сравнение добавить поле процентов.
Если в конце или начале что-то добавить, в середине пару байт поменять.

Но если изменений несколько, да ещё со сдвигом, это не поможет. Тут уже мощнее алгоритмы нужны. Скорее всего есть спецсофт для этого.

В своё время пользовался программой BinDiff вроде называется, вот она мощно сравнивала.

Только какой-нибудь контентный плагин. Например из PDF будет вытаскивать тексты/строки и сравнивать их.
_________________
плагины для Total Commander, статьи Graphics Converter; NSCopy; SEO HTML; KillOK; Плагин на Delphi
ПармаСруб - строительство домов и бань в Перми
Back to top
View user's profile Send private message
Display posts from previous:   
Post new topic   Reply to topic    Total Commander Forum Index -> Общие вопросы All times are GMT + 4 Hours
Page 1 of 1

 
Jump to:  
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum


Powered by phpBB © 2001, 2005 phpBB Group