| View previous topic :: View next topic |
| Author |
Message |
M.S.I.
Joined: 12 Mar 2007
Posts: 32
|
 (Separately) Posted: Fri Oct 23, 2015 18:40 Post subject: Скорость побайтного сравнения медленнее скорости чтения |
 |
|
Скопировал данные с одного диска на NAS. Для проверки корректности переноса запустил синхронизацию с проверкой по содержимому.
Так вот, скорость синхронизации ниже скорости чтения с NAS в 2,5-3 раза. Не пойму, почему так происходит, ведь синхронизация по сути чтение?.. И процессор загружен даже не на 50%, чтобы можно было сказать, что он не успевает сравнивать блоки данных.
P.S. Win 7 x64 & TC 8.51a
Last edited by M.S.I. on Sat Oct 24, 2015 01:29; edited 1 time in total |
|
| Back to top |
|
 |
Skif_off
Joined: 28 Nov 2012
Posts: 1244
|
| (Separately) Posted: Fri Oct 23, 2015 19:58 Post subject: Re: Скорость синхронизации медленнее скорости чтения |
|
|
| M.S.I. wrote: | | с проверкой по содержимому |
Значит, проверяется не только наличие/отсутствие файла/каталога, но и сравниваются контрольные суммы, вероятно, отсюда потеря скорости. |
|
| Back to top |
|
|
M.S.I.
Joined: 12 Mar 2007
Posts: 32
|
| (Separately) Posted: Fri Oct 23, 2015 21:53 Post subject: Re: Скорость синхронизации медленнее скорости чтения |
|
|
| Skif_off wrote: | | M.S.I. wrote: | | с проверкой по содержимому |
но и сравниваются контрольные суммы |
Что?.. какие контрольные суммы? Блок из первого файла и этот же блок из второго, если равны, идем дальше, если нет, ставим метку "не равен".
В любом случае, операции в оперативной памяти гораздо быстрее чтения по сети. "Мне так кажется" (с) |
|
| Back to top |
|
|
Tol!k
Joined: 01 Apr 2008
Posts: 1727
Location: Арзамас
|
| (Separately) Posted: Sat Oct 24, 2015 11:38 Post subject: Re: Скорость побайтного сравнения медленнее скорости чтения |
|
|
| M.S.I. wrote: | | процессор загружен даже не на 50% |
ШТА
курите что такое последовательный/случайный доступ
[сарказм]
и нафига какие-то дураки придумали очередь копирования? копировали бы всё параллельно и было бы всем счастье
[/сарказм]
считайте контрольные суммы в файл на источнике, копируйте вместе с файлами и проверяйте КС на цели
– будет быстрее |
|
| Back to top |
|
|
MVV
Joined: 15 Oct 2009
Posts: 4815
Location: Ростов-Дон
|
| (Separately) Posted: Sat Oct 24, 2015 12:33 Post subject: |
|
|
Интересно, какой размер блока у тоталовской сравнивалки. Что он мэппит файлы - факт, но какого размера блоки он потом вычитывает?.. Если он потом просто идет линейно по файлам, сравнивая байты по порядку, то, конечно, это будет медленно.
_________________
TCFS2 + TCFS2Tools: Полноэкранный режим и многое другое (обсуждение)
WINCMD.RU: AskParam, CopyTree, NTLinks, Sudo, VirtualPanel… |
|
| Back to top |
|
|
M.S.I.
Joined: 12 Mar 2007
Posts: 32
|
| (Separately) Posted: Sat Oct 24, 2015 16:56 Post subject: Re: Скорость побайтного сравнения медленнее скорости чтения |
|
|
| Tol!k wrote: | | M.S.I. wrote: | | процессор загружен даже не на 50% |
ШТА |
Я имел в виду, что если взять древний компьютер с каким-нибудь Celeron'ом, то, скорее всего, там ограничением станет именно он, а не пропускная способность сети. То есть он будет производить сравнение блоков медленнее, чем будут приходить ему данные.
| Tol!k wrote: | | курите что такое последовательный/случайный доступ |
Выкурил еще очень давно.
| Tol!k wrote: |
[сарказм]
и нафига какие-то дураки придумали очередь копирования? копировали бы всё параллельно и было бы всем счастье
[/сарказм]
|
И зачем здесь это?... Кто говорит о параллельном копировании?..
Мож вы не поняли о чем речь?... Открываем некую папку, в ней, допустим, 3 файла - "1", "2", "3". Копируем - смотрим скорость, допустим, X Mb/s. Теперь, после копирования, запускаем сравнение, скорость уже X/(2,5-3) Mb/s, хотя TC, точно также вынужден вычитывать эти 3 файла по сети. Разве не так?
| MVV wrote: | | Что он мэппит файлы - факт |
можете пояснить, о чем речь?.. |
|
| Back to top |
|
|
Tol!k
Joined: 01 Apr 2008
Posts: 1727
Location: Арзамас
|
| (Separately) Posted: Sat Oct 24, 2015 17:45 Post subject: |
|
|
значит не вкурили. параллельно они читаются (копируются в память, если угодно)
кусок одного файла, кусок другого, сравнение, следующий кусок одного, следующий кусок другого, сравнение, ...
доступ к диску получается случайный, который в разы медленнее последовательного |
|
| Back to top |
|
|
|
|
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum
|
Powered by phpBB © 2001, 2005 phpBB Group
|
Rules
Search
FAQ
Memberlist
Usergroups
Register
Profile
Log in to check your private messages
Log in
