| View previous topic :: View next topic |
| Author |
Message |
Mellomann
Joined: 07 Sep 2009
Posts: 709
|
 (Separately) Posted: Thu Mar 08, 2012 15:34 Post subject: Создание массива файлов по шаблону (hex-счётчик) |
 |
|
Задача - создать файлы с именами по hex-счётчику в виде
00000000, 00000001, 00000002, ..., FFFFFFFЕ, FFFFFFFF
с содержимым, соответствующим их имени, т.е, с байтами
00000000, 00000001, 00000002, ..., FFFFFFFЕ, FFFFFFFF
в них.
Руками набивать 4 млн файлов как-то не охота, тем более, что это должно легко автоматизироваться.
Цель - последующий небольшой тест crc32 хеширования с этими файлами. (не суть важно, к задаче отношения не имеет)
Какие будут предложения? |
|
| Back to top |
|
 |
MVV
Joined: 15 Oct 2009
Posts: 4815
Location: Ростов-Дон
|
| (Separately) Posted: Thu Mar 08, 2012 17:07 Post subject: |
|
|
Там 4 миллиарда файлов, а не миллиона. Думаю, папка с таким числом файлов будет бесконечно тормозить...
| Code: | MIME-Version: 1.0
Content-Type: application/octet-stream; name="make4G.7z"
Content-Transfer-Encoding: base64
Content-Disposition: attachment; filename="make4G.7z"
N3q8ryccAAPR00JRCgIAAAAAAABfAAAAAAAAAAA1SHkAJpaOcAAX9+wFu+r0/5QBL0TuTr0Jkm3d
gTnz3Weoe6NfFfEa/Y28zsBB2HEdPWzlugty+IIM4hglhy/h80OeyYw5CMe7jUK77wLPQMC9wwpT
+oLa6JFYpM8Y28DVAdEHHSmRUA8npfAuyfKL9SPo8DVhwt1Ll1oMgXAgHRoSeJ3JnPu/T5YCumxV
s/eSHIGsl9bvvVxNegguyxceRlvVsRsTyUW4JU04Se9FZOZqPerhGZyfyPY0gwF4c1kP7mX0QLd9
Xsow82TDS4AhA2OFaPyqBbi9skhwgU1ix+36sHniqwptv3RWxtKRcPIwEVyRx5KTVzLB8u8vyQIr
xCg+pvG86oTPVWbyvNfTGDjOuz4ILMSYe+yKOhcfES8OeBNEegJTLYRSYksK2qxO067KPdhFI9ue
ZSrXi/7qpFHK3SogO9Zbk5Z8PReWHRzm9cHDRpoAestu1QcMLndSDoufnSnZpMsY/ZOfDB2RTdmj
B+Chk+KwoKOUASHBkCUEnbjGCJIkCdlS8ZM0FImwYtaEbsF6PvtRTTmmFuF/1rIR6PVKeIcBnfHD
DkuyAv7YYVuaV8fcz/LsOropHeD4G0b8lcZp98WlFmughO2DItgrh2ut9tPk9HA5V4hVMtl7UwOk
XnSfSeVSQCR5A6lrIem5GHTeirHVle+ciiGvWOQ7zChvKEcUytvzhAABBAYAAQmCCgAHCwEAAiMD
AQEFXQAAAQAEAwMBAwEADIQAhAAACAoB20/CVQAABQERFwBtAGEAawBlADQARwAuAGUAeABlAAAA
FAoBAJerqoMt/cwBFQYBACAIAAAAAA==
|
_________________
TCFS2 + TCFS2Tools: Полноэкранный режим и многое другое (обсуждение)
WINCMD.RU: AskParam, CopyTree, NTLinks, Sudo, VirtualPanel… |
|
| Back to top |
|
|
Mellomann
Joined: 07 Sep 2009
Posts: 709
|
| (Separately) Posted: Thu Mar 08, 2012 17:24 Post subject: |
|
|
Спасибо, опробуем.
Добавлено спустя 9 минут:
Аххх... Малость я, конечно, не ожидал ТАКОГО количества файлов...
Эт ж нужен диск на 2 ТБ, и то, если кластер 512... |
|
| Back to top |
|
|
Моторокер
Joined: 06 May 2005
Posts: 1517
Location: г. Пермь (читается Перьмь)
|
| (Separately) Posted: Sun Mar 11, 2012 07:42 Post subject: |
|
|
Windows должна хранить такие маленькие файлы прямо в файловой системе.
| Quote: | | в файловой системе NTFS маленькие файлы (размером менее 1Кб) хранятся внутри таблицы размещения файлов (MFT) |
Думаю, задача поставлена неверно. Может всё-таки создавать эти файлы перед самим "небольшим тестом"? Или вообще не создавать, а решать по другому.
_________________
плагины для Total Commander, статьи Graphics Converter; NSCopy; SEO HTML; KillOK; Плагин на Delphi
ПармаСруб - строительство домов и бань в Перми |
|
| Back to top |
|
|
Mellomann
Joined: 07 Sep 2009
Posts: 709
|
| (Separately) Posted: Sun Mar 11, 2012 16:14 Post subject: |
|
|
Моторокер
Суть - создать оч много файлов - тот самый максимум, что выдерживает crc32 (2^32) - и прогнать его на проверку одинаковости хешей на каждом последующем файле.
Понятно, что чтобы что-то прохешировать, его нужно создать.
Именно на создание файлов и нужно было решение, которое благополучно делает предоставленая утилита.
Сейчас дело - за малым - найти время всё это сделать. |
|
| Back to top |
|
|
CaptainFlint
Joined: 14 Dec 2004
Posts: 6193
Location: Москва
|
| (Separately) Posted: Sun Mar 11, 2012 16:29 Post subject: |
|
|
Mellomann
IMHO, лучше не по файлу создавать, а в один текстовик (или бинарник) вписывать эти хэши. Если бинарный, то в 16 гигабайт файл получается, индексом будет являться исходный текст, переведённый в число и домноженный на 4 (размер хэша в байтах), содержимым — вычисленный хэш.
_________________
Почему же, ё-моё, ты нигде не пишешь "ё"? |
|
| Back to top |
|
|
Моторокер
Joined: 06 May 2005
Posts: 1517
Location: г. Пермь (читается Перьмь)
|
| (Separately) Posted: Thu Mar 15, 2012 02:08 Post subject: |
|
|
Мне кажется, или цель всё-таки другая?
Нужно проверить какой-то массив файлов на наличие файлов с одинаковым хэшем?
_________________
плагины для Total Commander, статьи Graphics Converter; NSCopy; SEO HTML; KillOK; Плагин на Delphi
ПармаСруб - строительство домов и бань в Перми |
|
| Back to top |
|
|
Mellomann
Joined: 07 Sep 2009
Posts: 709
|
| (Separately) Posted: Thu Mar 15, 2012 22:10 Post subject: |
|
|
Моторокер
В перспективе - нужно найти/сделать такие файлы, хеш которых будет идентичен абсолютно другоим файлам. |
|
| Back to top |
|
|
Tol!k
Joined: 01 Apr 2008
Posts: 1727
Location: Арзамас
|
|
| Back to top |
|
|
Mellomann
Joined: 07 Sep 2009
Posts: 709
|
| (Separately) Posted: Thu Mar 15, 2012 23:02 Post subject: |
|
|
| За статью выражается благодарность, задумка изначальная была подобная (хотя и немного другая). |
|
| Back to top |
|
|
|
Rules
Search
FAQ
Memberlist
Usergroups
Register
Profile
Log in to check your private messages
Log in
