Destiny
|
Posted: Sun Mar 17, 2024 15:46 Post subject: |
|
|
little-brother wrote: | Подозреваю, что определитель в каком то месте обнаруживает неверный с точки зрения utf8 последовательность бит, которая не может быть декодирована. |
Я же ТОЧНО указал где и что:
на этом символе-квадрате, что представляет собой 0x001A символ, - всё и падает при определении...
Добавлено спустя 4 минуты:
little-brother wrote: | Так и плагин я думаю может открыть как UTF-8, если принудительно переключить. |
Да, может, поэтому я и не сразу решился писать сюда об этой проблеме...
Проблема стала серьёзнее когда я стал использовать плагин для просмотра итоговых XML, полученных после обработки входных CSV.
Эта ошибка - этот символ - стал "ронять" весь Тотал при использовании XML плагина. Но об этом я уже в той теме расписал.
А тут осталась лишь неверная трактовка UTF-8 из-за него одного такого....
И да, пожалуй, при наличии 1/2/3 ошибок наверное реально можно считать файл в первую очередь всё же как UTF-8.
Или не в точном кол-ве штук, а в процентном отношении?
Типа, если на все 1000 символов текста найдено лишь до 5% ошибочных, не перекодируемых в UTF-8 символов - то
в целом весь текст по прежнему считаем как UTF-8. |
|