Фильтрация невалидных UTF-8 символов Файлы, которые кроме обычных символов содержат неверные с точки зрения UTF-8 символы, вызывают проблему как при обработке их утилитами, так и при открытии в текстовых редакторах. Пример ошибки в Python 3 при попытке обработать файл с…
ДАЛЕЕ
В командах и скриптах Bash вы можете использовать строки из различных файлов. К примеру, для составления команды берётся одна строка из первого файла и вторая строка из второго файла. В скрипте мы объединяем эти строки и ожидаем получить результирующую строку,…
ДАЛЕЕ
В веб-браузере или в текстовом редакторе вы можете столкнуться с тем, что некоторые символы Unicode не показываются. Например, это фрагмент веб-страницы, на которой очевидно отсутствует несколько музыкальных символов. Чтобы это исправить, нужен шрифт, который содержит эти символы. Ни один шрифт…
ДАЛЕЕ
При неправильной кодировке весь сайт или его часть отображаются в виде «кряпозяблов», т.е. непонятных символов, делающих текст нечитаемым. Такая ситуация может возникнуть при неверной настройке кодировки веб-сервера или при отсутствии настроек. Рассмотрим возможные варианты и способы устранения проблем Неправильная кодировка HTML…
ДАЛЕЕ
Начиная с MySQL 5.5.3 вы должны использовать utf8mb4, а не utf8. Обе эти группы относятся к кодировке UTF-8, но более старая utf8 имеет специфичные для MySQL ограничения, не дающие использовать символы, пронумерованные выше 0xFFFD. Таким образом, больше не нужно использовать…
ДАЛЕЕ
В этой инструкции мы опишем что такое кодировка символов и рассмотрим несколько примеров конвертации файлов из одной кодировки в другую с использованием инструмента командной строки. Наконец, мы узнаем, как на Linux конвертировать несколько файлов из одного набора символов (charset) в…
ДАЛЕЕ