zaLinux.ru

Архив тегов: кодировка

Как из текстового файла найти и удалить символы, отличные от UTF-8

Фильтрация невалидных UTF-8 символов Файлы, которые кроме обычных символов содержат неверные с точки зрения UTF-8 символы, вызывают проблему как при обработке их утилитами, так и при открытии в текстовых редакторах. Пример ошибки в Python 3 при попытке обработать файл с…
ДАЛЕЕ

Почему при объединении строк они перекрывают друг друга

В командах и скриптах Bash вы можете использовать строки из различных файлов. К примеру, для составления команды берётся одна строка из первого файла и вторая строка из второго файла. В скрипте мы объединяем эти строки и ожидаем получить результирующую строку,…
ДАЛЕЕ

Что делать, если в Linux не видны некоторые символы Unicode (РЕШЕНО)

В веб-браузере или в текстовом редакторе вы можете столкнуться с тем, что некоторые символы Unicode не показываются. Например, это фрагмент веб-страницы, на которой очевидно отсутствует несколько музыкальных символов. Чтобы это исправить, нужен шрифт, который содержит эти символы. Ни один шрифт…
ДАЛЕЕ

Решение проблем неправильной кодировкой веб-страницы

При неправильной кодировке весь сайт или его часть отображаются в виде «кряпозяблов», т.е. непонятных символов, делающих текст нечитаемым. Такая ситуация может возникнуть при неверной настройке кодировки веб-сервера или при отсутствии настроек. Рассмотрим возможные варианты и способы устранения проблем Неправильная кодировка HTML…
ДАЛЕЕ

В чём разница между кодировками utf8_general_ci, utf8_unicode_ci, utf8mb4_general_ci, utf8mb4_unicode_ci. Какую кодировку выбрать для базы данных MySQL

Начиная с MySQL 5.5.3 вы должны использовать utf8mb4, а не utf8. Обе эти группы относятся к кодировке UTF-8, но более старая utf8 имеет специфичные для MySQL ограничения, не дающие использовать символы, пронумерованные выше 0xFFFD. Таким образом, больше не нужно использовать…
ДАЛЕЕ

Как определить кодировку файла или строки. Как конвертировать файлы в кодировку UTF-8 в Linux

В этой инструкции мы опишем что такое кодировка символов и рассмотрим несколько примеров конвертации файлов из одной кодировки в другую с использованием инструмента командной строки. Наконец, мы узнаем, как на Linux конвертировать несколько файлов из одного набора символов (charset) в…
ДАЛЕЕ