Alexey
14.03.2021
Обработка текста в консоли и консольные текстовые редакторы, Офисные программы
iconv, кодировка, ошибки, решение проблемы
Фильтрация невалидных UTF-8 символов Файлы, которые кроме обычных символов содержат неверные с точки зрения UTF-8 символы, вызывают проблему как при обработке их утилитами, так и при открытии в текстовых редакторах. Пример ошибки в Python 3 при попытке обработать файл с…
ДАЛЕЕ
Alexey
24.12.2020
Обработка текста в консоли и консольные текстовые редакторы
cat, split
Инструкция по использованию split У меня есть большой (по количеству строк) текстовый файл, который я хотел бы разделить на файлы меньшего размера, также по количеству строк. Поэтому, если в моем файле около 2 млн строк, я хотел бы разделить его на…
ДАЛЕЕ
Alexey
02.12.2020
Обработка текста в консоли и консольные текстовые редакторы
printf, обработка текста, форматирование
В отличие от многих других команд, команда printf не используется для конвейеров (она не принимает стандартный ввод) и не находит частого применения непосредственно в командной строке (чаще всего используется в сценариях). Так почему так важна? Потому что printf так широко…
ДАЛЕЕ
Alexey
01.11.2020
Обработка текста в консоли и консольные текстовые редакторы
jq, JSON
Мы уже рассмотрели вопрос, как отформатировать XML в командной строке чтобы он стал удобным для чтения, а есть ли способ в командной строке Linux отформатировать JSON в удобочитаемый вид? По сути, нам нужно, что следующее: { "foo": "lorem", "bar": "ipsum"…
ДАЛЕЕ
Alexey
24.10.2020
Обработка текста в консоли и консольные текстовые редакторы
tidy, XML, xml_pp, xmllint, xmlstarlet
Есть ли программа с интерфейсом командной строки (Linux) для форматирования XML в удобочитаемую форму? По сути, я хочу, чтобы он изменил следующее: <root><foo a="b">lorem</foo><bar value="ipsum" /></root> … в примерно такой вид: <root> <foo a="b">lorem</foo> <bar value="ipsum" /> </root> Вариантов отформатировать…
ДАЛЕЕ
Alexey
15.06.2020
Обработка текста в консоли и консольные текстовые редакторы
awk, Perl, printf, консольные текстовые редакторы, обработка текста, строки
Иногда необходимо привести строки или числа разной длины к определённому стандарту, например, сделать так, чтобы они содержали одинаковое количество символов. В этом случае, если строка короче необходимой длины, вначале нужно добавить нули. Данная статья опишет, как это сделать. Показанные ниже…
ДАЛЕЕ
Alexey
14.06.2020
Обработка текста в консоли и консольные текстовые редакторы
awk, Ruby, Sed, консольные текстовые редакторы, обработка текста, регулярные выражения, строки
Программа sed и некоторые другие программы могут искать совпадения и делать замены. В большинстве случаев нужно найденную подстроку заменить на другую подстроку или удалить вовсе. Пример команды sed, которая ищет подстроку и заменяет на указанную: echo 123456789 | sed 's/6789/4321/'…
ДАЛЕЕ
Alexey
14.06.2020
Обработка текста в консоли и консольные текстовые редакторы
awk, Perl, Sed, консольные текстовые редакторы, обработка текста, строки
Рассмотрим варианты, когда в командной строке Linux для всех строчек в файле нужно добавить строку в начало, в конец или сразу в начало и конец. К примеру, нужно добавить в файл .htaccess тысячи IP адресов для блокировки, которые содержатся в…
ДАЛЕЕ
Alexey
06.03.2019
Обработка текста в консоли и консольные текстовые редакторы
awk, ex, grep, pgrep, Sed, интерфейс командной строки (CLI), консольные текстовые редакторы, обработка текста
Когда нам нужно найти строку, соответствующую определённому образцу, нам на помощь приходит команда grep и регулярные выражения. А что если нам нужно найти то, что находится между совпадением первого шаблона и между совпадением второго шаблона? То есть нам нужно найти…
ДАЛЕЕ
Alexey
15.06.2016
Обработка текста в консоли и консольные текстовые редакторы
awk, интерфейс командной строки (CLI)
Оглавление 1. Так что такое AWK? 2. Что может делать AWK? 3. Специальные переменные 4. Простые примеры Awk 5. Вызов функций 6. Массивы 7. AWK и оболочки (sh/ksh/bash/csh) 8. Вопросы и ответы по awk 9. Примеры решения задач с помощью…
ДАЛЕЕ
Alexey
20.07.2015
Обработка текста в консоли и консольные текстовые редакторы
gsed, Sed
Полезные однострочные скрипты для sed (потокового редактора Unix), составленные Эриком Пементом Источник: https://n0where.net/sed-command-examples/ Есть несколько программ, которые являются настоящими рабочими лошадками в обойме UNIX. Эти программы просты в использовании для простых действий, хотя они имеют богатый набор команд для выполнения комплексных действий.…
ДАЛЕЕ