zaLinux.ru

Обработка текста в консоли и консольные текстовые редакторы

awk и табуляция во вводимых и выводимых данных

Почему awk неправильно определяет границы данных, разделённых табуляцией Следующая команда вместо ожидаемого третьего столбца вернёт пустой результат: echo '1 2 3 4 5 6' | awk -F'\t' '{ print $3 }' В команде вместо стандартного FS (Input field separator, разделитесь…
ДАЛЕЕ

Как преобразовать строку в верхний регистр в Bash

В этой заметке будет показано, как преобразовать строку в верхний регистр (заглавные буквы буквы, прописные буквы) в командной строке Linux. Чтобы конвертировать строку в большие буквы независимо от её текущего регистра, используйте одну из следующих команд. tr echo "Hi all"…
ДАЛЕЕ

Как преобразовать строку в нижний регистр в Bash

В этой заметке будет показано, как преобразовать строку в нижний регистр (строчные буквы) в командной строке Linux. Чтобы конвертировать строку в маленькие буквы независимо от её текущего регистра, используйте одну из следующих команд. tr echo "Hi all" | tr '[:upper:]’…
ДАЛЕЕ

Как вывести от определённого столбца до последнего в командной строке Linux

В этой заметке рассмотрим, как вывести с определённого столбца до последнего. Например: как вывести со второго столбца до последнего как вывести с третьего столбца до последнего как вывести с четвёртого столбца до последнего как вывести с n-го столбца до последнего…
ДАЛЕЕ

Уроки по Awk

Оглавление 1. Так что такое AWK? 2. Что может делать AWK? 3. Специальные переменные 4. Простые примеры Awk 5. Вызов функций 6. Массивы 7. AWK и оболочки (sh/ksh/bash/csh) 8. Вопросы и ответы по awk 9. Примеры решения задач с помощью…
ДАЛЕЕ

Как удалить newline (символ новой строки) из вывода команд и файлов в командной строке Linux

Как удалить newline (перевод строки) из строки в Bash Для перевода строки в операционных системах используются символы: '\n' (newline) '\r' (carriage return) Причём в Linux используется \n (также называется EOL, End of Line, newline, новая строка). В других операционных системах…
ДАЛЕЕ

Как из текстового файла найти и удалить символы, отличные от UTF-8

Фильтрация невалидных UTF-8 символов Файлы, которые кроме обычных символов содержат неверные с точки зрения UTF-8 символы, вызывают проблему как при обработке их утилитами, так и при открытии в текстовых редакторах. Пример ошибки в Python 3 при попытке обработать файл с…
ДАЛЕЕ

Как разбить большой файл (текстовый или бинарный) на файлы меньшего размера (РЕШЕНО)

Инструкция по использованию split У меня есть большой (по количеству строк) текстовый файл, который я хотел бы разделить на файлы меньшего размера, также по количеству строк. Поэтому, если в моем файле около 2 млн строк, я хотел бы разделить его на…
ДАЛЕЕ

Инструкция по использованию printf в Bash для форматирования и вывода данных

В отличие от многих других команд, команда printf не используется для конвейеров (она не принимает стандартный ввод) и не находит частого применения непосредственно в командной строке (чаще всего используется в сценариях). Так почему так важна? Потому что printf так широко…
ДАЛЕЕ

Как отформатировать JSON в командной строке чтобы он стал удобным для чтения

Мы уже рассмотрели вопрос, как отформатировать XML в командной строке чтобы он стал удобным для чтения, а есть ли способ в командной строке Linux отформатировать JSON в удобочитаемый вид? По сути, нам нужно, что следующее: { "foo": "lorem", "bar": "ipsum"…
ДАЛЕЕ

Как отформатировать XML в командной строке чтобы он стал удобным для чтения

Есть ли программа с интерфейсом командной строки (Linux) для форматирования XML в удобочитаемую форму? По сути, я хочу, чтобы он изменил следующее: <root><foo a="b">lorem</foo><bar value="ipsum" /></root> … в примерно такой вид: <root> <foo a="b">lorem</foo> <bar value="ipsum" /> </root> Вариантов отформатировать…
ДАЛЕЕ

Как добавить нули до определённого размера строки

Иногда необходимо привести строки или числа разной длины к определённому стандарту, например, сделать так, чтобы они содержали одинаковое количество символов. В этом случае, если строка короче необходимой длины, вначале нужно добавить нули. Данная статья опишет, как это сделать. Показанные ниже…
ДАЛЕЕ

Как сделать замену от совпадения до конца строки

Программа sed и некоторые другие программы могут искать совпадения и делать замены. В большинстве случаев нужно найденную подстроку заменить на другую подстроку или удалить вовсе. Пример команды sed, которая ищет подстроку и заменяет на указанную: echo 123456789 | sed 's/6789/4321/'…
ДАЛЕЕ

Как добавить строку в начало или в конец каждой строчки

Рассмотрим варианты, когда в командной строке Linux для всех строчек в файле нужно добавить строку в начало, в конец или сразу в начало и конец. К примеру, нужно добавить в файл .htaccess тысячи IP адресов для блокировки, которые содержатся в…
ДАЛЕЕ

Как отфильтровать текст, находящийся между двумя определёнными строками

Когда нам нужно найти строку, соответствующую определённому образцу, нам на помощь приходит команда grep и регулярные выражения. А что если нам нужно найти то, что находится между совпадением первого шаблона и между совпадением второго шаблона? То есть нам нужно найти…
ДАЛЕЕ