====== Команды и программы и их применение ======

===== Grep =====

Удаление из файла конфигурации незначимых строк (закомментаренных и пустых)
<code bash>
egrep -v "^;|^$" php.ini >php.ini.compact
</code>
===== date =====

<code bash>
date -I
2021-06-05

date -Iseconds
2021-06-05T16:59:11+03:00

date +%Y-%m-%dT%H:%M:%S
2021-06-05T16:57:36
</code>

Вывод на экран сообщения с текущим временем (удобно для ведения логов и выдачи сообщений в скриптах)

<code bash>
echo "$(date +%Y-%m-%dT%H:%M:%S) текст сообщения"
</code>

Занесение текущего времени в переменную

<code bash>
current_time="$(date +%Y-%m-%d:%H:%M:%S)"
</code>

Запись выполнения скрипта в лог с отметкой этого лога датой
<file bash>
#!/bin/bash

set -x
{
ip a
iptables -vL
iptables -vL -t mangle
iptables -vL -t nat
ip rule show
ip route show table all
} 2>&1 |tee $(basename $0).$(date +%Y%m%d%H%M%S).log
</file>

"Путешествуем" в прошлое
<file bash>
date +%Y-%m-%dT%H:%M:%S -d "yesterday"
date +%Y-%m-%dT%H:%M:%S -d "7 day ago"
</file>
===== ip =====
ifconfig изо всех линукс-дистрибутивов постепенно убирается. На смену ему предлагают ip (с тем или иным успехом заменяет ifconfig, route, netstat, ifup, ifdown и др.)

Все ключи, объекты и команды программы можно сокращать:
<file>
ip link
ip l

ip address
ip a

ip route
ip r

ip rule
ip ru

ip address show dev tun0
ip a s dev tun0
</file>

полезные ключи:
  * -color -c
  * -brief -br
  * -statistics -stats -s
  * -human-readable -human -h
  * -details -d
  * -oneline -o
  * -json -j и связанный с ним -pretty -p



Список объектов:
<file>
link | address | addrlabel | route | rule | neigh | ntable | tunnel | tuntap | maddress | mroute | mrule | monitor | xfrm | netns | l2tp | tcp_metrics | token | macsec
</file>

Примеры (раскраска вывода не сохранена):
<file bash>
$ ip -c -br l
lo               UNKNOWN        00:00:00:00:00:00 <LOOPBACK,UP,LOWER_UP> 
enp1s11          UP             00:04:23:d0:ac:af <BROADCAST,MULTICAST,UP,LOWER_UP> 
wlp1s9           DOWN           c0:25:e9:13:c5:40 <BROADCAST,MULTICAST> 
tun0             UNKNOWN        <POINTOPOINT,MULTICAST,NOARP,UP,LOWER_UP> 
</file>

<file bash>
$ ip -c -s -h -d l
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 promiscuity 0 minmtu 0 maxmtu 0 addrgenmode eui64 numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535 
    RX: bytes  packets  errors  dropped overrun mcast   
    621k       6.54k    0       0       0       0       
    TX: bytes  packets  errors  dropped carrier collsns 
    621k       6.54k    0       0       0       0       
...
</file>

===== tail =====
наблюдение за логами в каталоге и подкаталогах
<file bash>
tail -f **/*.log
</file>
Вывод файла с пропуском N первых строк
<file bash>
tail -n +<N+1> <filename>
</file>
===== find =====

Сменить массово всем файлам и каталогам права доступа

<code bash>
find . -type f -exec chmod 644 \{\} \;
find . -type d -exec chmod 755 \{\} \;

</code>

Удалить все лог-файлы

<code bash>
find . -name *.log -delete

</code>

Удалить все файлы старше 3 месяцев

<code bash>
find /var/log/radius/radacct/ ! -newermt '3 month ago' -delete

</code>

Удалить файлы старше 30 дней, а старше 1 дня сжать (каталог задан в переменной, поиск в его подкаталогах)

<code bash>
find $logdir/*/detail* -mtime +1 -exec /bin/gzip -1 {} \;
find $logdir/*/detail* -mtime +30 -exec /bin/rm -f {} \;

</code>

Удалить пустые папки (по маске old*)

<code bash>
find . -name "old*" -type d -empty -delete
find . -maxdepth 1 -name "old*" -type d -empty -delete


</code>

Найти все css-файлы и сделать их сжатые копии (например для отдачи сжатых копий из nginx)

<code bash>
find ./* -type f -name '*.css' -exec gzip -9vk '{}' \;


</code>

Обратное действие (удалить все сжатые копии)

<code bash>
find ./* -type f -name '*.css.gz' -exec rm -f '{}' \;


</code>

Найти все файлы по нескольким заданным маскам

<code bash>
find . -type f -name '*.css' -o -name '*.txt' -o -name '*.js'


</code>

Создать/удалить сжатые копии для нескольких масок файлов

<code bash>
find . -type f -name '*.css' -o -name '*.txt' -o -name '*.js' -exec gzip -9vk '{}' \;
find . -type f -name '*.css.gz' -o -name '*.txt.gz' -o -name '*.js.gz' -exec rm -f '{}' \;


</code>

Примеры на ту же тему, но с регулярными выражениями

<code bash>
find -E . -type f -regex ".*\.(css.gz|txt.gz|js.gz)" -exec rm -f '{}' \;
find -E . -type f -regex ".*\.(css|txt|js)" -exec gzip -9vk '{}' \;
find -E . -type f -regex ".*\.(css|txt|js)" -exec sh -c "gzip -9vk '{}'; chown username '{}'" \;
find -E . -type f -regex ".*\.(gif|png)" -exec sh -c "gzip -9vk '{}'; chown username '{}'" \;


</code>

Поиск по содержимому

<code bash>
find . -name "*.sh" -exec grep -i -H "searchstring" {} \;


</code>

Копирование по маске

<code bash>
find . -name "*.csv" -exec cp -f "{}" "{}.old" \;


</code>

===== sed =====

=====   =====

===== tcpdump =====

<code bash>
tcpdump -i eth0 host 192.168.1.1
tcpdump host 192.168.1.1 and port 53
tcpdump -i ens160 -f src net 192.168.1.0/24


</code>

Захват пакетов до 4МБ дампа.

<code bash>
tcpdump -i ens224 host 192.168.1.1 -C 4,194,304 -w $(hostname)-192.168.1.1.pcap


</code>

Запись в файл со временем снятия дампа

<code bash>
tcpdump -i bond0 dst 192.168.1.1 and udp -w $(hostname)-192.168.1.1-$(date +%Y-%m-%dT%H:%M:%S).pcap


</code>

Параметры фильтрации:

  * host - имя хоста;
  * ip - ip адрес;
  * proto - протокол;
  * net - адрес сети или подсети;
  * port - адрес порта;
  * src - отправитель;
  * dst - получатель;
  * src port - порт отправителя;
  * dst port - порт получателя;
  * аналогично dst ip, src ip, dst net, src ip
  * less, greater number - пакеты меньше и больше числа number

Доступны такие протоколы: ether, fddi, tr, wlan, ip, ip6, arp, rarp, decnet, tcp и udp.


===== find =====

Сменить массово всем файлам и каталогам права доступа

<code bash>
find . -type f -exec chmod 644 \{\} \;
find . -type d -exec chmod 755 \{\} \;


</code>

Удалить все лог-файлы

<code bash>
find . -name *.log -delete


</code>

Удалить все файлы старше 3 месяцев

<code bash>
find /var/log/radius/radacct/ ! -newermt '3 month ago' -delete


</code>

Удалить файлы старше 30 дней, а старше 1 дня сжать (каталог задан в переменной, поиск в его подкаталогах)

<code bash>
find $logdir/*/detail* -mtime  1 -exec /bin/gzip -1 {} \;
find $logdir/*/detail* -mtime  30 -exec /bin/rm -f {} \;


</code>

Удалить пустые папки (по маске old*)

<code bash>
find . -name "old*" -type d -empty -delete
find . -maxdepth 1 -name "old*" -type d -empty -delete


</code>

Найти все css-файлы и сделать их сжатые копии (например для отдачи сжатых копий из nginx)

<code bash>
find ./* -type f -name '*.css' -exec gzip -9vk '{}' \;


</code>

Обратное действие (удалить все сжатые копии)

<code bash>
find ./* -type f -name '*.css.gz' -exec rm -f '{}' \;


</code>

Найти все файлы по нескольким заданным маскам

<code bash>
find . -type f -name '*.css' -o -name '*.txt' -o -name '*.js'


</code>

Создать/удалить сжатые копии для нескольких масок файлов

<code bash>
find . -type f -name '*.css' -o -name '*.txt' -o -name '*.js' -exec gzip -9vk '{}' \;
find . -type f -name '*.css.gz' -o -name '*.txt.gz' -o -name '*.js.gz' -exec rm -f '{}' \;


</code>

Примеры на ту же тему, но с регулярными выражениями

<code bash>
find -E . -type f -regex ".*\.(css.gz|txt.gz|js.gz)" -exec rm -f '{}' \;
find -E . -type f -regex ".*\.(css|txt|js)" -exec gzip -9vk '{}' \;
find -E . -type f -regex ".*\.(css|txt|js)" -exec sh -c "gzip -9vk '{}'; chown username '{}'" \;
find -E . -type f -regex ".*\.(gif|png)" -exec sh -c "gzip -9vk '{}'; chown username '{}'" \;


</code>

Поиск по содержимому

<code bash>
find . -name "*.sh" -exec grep -i -H "searchstring" {} \;


</code>

Копирование по маске

<code bash>
find . -name "*.csv" -exec cp -f "{}" "{}.old" \;


</code>


===== git =====

Создать новый репозиторий по ssh

<code bash>
touch README
git init
git add README
git commit -m "first commit"
git remote add origin ssh:gituser@git.repository.ru/path/to/gitfile.git
git push -u origin master


</code>

Push существующего репозитория по ssh

<code bash>
git remote add origin ssh:gituser@git.repository.ru/path/to/gitfile.git
git push -u origin master


</code>

Создать новый репозиторий по http

<code bash>
touch README
git init
git add README
git commit -m "first commit"
git remote add origin http://git.repository.ru/path/to/gitfile.git
git push -u origin master


</code>

Push существующего репозитория по http

<code bash>
git remote add origin http://git.repository.ru/path/to/gitfile.git
git push -u origin master


</code>

===== XML =====

Есть две популяные программы для обработки данных в формате XML:

  * [[http://xmlsoft.org/xmllint.html|xmllint]]
  * [[http://xmlstar.sourceforge.net/doc/UG/xmlstarlet-ug.html|xmlstarlet]]

==== xmllint ====

xmllint входит в состав библиотеки libxml. Однако мне больше приходилось работать со второй программой, поэтому для xmllint приведу лишь несколько примеров

Перекодировать xml-файл в кодироку utf-8: –encode utf-8. Удалить описание CDATA у данных (сами данные вывести): –nocdata. Отформатировать вывод для удобочитаемости: –format

<code bash>
xmllint --nocdata --format --encode utf-8 dump.xml>dump1.xml
</code>


Выбрать из документа XML все элементы ip, являющиеся подэлементами content
<code>
xmllint --xpath .//*/content/ip dump1.xml
</code>
Выбрать из документа XML все элементы параметры id, принадлежащие элементам content
<code>
xmllint --xpath .//*/content/@id dump1.xml
</code>

==== xmlstarlet ====

<file>
xmlstarlet [options...] {command} [cmd-options...]
</file>
У xmlstalet есть несколько команд, которые задают что именно программа должна делать. Основные команды:
  * ed (or edit) - позволяет редактировать предоставленный программе XML
  * sel (or select) - дает возможность делать выборку из XML по указанным критериям
  * val (or validate) - проверяет XML на предмет его согласованности
  * fo (or format) - форматирование XML-документа

В качестве данных для примера беру xml-файл от Роскомнадзора(РКН) dump.xml, который имеет примерно следующий формат:

<code xml>
<?xml version="1.0" encoding="utf-8"?>
<reg:register xmlns:reg="http://rsoc.ru" xmlns:tns="http://rsoc.ru" updateTime="2021-08-18T10:15:00+03:00" updateTimeUrgently="2021-08-17T19:30:00+03:00" formatVersion="2.4">
  <content id="656" includeTime="2012-11-24T15:34:17" entryType="1" hash="D0853C128D92ACB78FBDF6EB31F9EE72">
    <decision date="2012-11-14" number="2/1/11-168" org="ФСКН"/>
    <url>http://cannabay.org/</url>
    <domain>cannabay.org</domain>
    <ip>94.76.213.163</ip>
  </content>
  <content id="5081" includeTime="2014-02-17T19:20:19" entryType="1" blockType="domain" hash="5092484996B5516985016EAFA9F2A0C3">
    <decision date="2013-02-06" number="2/1/11-2350" org="ФСКН"/>
    <domain>www.weedy.be</domain>
    <ip>217.70.184.50</ip>
  </content>

...

</reg:register>


</code>

Это очень большой XML-файл и имеет очень непростую структуру. Если научиться разбирать такой файл с данными, то любые другие xml-данные покажутся совсем простыми.

Файл содержит множество записей content у которых есть id - определяющий номер записи в списке РКН. Также может быть указан тип записи blockType (domain,ip,domain-mask), если он не указан, то значит тип - URL.

=== форматирование ===
Перекодировать и переформатировать исходный XML

Описание опций команды:
  * -n - не делать отступы перед элементами
  * -o - не выводить блок <?xml version="1.0"?>
  * -C - секции, описанные как CDATA выводить просто текстом
  * -N - удалять избыточные пространства имен
  * -e utf-8 - вывод команды в кодировке utf-8
<file bash>
xmlstarlet fo -n -o -C -N -e utf-8 dump.xml >dump1.xml
</file>

=== редактирование ===
Удалить из документа блоки decision внутри content, а также потереть в блоках content атрибуты includeTime, entryType, hash
<file bash>
xmlstarlet ed -d "//content/decision" -d "//content/@includeTime" -d "//content/@entryType" -d "//content/@hash" dump.xml >dump1.xml
</file>
=== выборка содержимого ===
Для начала сделаем список всех типов записей content. Обратим внимание на первую пустую строку в выводе команды - это и есть вышеупомянутый тип URL
<code bash>
$ xmlstarlet sel -t -m "//content" -v "@blockType" -n dump.xml |sort|uniq

domain
domain-mask
ip
</code>

Выбрать значения элементов блока content с атрибутом id="7143"
<file bash>
xmlstarlet sel -T -t -m '//content[@id="7143"]' -v "*" dump.xml
</file>

Выбрать все ip-адреса из блока content с атрибутом id="7143". Вывести в формате "ip:1.1.1.1" по одной записи на строку
<file bash>
xmlstarlet sel -t -m '//content[@id="7143"]' -m ip -v "concat('ip:',self::ip)" -n  dump.xml
</file>
Содержимое всех элементов в одну строку
<file bash>
xmlstarlet sel -t -m '//content[@id="7143"]' -v self::content -n dump.xml
</file>

Вывести содержимое блока content с атрибутом id="7143" в одну строку и то же самое, но в отформатированном виде
<file bash>
xmlstarlet sel -t -m '//content[@id="7143"]' -c self::content -n dump.xml
xmlstarlet sel -t -m '//content[@id="7143"]' -c self::content -n dump.xml|xmlstarlet fo -o
</file>
Выше был пример вывода ip-адресов заданного блока. А теперь выведем большее число значений элементов
<file bash>
xmlstarlet sel -t -m '//content[@id="7143"]' -v "concat('id:',@id,' blockType:',@blockType)" -n -m ip -v "concat('ip:',self::ip)" -n -b -m domain -v "concat('domain:',self::domain)" -n  dump.xml
</file>

Ну и сконвертируем весь файл в более удобочитаемый текстовый формат (в выбору включены не все элементы, а только url,domain,ip,ipSubnet)
<file bash>
xmlstarlet sel -t -m '//content' -n -v "concat('id:',@id,' blockType:',@blockType)" -n -m url -v "concat('url:',self::url)" -n -b -m domain -v "concat('domain:',self::domain)" -n -b -m ip -v "concat('ip:',self::ip)" -n -b -m ipSubnet -v "concat('ipSubnet:',self::ipSubnet)" -n dump.xml > dump.txt
</file>

===== JSON =====

[[https://stedolan.github.io/jq/manual/|jq manual]]

===== Управление GSM-модемом =====

<file bash>
gnokii --identify
gnokii --monitor once
</file>

<file bash>
LANG=ru_RU.UTF-8 echo "TEST" | /usr/bin/gnokii --config /etc/gnokii/gnokii/config --sendsms "+79XXXXXXXXX" --smsc "+79XXXXXXXXX"
</file>

===== hping =====
Пинг TCP-пакетами

<file bash>
apt install hping3
hping3 -S -p 80 google.com
HPING google.com (tun0 216.58.210.142): S set, 40 headers + 0 data bytes
len=44 ip=216.58.210.142 ttl=120 DF id=0 sport=80 flags=SA seq=0 win=65535 rtt=55.6 ms
len=44 ip=216.58.210.142 ttl=120 DF id=0 sport=80 flags=SA seq=1 win=65535 rtt=55.4 ms
len=44 ip=216.58.210.142 ttl=120 DF id=0 sport=80 flags=SA seq=2 win=65535 rtt=51.2 ms
len=44 ip=216.58.210.142 ttl=120 DF id=0 sport=80 flags=SA seq=3 win=65535 rtt=51.0 ms
</file>

{{tag>linux unix}}