シェル芸スパルタン演習(第13回シェル芸勉強会編)
ここ最近、Unixシェルに触る機会が減っており、CLIを使う能力の低下を感じていた。
また、近日中に、第25回シェル芸勉強会の開催が予定されており、参加するにあたり予習をしたいとも考えていた。
そこで、過去に開催されたシェル芸勉強会の問題を活用し、シェル芸力をつける演習をおこなうことにした。
今回は、問題として、第13回シェル芸勉強会の設問を用いた。
実行環境
Arch Linux 4.8.4-1-ARCH
GNU bash 4.3.46
GNU coreutils 8.25-2
GNU diffutils 3.5-1
GNU findutils 4.6.0-2
util-linux 2.28.2-1
grep (GNU grep) 2.26
GNU bc 1.06.95
sed (GNU sed) 4.2.2
gawk 4.1.4
usp Personal Tukubai 20160402 ( Open usp Tukubaiで代用可能)
シェル芸演習
問題文は、以下のURLから。
http://blog.ueda.asia/?p=4051
模範解答は、こちらから。
http://blog.ueda.asia/?p=3792
問1
非UTFなエンコーディングのファイルから、特定の文字列を含むものを探す問題。
nkfでUTF-8に変換するだけ。
ただし、それだけだとファイル名が分からないので、nkfで変換するコマンド列を生成＆実行する。
01 #!/bin/sh
02
03 ls |
04 sed 's/.*/echo -n &; nkf -Lu &/' |
05 sh |
06 grep 'きく' |
07 awk -vFS= '$0=$1'以下、コピペ実行用のワンライナーコード。
ls | sed 's/.*/echo -n &; nkf -Lu &/' | sh | grep 'きく' | awk -vFS= '$0=$1'問2
ディレクトリ毎にファイル数をカウントする問題。
findコマンドでパス付きでファイルを取得し、awkの連想配列を利用して集計する。
01 #!/bin/sh
02
03 find . |
04 tr '/' ' ' |
05 awk '{NF==3 ? arr[$2]++ : arr[$2]=0} END{for(n in arr){print n,arr[n]}}'以下、コピペ実行用のワンライナーコード。
find . | tr '/' ' ' | awk '{NF==3 ? arr[$2]++ : arr[$2]=0} END{for(n in arr){print n,arr[n]}}'問3
特定ディレクトリ配下にあるファイルの総数を求める問題。
これも、findでパス付きでファイル一覧を取得し、awkの連想配列を用いて集計する。
01 #!/bin/sh
02
03 find . |
04 sed '/[^0-9]$/d' |
05 awk -F/ '{d[$2]++} END{for(n in d){print n,d[n]}}'以下、コピペ実行用のワンライナーコード。
find . | sed '/[^0-9]$/d' | awk -F/ '{d[$2]++} END{for(n in d){print n,d[n]}}'問4
ファイルを、ファイル名にしたがってディレクトリに分類する問題。
全ファイルリストを出力した後、該当する曜日を生成、ディレクトリの作成とファイルの移動をおこなうコマンド列を生成する。
01 #!/bin/sh
02
03 ls |
04 xargs -I@ date -d @ '+%a %Y%m%d' |
05 awk '{print "mkdir",$1,"2>/dev/null ;","mv",$2,$1}' |
06 sh以下、コピペ実行用のワンライナーコード。
ls | xargs -I@ date -d @ '+%a %Y%m%d' | awk '{print "mkdir",$1,"2>/dev/null ;","mv",$2,$1}' | sh問5
問4と同様に、ファイルを分類する問題。
findでファイルを列挙し、該当するディレクトリに移動するコマンド列を生成する。
01 #!/bin/sh
02
03 find . -type f |
04 sed 's;.*/\([a-c]\)\(0[1-4]\); mv & \1/\1\2;' |
05 sh以下、コピペ実行用のワンライナーコード。
find . -type f | sed 's;.*/\([a-c]\)\(0[1-4]\); mv & \1/\1\2;' | sh問6
同じくファイル・ディレクトリ操作の問題。
findでファイルリストを取得した後、コマンド列を生成していく。
01 #!/bin/sh
02
03 find . -type f |
04 tr '/' ' ' |
05 sort -k 2,2 -k 3,3nr |
06 awk '$2!=o2{print; o2=$2}' |
07 tr ' ' '/' |
08 sed 's;.*;mv & ./;' |
09 sh以下、コピペ実行用のワンライナーコード。
find . -type f | tr '/' ' ' | sort -k 2,2 -k 3,3nr | awk '$2!=o2{print; o2=$2}' | tr ' ' '/' | sed 's;.*;mv & ./;' | sh問7
タイムスタンプが最新のファイルのみを、コピーする問題。
各ディレクトリについて、ls -tを実行し、その中から先頭のものを取り出せばOK。
01 #!/bin/bash
02
03 echo {a,b,c} |
04 xargs ls -t |
05 sed -n '/:/{N; s@:\n@/@; p}' |
06 xargs -I@ cp -p @ ./以下、コピペ実行用のワンライナーコード。
echo {a,b,c} | xargs ls -t | sed -n '/:/{N; s@:\n@/@; p}' | xargs -I@ cp -p @ ./問8
ファイルをローテートする問題。
単純にファイル名をずらしてリネームするだけだと、最後のファイルで失敗する。
なので、一時ファイルを作って対応する。
01 #!/bin/bash
02
03 paste <(seq 1 5) <(seq 2 5; echo 1) |
04 awk '{print $1,"mv","file"$1,"file"$1$2; print $1*10,"mv","file"$1$2,"file"$2}' |
05 sort -k 1,1n |
06 awk '{print $2,$3,$4}' |
07 sh別バージョン。
ファイルの末尾と中身が一致している事を利用する。
ファイルをリネームするのではなく、ファイル名と中身がずれるようにして、ファイルを生成する。
01 #!/bin/sh
02
03 (seq 2 5; echo 1) |
04 awk '{print "echo",$1,"> file"($1!=1 ? $1-1 : 5)}' |
05 sh以下、コピペ実行用のワンライナーコード。
paste <(seq 1 5) <(seq 2 5; echo 1) | awk '{print $1,"mv","file"$1,"file"$1$2; print $1*10,"mv","file"$1$2,"file"$2}' | sort -k 1,1n | awk '{print $2,$3,$4}' | sh(seq 2 5; echo 1) | awk '{print "echo",$1,"> file"($1!=1 ? $1-1 : 5)}' | sh雑記
大きなにゃんこに抱きつきたいんじゃがー
アスカ劇場。イケメン、あくび、フレーメン、グダー。 2016.09.14(水) #東山動物園 #ジャガー アスカ pic.twitter.com/bEfM27pbhQ
— ginjiro (@gin_135) 2016年9月21日
