웹 개발과 관련된 모든 것들

참조 사이트 : http://www.ibm.com/developerworks/linux/library/l-awk1.html
http://www.ibm.com/developerworks/linux/library/l-awk2.html
http://www.ibm.com/developerworks/linux/library/l-awk3.html


AWK(오크) 시작하기

아래의 두개의 명령은 동일한 일을 합니다.

$ cat 명령을 통해 /etc/passwd 파일을 본뒤 실행해 보세요

$ awk '{ print }' /etc/passwd

$ awk '{ print $0 }' /etc/passwd

print 와 print $0 의 명령은 전체 라인을 나타내는 표현입니다.

다음 명령은 입력과 상관없이 출력을 할 때 사용한다.

$ awk '{ print "" }' /etc/passwd

이 명령은 빈공간을 출력한다. (입력되는 /etc/passwd 파일의 내용과는 상관없이)

$ awk '{ print "hiya" }' /etc/passwd

위 명령 또한 입력되는 /etc/passwd 파일과는 상관없이 hiya 내용만 출력될 것이다. (전체 /etc/passwd파일의 라인수 만큼 )



- 여러 필드들

awk는 텍스트들을 여러개의 논리적 필드로 문자열들을 조작하기에 아주 좋습니다.

당신의 awk script 안에서 부터 각각의 필드들을 손쉬게 조작할 수 있습니다.

다음의 스크립드는 당신의 시스템으로부터 유터들의 정보를 출력합니다.

$ awk -F":" '{ print $1 }' /etc/passwd

-F 옵션은 : 문자열로 구분하여 필드를 분리합니다.  /etc/passwd 파일에서 : 구분자로 구분된 $1 (첫번째) 값을 출력합니다.

즉, root:x:0:0:root:/root:/bin/bash 와 같은 첫번째 입력값으로 부터 : 구분자로 분리한 첫번째 값 root 가 출력됩니다.

또다른 예제를 보자

$ awk -F":" '{ print $1 $3 }' /etc/passwd

출력 결과는 다음과 같다

halt7 operator11 root0 shutdown6 sync5 bin1 ....etc.

/etc/passwd의 첫번째와 세번째 필드값(사용자 이름 필드와 uid 필드값을 )을 AWK가 출력하는것을 볼수 있다.

스크립트 작업결과 두 개의 필드값 사이에 공백이 없어 완벽하지 않다.

다음의 명령은 두개의 필드 사이에 공백을 넣는다.

$ awk -F":" '{ print $1 " " $3 }' /etc/passwd

" " 공백 두개로 print를 사용해 문자를 연결 할 수 있고, 만약 필요하다면 다음과 같이 어떤 문자를 넣을 수도 있다.

$ awk -F":" '{ print "username: " $1 "\t\tuid:" $3" }' /etc/passwd

출력 결과는 다음과 같다 (\t 는 탭 명령이다.)

username: halt          uid:7 username: operator   uid:11 username: root         uid:0 username: shutdown uid:6 username: sync        uid:5 username: bin           uid:1 ....etc.

이 문서의 목적
AWK와 SED에 처음 발을 들여놓는 사람들을 위한 가이드라인이다. AWK나 SED의 모든 기능을 다루지는 않았고, 문서 곳곳에서 '그밖의 내용은 맨페이지를 참고하라'는 식의 말이 나온다. AWK와 SED에 필수적인 내용을 조감하기 위함이다.

현재 문서 버전
2009년 11월 24일 버전 <- 현재
2009년 11월 21일 버전

AWK와 SED는 사용하기 어렵다?
많은 이들이 AWK와 SED로 작성된 스크립트를 보고 해석하기 난해해 하는 이유는 많은 사용자들이 AWK와 SED가 프로그래밍 언어인지 모르기 때문이라 생각한다. 사용방법이 비교적 간단해서 금방 배울 수 있는 유틸리티와 혼동하여 "AWK나 SED도 유틸리티인데 이걸 공부할 필요까진 없다" 라고 착각하기 때문에, 유틸리티 치고는 AWK와 SED 는 어렵다고 손사래 치는 것이다. 그러나 AWK나 SED도 엄연히 프로그래밍 언어고 어느 정도의 지식이 있어야 사용할 수 있다. 하지만 언어치고는 습득에 걸리는 시간이 길지 않고, 이 짧은 문서에 많은 내용을 담을 수 있을만큼 알아야할 것이 많지 않기 때문에 어려울 거란 염려는 넣어두시라. ;)

작성자
정준영; 이 문서는 2009년 11월, 한주마다 열리는 HLUG 내부 세미나를 위한 발표자료를 토대로 작성하였다.

목차
I. AWK & SED 역사적 배경 (이 포스트에서 설명)
II. 정규표현식 소개 (이 포스트에서 설명)
III. AWK (이 포스트에서 설명)
IV. AWK Examples(이 포스트에서 설명)
V. SED (다음 포스트에서 설명)
VI. SED Examples(다음 포스트에서 설명)

I. AWK와 SED 배경

AWK와 SED는 정규표현식이 적용되지 않아도 작동하지만, 정규표현식을 사용하면 AWK와 SED로 할 수 있는 일이 훨씬 많아진다.

정규표현식이란 텍스트 안에 있는 복잡한 패턴을 표현하는 방법이다. 정규표현식은 정규식으로 줄여서 쓸 수 있고 regular expression은 regex 또는 regexp로 줄여서 쓸 수 있다. 발음하기는 regex가 편하고 레긱스 내지는 레직스라고 읽을 수 있다. 대체 regexp는 어떻게 발음하는지 모르겠다. 아시는 분은 제보 부탁드린다 ;^)

정규표현식은 automata theory와 formal language theory 연구에서 시작됐다. 그리고 최초로 정규표현식을 적용시킨 유틸리티는 Ken Thompson의 QED이다. 또한 나중에 Ken Thompson은 ed에도 정규표현식 기능을 넣었고 이로 인해 정규표현식이 널리 알려지게 됐다. 현재 정규식을 지원하는 유틸리티 중에 가장 유명한 것은 grep일 것이다. grep은 ed에 직접적으로 영향을 받았다. ed 명령어 g/re/p에서 그 이름을 따올 정도였으니까 말이다. 현재 다양한 에디터, 프로그래밍 언어 (특히 스크립팅 언어) 그리고 많은 텍스트 프로세싱 유틸리티들에서 정규표현식이 지원된다.

이 문서에서는 널리 쓰이는 AWK와 SED의 관용구들을 이해할만한 선에서 정규표현식의 일부를 소개한다. 그 선이라는 것은 내 경험을 바탕으로 정한 것이므로 절대 '정규표현식은 이게 전부다'라고 믿지는 말라 :P

누구나 워드 프로세서의 '찾기' 기능을 써본 적 있을 것이다. 정규표현식이 없는 '찾기'는 사용자가 입력한 스트링에 문자 그대로 정확히 매칭되는 단어 또는 문장만 찾을 수 있다. 그런데 정규표현식을 사용하면 '찾기' 기능에 "전체 텍스트 중에서 이러저렇게 생긴 부분을 찾아줘"라고 말할 수 있다. 다시 말하자면, "이 패턴을 가진 부분을 찾아라"라고 명령할 수 있다는 얘기다.

Characters and Character class

개요

Shell Programming 뿐만 아니라 기본적으로 로그 파일 변환 및 필터링시 유용하면 아주 강력한 Awk 유틸리티에 대한 일반적인 내용을 다룹니다.

---

문법

BEGIN : 실행하기전 전처리 단계 preprocess ROUTINE {} : 수행 END : 처리 후 수행

ex)

$ cat sedscr aa 90 bb 30 dd 99 $ cat sedscr | awk 'BEGIN{ sum = 0; print " "; } {sum += $2} END {print " : " sum}'   : 219

ex - file version)

$ cat sum.awk #!/bin/awk # # This Program is for Summing of exam_result. # # BEGIN : BEGIN { sum = 0; print " "; } # ROUTINE : { sum += $2; } # END : END { print " : " sum; average = sum / 3; print " : " average; } $ cat sedscr | awk -f sum.awk   : 219 : 73

　

---

내부 변수

FS : - Fields Seperator : BEGIN에서 재정의 함으로써 구분자를 바꿀수 있다. RS : - Records Seperator : BEGIN에서 재정의 함으로써 레코드 구분자를 바꿀 수 있다. NF : (Number of Fields) NR : (Number of Records) FNR : 입력파일이 여러개 인경우 현재 파일에서 NF를 표시한다. OFS : FS( Output Fields Seperator ). 출력시의 FS ORS : RS( Output Records Seperator ). 출력시의 RS FILENAME : 현재 파일명

　

---

기타

스크립트
　

패턴 {동작} 패턴, 동작 전체를 단일 따옴표로 묶어야한다. 특정 패턴에 대해 동작하게 한다. 패턴이 없으면 모든 레코드에 대해 동작한다. 패턴 /정규표현식/ : sed가 지원하지 않는것까지 모두 지원 비교연산 : 숫자 문자 비교 가능 패턴매칭연산 : ~ 일치하는 부분, !~ 일치하지 않는 부분 BEGIN : 레코드 읽기전 할일 END : 레코드 읽고 나서 할일

동작
　

모두 {}로 둘러싸여야한다. ex) > good이라는 문자열을 포함한 모든 레코드 출력 /good/ > good이라는 문자열을 포함한 첫번째 레코드 출력 /good/ {print $1} > 두개 이상의 필드를 가지는 모든 레코드 출력 NF > 2 > 한라인을 필드로, 빈라인을 레코드로 구분 BEGIN {FS="\n";RS=""} /good/ {++x} END {print x} { total += $2 } END { print "Total of $2: " , total } length($0) < 20 /* 라인의 길이가 20이하인 것 출력 */ NF == 4 && /^good/ NF > 0

연산자
　

산술 : =, +=, -=, *=, /=, %= 조건 : ? : 논리: ||, &&, ! 패턴: ~, !~ 비교 : <, <=, >, >=, !=,== 증감 : ++, -- 필드 참조 : $ 제어문 (C의 제어문과 같다) break continue do {실행} while (조건) exit for (관계형 배열의 요소) {실행} 펄의 foreach와 같다 if (조건) {실행} else {실행} return while

명령어

문자열연산 gsub(reg,s) : 정규식 r을 s로 치환 gsub(reg,s1,s2) : s2에서 정규식 r을 s1으로 대치한다. index(s1,s2) : s1에서 s2의 위치 넘겨줌 없음 0 length(arg) match(s,r) : r의 매칭되는 부분의 위치를 넘겨줌 split(string,array[,seperator]) : 구분자를 기준으로(디폴트 공백)해서 지정한 문자열을 배열로 만든다. sub(r,s), sub(r,s1,s2) : gsub와 동일하나 여러개 일치해도 처음것만 실행 substr(s,m) : s에서 m번째 부터 끝까지 문자 리터 substr(s,m,n) : m에서 n까지 tolower(str) touper(str) 수치 연산 atan2(x,y) : y/x의 arctangent 값을 라디안 단위로 넘겨준다. cos(x) exp(arg) int(arg) log(arg) rand() : 0과 1사이의 난수를 발생 sin(x) sqrt(arg) srand(expr) 입출력 프로세스 close(filename) : 지정한 파일 닫는다. close(cmd) : 명령어 파이프 닫는다 delete array?element : 지정한 배열 요소 지운다 getline() : 다음 레코드 읽어 들인다. getline?variable [< "filename"] : 파일에서 읽어 들인다. next : 다음 레코드(라인)을 입력받는다, getline과 비슷하지만 /패턴/동작을 새롭게 시작> 한다. print ?args ?> "filename" : 인자를 출력한다. printf "format" [,expressions] ?> "filename" : 형식에 맞춰 출력 sprintf (format [,expressions]) : 출력은 안하고 리턴만한다. system(command) : 시스템 내부 명령어 실행 예제 awk ' BEGIN { for (i = 1;i<=7,i++) print int(101*rand()) }' ls -l file1 file2 file3 | awk ' { x += $5 } ; END { print "Total bytes : " x } ' awk ' END { print NR } ' filename awk ' NR % 2 == 0 '

　

AWK가 뭐하는 거냐고 묻는다면, 간단하게 텍스트에서 원하는 결과들을 추려내고 정리해서, 원하는 형태의 결과물 텍스트를 만들고자 할 때 사용하는 툴이라고 말할 수 있을 것이다. 물론 펄(Perl)도 있지만 AWK 역시 대부분의 유닉스에 펄만큼이나 보편적으로 설치되어 있으며 아직까지 널리 사용되고 있다. 간단히 AWK를 소개하는 기사인 만큼, 너무 기본적이거나 복잡한 것들은 과감히 생략하고 독자들이 AWK에 관심을 가질 수 있도록 실습 가능한 흥미위주의 내용들을 몇 가지 다루어 볼까 한다.

일반적인 awk 의 사용법은 일반적으로 다음과 같은 형식이다.

awk <search pattern> {<program actions>}

		정규 표현식 완전 해부와 실습(개정판)

search pattern은 어떤 조건을 찾을 것인지를 기술하면 되는데, 정규표현식(regular expression)을 이용하면 된다. 검색조건은 생략할 수 있으며 이때는 모든 입력값이 처리대상이 된다. 정규표현식에 대해서 생소한 독자라면 『정규 표현식 완전 해부와 실습(개정판)』이나 『Regular Expression Pocket Reference』를 참고하기 바란다(한빛미디어에 기고하는 기사라서가 아니라 시중에 출간된 책 중에 정규표현식을 다루는 참고할만한 서적이 별로 없다).

이제부터는 독자들이 개인 또는 회사에서 아파치 웹 서버를 관리한다고 가정하고 기사를 진행해 보도록하겠다. 웹 서버의 응답속도가 느리다거나 뭔가 문제가 발생했다고 할 때, 기본적으로 스크립트를 약간 할 줄 안다면 보통 아파치 웹 서버 데몬을 찾을 때 다음과 같이 할 것이다.

ps -ef | grep httpd

이러면 ps -ef의 한 결과 중 httpd가 포함된 정보들이 주루룩 나올 것이다. 이는 awk를 이용해서 다음과 같이 할 수 있다.

ps -ef | awk '/httpd/ {print}'

혹은

ps -ef | awk '/httpd/ {print $0}'

$0 은 입력라인 전체를 의미한다.

단지 이것이 전부라면 awk를 이용할 필요가 전혀 없을 것이다. ps -ef의 결과 중 필요한 필드만을 취사선택해서 나타내고 싶다고 하자. 물론 ps 옵션을 수정해서 그렇게 나타내 보일 수도 있지만, 우리는 이것을 awk로 해보기로 하겠다. 왜? awk 입문을 위한 기사니까… 보통 ps -ef 를 하면 다음의 순서로 결과가 나온다.

UID         PID   PPID    C STIME    TTY             TIME CMD

이렇게 칸이 띄워져 있는 텍스트의 한 라인을 awk에 입력하면 awk는 띄워 쓰기 기준으로 각 토큰들을 $1, $2, $3 … 의 식으로 인식한다. 다음과 같은 문장이 입력된다면

1  철수  초등학생  10세

Awk 는 공백을 기준으로 토큰을 잘라내서 '1'은 $1, '철수' 는 $2, '초등학생' 은 $3, 그리고 '10세'는 $4와 같은 식으로 사용할 수 있다. 만약 ps -ef 의 결과 중 UID와 C만 출력하고 싶다면

ps -ef | awk '/httpd/ {print $1, $4}'

이와 같이 입력하면 된다. AWK에서는 BEGIN과 END를 이용해서 변수의 선언을 비롯한 초기화, 그리고 모든 처리가 끝났을 때 수행할 동작을 지정할 수 있다. httpd들의 UID, PID, C 필드를 출력하고, 마지막에 C필드들의 합(CPU의 사용시간)을 출력해 보고 싶다면 다음과 같이 입력한다.

ps -ef | awk '/httpd/ {print $1, $2, $4; sum += $4} END {print "sum = ", sum}'

		Regular Expression Pocket Reference

다음과 같은 식으로 결과가 나온다.

test4 24473 0.5
test4 24474 0.1
test4 24475 0.7
test4 24476 2.0
test4 24477 0.0
test4 26306 0.0
web1 87796 1.0
web1l 87800 10.0
web1 88186 0.0
web1 127437 0.0
web1 314856 0.0
sum =  14.3

awk로 처리해야 할 파일이 | 와 같이 파이프로 제공되지 않고 특정파일로 제공된다면 awk 뒤에 파일명을 적어주면 된다. test.txt 를 읽어서 뭔가를 처리하고 싶다면 다음과 같이 입력해주면 된다.

awk   'program_text'    test.txt

awk에서도 다른 유틸리티나 프로그래밍 언어와 같이 조건문을 제공한다. CPU 사용시간이 1이상인 프로세스들을 출력하고 그 합을 보고 싶다면 다음과 같은 형식으로 해주면 된다.

ps -ef | awk '/httpd/ {if ($4 >= 1) print $1, $2, $4; sum += $4} END {print "sum = ", sum}'

이번 기사에서는 간단하게 AWK를 소개하는 정도의 기사를 적어보았다. 다음에 시간이 허락된다면, 좀 더 복잡한 사용법과 함께 Awk와 함께 자주 사용되는 Sed에 대해서도 소개해 볼까한다.

 

-------------------------------------------------------------

원문 회손없이 올리다보니 여러가지 복잡미묘한 점이 있습니다.

양해하시길..

 

출처 :http://cafe.naver.com/javalove.cafe?iframe_url=/ArticleRead.nhn%3Farticleid=238