{"data":{"site":{"siteMetadata":{"author":{"name":"khtinsoft"},"disqusShortname":"khtinsoft","subtitle":"Blogs for developments and divings.","title":"Blog by khtinsoft","url":"https://blog.khtinsoft.xyz"}},"markdownRemark":{"id":"b700802e-91e1-5d32-8561-d3f921b85618","html":"

Introduction

\n

현재 운영중인 서비스의 다양한 로그들을 모으고, 활용하기 위한 첫번째 단계로 ELK (ElasticSearch-Logstash-Kibana) 스택을 구축하게 되었다.\nUbuntu 18.04 EC2 Instance에 ELK Stack을 구축하는 방식으로 기록한다.

\n

우선 목표는, 구축된 ELK 스택을 통해, Amazon S3에 적재되고 있는 Load Balance의 Access Log를 Kibana에서 확인하는 것이다.

\n

Prerequisites

\n

ELK 스택 구축에 앞서, Ubuntu 18.04 EC2 인스턴스를 생성하고, 해당 인스턴스에 Oracle Java 8 버전을 설치한다.

\n

(참고 : How to install Java on Ubuntu 18.04 Bionic Beaver Linux)

\n
$ sudo add-apt-repository ppa:webupd8team/java\n$ sudo apt-get update\n$ sudo apt-get install oracle-java8-set-default\n$ java --version # Java 설치 확인
\n

Install and Configure the ElasticSearch

\n

ElasticSearch는 현재 Ubuntu 공식 패키지 저장소에서 제공되지 않는다. 따라서, Debian Package를 직접 다운받아 설치하는 것과, Elastic의 Source List를 추가하여, apt를 통해 설치하는 방법이 있다.\n패키지 관리의 편의성을 위해 apt를 통해 설치하는 방법을 사용한다.

\n

우선은, ElasticSearch GPG key를 임포트 한다.

\n
$ wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -\nOK
\n

Elastic의 Source List를 sources.list.d 폴더에 추가한다.

\n
$ echo \"deb https://artifacts.elastic.co/packages/6.x/apt stable main\" | sudo tee -a /etc/apt/sources.list.d/elastic-6.x.list\ndeb https://artifacts.elastic.co/packages/6.x/apt stable main
\n

APT 업데이트 및 elasticsearch를 설치

\n
$ sudo apt update\n$ sudo apt install elasticsearch
\n

Elastic Search에 대한 외부 Access를 제한하기 위해, Elastic Search의 Configuration 파일의 network.host 값을 아래와 같이 수정한다.

\n
network.host: localhost
\n

Systemctl을 통해 elasticsearch 서비스를 실행하고, 서버 부팅 시 자동 실행되도록 한다.

\n
$ sudo systemctl start elasticsearch\n$ sudo systemctl enable elasticsearch\nSynchronizing state of elasticsearch.service with SysV service script with /lib/systemd/systemd-sysv-install.\nExecuting: /lib/systemd/systemd-sysv-install enable elasticsearch\nCreated symlink /etc/systemd/system/multi-user.target.wants/elasticsearch.service → /usr/lib/systemd/system/elasticsearch.service.
\n

Curl 명령어를 통해, elasticsearch의 동작 여부를 확인한다.

\n
$ curl -X GET \"localhost:9200\"\n{\n  \"name\" : \"-cBxsVl\",\n  \"cluster_name\" : \"elasticsearch\",\n  \"cluster_uuid\" : \"zYITLxSjTo2Y_S6kUOvc6Q\",\n  \"version\" : {\n    \"number\" : \"6.7.1\",\n    \"build_flavor\" : \"default\",\n    \"build_type\" : \"deb\",\n    \"build_hash\" : \"2f32220\",\n    \"build_date\" : \"2019-04-02T15:59:27.961366Z\",\n    \"build_snapshot\" : false,\n    \"lucene_version\" : \"7.7.0\",\n    \"minimum_wire_compatibility_version\" : \"5.6.0\",\n    \"minimum_index_compatibility_version\" : \"5.0.0\"\n  },\n  \"tagline\" : \"You Know, for Search\"\n}
\n

Install and Configure the Kibana Dashboard

\n

Install Kibana

\n

이전에 추가한 Elastic 패키지의 Source를 통해, kibana를 설치할 수 있다. elasticsearch와 마찬가지로, systemctl을 통해 서비스를 실행하고, 서버 부팅시 자동 실행되도록 한다.

\n
$ sudo apt install kibana\n$ sudo systemctl start kibana\n$ sudo systemctl enable kibana
\n

Install and Configure Nginx

\n

Kibana Dashboard를 Nginx를 통해 서빙할 것이므로, Nginx를 설치한다. 간단한 인증 기능을 함께 추가하기 위해 apache2-utils 패키지도 함께 설치한다.\nNginx에서 사용될 ID/Password를 설정한다.

\n
$ sudo apt-get install -y nginx apache2-utils\n$ sudo htpasswd -c /etc/nginx/htpasswd.users admin
\n

Nginx의 Reverse Proxy를 설정한다. (여기서는 example.com 이라는 호스트명을 가정한다.)

\n
$ sudo vi /etc/nginx/site-available/example.com\n\n/etc/nginx/site-available/example.com\nserver {\n    listen 80;\n\n    server_name example.com;\n\n    auth_basic \"Restricted Access\";\n    auth_basic_user_file /etc/nginx/htpasswd.users;\n\n    location / {\n        proxy_pass http://localhost:5601;\n        proxy_http_version 1.1;\n        proxy_set_header Upgrade $http_upgrade;\n        proxy_set_header Connection 'upgrade';\n        proxy_set_header Host $host;\n        proxy_cache_bypass $http_upgrade;\n    }\n}\n\n$ sudo ln -s /etc/nginx/sites-available/example.com /etc/nginx/sites-enabled/example.com\n$ sudo nginx -t \nnginx: the configuration file /etc/nginx/nginx.conf syntax is ok\nnginx: configuration file /etc/nginx/nginx.conf test is successful\n\n$ sudo systemctl restart nginx
\n

설치가 완료되면, http://example.com/status 로 접속해 kibana 동작 여부를 확인한다. 이때 로그인을 필요로 하는데, 위에서 생성한 아이디와 비밀번호를 사용한다.

\n

\"login\"\n\"kibana\"

\n

Install and Configure Logstash

\n

Logstash도 마찬가지로 APT를 통해 설치할 수 있다.

\n
$ sudo apt install logstash
\n

Logstash를 아래와 같이 설정한다.

\n
$ sudo vi /etc/logstash/conf.d/s3.conf\n\n/etc/logstash/conf.d/s3.conf\ninput {\n\ts3 {\n\t\tbucket => \"BUCKET_NAME\"\n\t\tregion => \"REGION\"\n\t\taccess_key_id => \"ACCESS_KEY_ID\"\n\t\tsecret_access_key => \"ACCESS_KEY_SECRET\"\n\t}\n}\n\nfilter {\n\tgrok {\n\t\tmatch => { \"message\" => \"%{COMBINEDAPACHELOG}\" } \n\t}\n}\n\noutput {\n\telasticsearch {\n\t\t\thosts => [\"localhost:9200\"]\n\t\t\tindex => \"elb_logs\"\n\t}\n}\n\n$ sudo -u logstash /usr/share/logstash/bin/logstash --path.settings /etc/logstash -t  # Test Configure
\n

Logstash 서버를 실행한다.

\n
$ sudo systemctl start logstash
\n

Validation

\n

Logstash가 실행되고, 약간의 잠시 기다리면 kibana를 통해 로그 데이터가 elasticsearch에 반영되었음을 확인할 수 있다.

\n

kibana > management > Index Patterns 메뉴에서, Create Index Pattern버튼을 누르고, Logstash에서 설정한 index 이름(elb_logs)를 입력한다.

\n

\"kibana2\"\nIndex Pattern 생성

\n

\"kibana3\"\nTimestamp 필드 설정

\n

\"kibana4\"\nDiscover 메뉴에서 로그 데이터 확인

\n

References

\n

AWS ELB Logs from S3 on ELK stack,
\nHow To Install Elasticsearch, Logstash, and Kibana on Ubuntu 18.04

\n

Trouble Shooting

\n

[FORBIDDEN/12/index read-only / allow delete (api)] 오류

\n

kibana에서 Index Pattern을 추가하려고 할 때, 아무런 반응이 일어나지 않는 경우, Chrome Developer 메뉴의 Console 출력을 보니 위와 같은 메세지가 있었다.\nkibana에서 Index Pattern을 삭제하려고 할 때, 마찬가지의 메세지가 kibana 상에 출력되었다.

\n

이 메세지는, 현재 인스턴스의 Disk Space가 특정 Threshold를 넘어가면, elasticsearch가 Read-Only 모드로 바뀌게 되어 발생하는 메세지로, 인스턴스의 디스크 크기를 늘려주고 아래와 같은 명령어를 kibana > dev tool에서 실행시켜줘야 한다.

\n
PUT _all/_settings\n{\n  "index": {\n    "blocks": {\n      "read_only_allow_delete": false\n    }\n  }\n}
\n

grok Filter Customization

\n

사전의 정의된 grok filter 외에도, 정규표현식/grok pattern 등을 활용 하여 필터링을 수행할 수 있다. 이때 Grok Constructor를 활용하여 쉽게 테스트해볼 수 있다.

","fields":{"slug":"/posts/build-elk-on-ubuntu/","tagSlugs":["/tag/elk/","/tag/elastic-search/","/tag/logstash/","/tag/kibana/","/tag/ubuntu/"]},"frontmatter":{"date":"2019-04-08","description":"Ubuntu 18.04 서버에 ELK (ElasticSearch-LogStash-Kibana) 스택을 구성한다. S3에 적재되고 있는 Load Balance의 로그 파일을 확인한다.","tags":["ELK","ElasticSearch","Logstash","Kibana","Ubuntu"],"title":"Ubuntu 18.04 ELK Stack 구축"}}},"pageContext":{"isCreatedByStatefulCreatePages":false,"slug":"/posts/build-elk-on-ubuntu/"}}