본문 바로가기

elasticsearch5

[ELK] 엘라스틱서치 샤딩, 이 정도는 알고 사용하자 안녕하세요. 황진성입니다. 오늘은 Elasticsearch에서 데이터를 나눠 저장하는 단위. 샤드에 대해 알아보고 샤딩을 제대로 사용하기 위해 알고 있으면 좋은 내용들에 대해 알아보겠습니다. 이 글을 이해하기 위해서는 엘라스틱서치 노드, 특히 데이터 노드가 무엇인지 알고 있는 것이 좋습니다. [ELK] 엘라스틱서치 클러스터를 구성하는 다양한 노드에 대해 알아보자 [ELK] 엘라스틱서치 데이터 노드를 효율적으로 관리하는 방법 이 글의 내용은 작성일 기준 최신 버전인 Elasticsearch 8.10 문서를 따라 작성됐습니다. 샤드란? Elasticsearch는 여러 대의 노드를 효율적으로 활용해서 분산 처리를 하기 위해 데이터를 샤드(Shard)라는 단위로 나눠서 분산 저장합니다. 데이터를 분산 저장하면 .. 2023. 11. 3.
[ELK] 엘라스틱서치 데이터 노드를 효율적으로 관리하는 방법 안녕하세요. 황진성입니다. 지난 글에 이어서 데이터 노드를 효율적으로 관리/활용하는 방법에 대해 알아보겠습니다. 연산이 많고 접근이 잦은 데이터와 거의 접근되지 않는 데이터를 분리하면 비용, 공간 측면에서 크게 절약할 수 있습니다. 주로 대용량 데이터를 다루는 상황이라면 차이가 극명하게 날텐데, Elasticsearch에서는 어떻게 이 문제를 해결하는지 알아봅시다. 혹시 독자님도 JVM based 언어를 많이 사용하시는지 ~? 저는 이번 글을 쓰면서 JVM GC 힙 영역의 Survivor1 + Survivor2 + Eden + Old 구조가 떠올랐습니다. 접근 확률에 따라 점점 밀어넣는 방식인데, 그림을 대충 보시고 아래 글을 읽으면 이해가 조금 더 빠를 것 같습니다 😁 이 글의 내용은 작성일 기준 최신.. 2023. 10. 24.
[ELK] 엘라스틱서치 클러스터를 구성하는 다양한 노드에 대해 알아보자 안녕하세요. 황진성입니다. 오늘은 Elasticsearch에서 클러스터를 구성하는 다양한 종류의 노드를 알아보고, 특히 마스터 노드가 선출되는 과정과 주의해야 할 점에 대해서도 알아보겠습니다. 이 글의 내용은 작성일 기준 최신 버전인 Elasticsearch 8.10 문서를 따라 작성됐습니다. 클러스터 구성에 앞서, 클러스터를 구성해야 하는 이유 일반적으로 클러스터는 여러 대의 컴퓨터를 병렬로 연결해서 마치 하나의 시스템인 것처럼 구성하는 것을 의미합니다. 클러스터를 구성하면 시스템 장애를 대비한 고가용성(High availability)을 높이는 동시에 시스템 성능도 높일 수 있습니다. Elasticsearch는 클러스터 구성에 필요한 여러 기능을 제공하고 있으며, 분산 처리를 지원하고 있기 때문에 굉.. 2023. 10. 17.
[ELK] 초심자를 위한 Elasticsearch, Logstash, Kibana를 Docker로 실행하기 안녕하세요. 황진성입니다. 지난 글에서 ELK Stack에 대한 간단한 설명과 설치/실행하는 방법에 대해 전해드렸는데, 이번글에서는 도커 컨테이너를 활용해서 ELK를 실행하는 방법을 전해드리려 합니다. 아래 프로젝트를 활용합니다. https://github.com/deviantony/docker-elk GitHub - deviantony/docker-elk: The Elastic stack (ELK) powered by Docker and Compose. The Elastic stack (ELK) powered by Docker and Compose. - GitHub - deviantony/docker-elk: The Elastic stack (ELK) powered by Docker and Compos.. 2023. 8. 20.
[ELK] Elasticsearch, Logstash, Kibana를 설치+실행하고 간단하게 알아보자 안녕하세요. 황진성입니다. 어쩌다 보니 갓 인싸 개발자 큰돌님과 함께 ELK 스터디를 진행하게 될 기회가 생겼는데, 스터디하면서 알게 된 내용, 실습한 내용, 삽질한 내용을 기록해보려 합니다. ELK란? Elasticsearch, Logstash, Kibana를 묶어서 ELK 혹은 ELK Stack이라고 부릅니다. 하지만 5 버전부터 Beats가 포함되며 Elastic Stack이라고 불립니다. 하지만 저는 ELK가 조금 더 직관적인 것 같아서 ELK라고 부르는 편입니다. 그렇다면 Elasticsearch, Logstash, Kibana, Beats가 뭐하는 서비스인지 궁금해집니다. (이미 너무 유명하니까) 하나씩 간단히만 알아봅시다. Elasticsearch Apache Lucene 기반의 Full-t.. 2023. 7. 23.

티스토리툴바