Elasticsearchについて

Apache Luceneとは

Inverted Index

1. The quick brown fox jumped over the lazy dog

2. Quick brown foxes leap over lazy dogs in summer

Term      Doc_1  Doc_2
-------------------------
Quick   |       |  X
The     |   X   |
brown   |   X   |  X
dog     |   X   |
dogs    |       |  X
fox     |   X   |
foxes   |       |  X
in      |       |  X
jumped  |   X   |
lazy    |   X   |  X
leap    |       |  X
over    |   X   |  X
quick   |   X   |
summer  |       |  X
the     |   X   |
------------------------

Term      Doc_1  Doc_2
-------------------------
brown   |   X   |  X
quick   |   X   |
------------------------
Total   |   2   |  1

• ロッキングする必要がない

• インデックスがkernelのファイルシステムキャッシュに読み込まれた場合、次からはディスクから読み込まずメモリから読み込むことができパフォーマンスが飛躍的に向上する

• その他のキャッシュ（フィルターキャッシュなど）がデータが変化しないため繰り返し使える

• ひとつのサイズの大きいinverted indexはデータが圧縮されるため、ディスクI/Oのコストを減らしたりインデックスをキャッシュするRAMを減らすことができる

分散検索の仕組み

GET /_search
{
    "from": 90,
    "size": 10
}

1. クライエントからNode 3にクエリが届き、from, sizeのパラメータを元に空のpriority queueを作成

2. Node 3がそれぞれのシェードのprimary shardかreplica shardへリクエストを送り、それぞれのシャードが検索をローカルで実行しfrom, sizeパラメータを元にpriority queueを作成

3. それぞれのシャードがドキュメントID、並び替えの値が入ったpriority queueをNode 3に返し、Node 3がそれらをまとめ並び替えの処理を行う

1. coordinating node（リクエストを送られたノード、上記ではNode 3）がどのドキュメントを取得するか判断し、それらに関係するシャードに複数回GETリクエストを送信

2. それぞれのシャードがドキュメントをcoordinating nodeに返す

3. 全てのドキュメントが取得できた後、coordinating nodeがクライエントに結果を返す

特徴

拡張性

追加したドキュメントがニアリアルタイムで検索可能

k-nearest neighbor (kNN)

POST image-index/_search
{
  "query": {
    "match": {
      "title": {
        "query": "mountain lake",
        "boost": 0.9
      }
    }
  },
  "knn": {
    "field": "image-vector",
    "query_vector": [54, 10, -2],
    "k": 5,
    "num_candidates": 50,
    "boost": 0.1
  },
  "size": 10
}

高度な分析、可視化ツール

App Search

UIのインターフェイス

MongoDBのデータを同期