Elasticsearchについて

社内技術勉強会資料 2022年9月29日 19:00~20:00

作成者 Aoki Yuichiro

作成日 2022/9/29

更新日 2022/9/29

Elasticsearchは、オープンソースの分散検索/分析エンジンで、Apache Lucene を基盤として構築されています。大量のデータの高速な検索、関連性の細かな調整、検索の高度な分析などが可能になります。スキーマレスのJson形式でデータを追加し、RESTfulインターフェイスで検索します。通常版とElasticsearch Enterprise版があります。Enterprise版ではElastic App Searchというより高度な検索機能を使うことができます。その他に組織全体で様々なアプリケーションの検索ができるWorkplace Searchなどもあります。

KibanaはElasticsearchの統合機能群であるElastic Stackのユーザーインターフェイスです。検索の分析、可視化、各アプリケーションとの連携、設定などができます。

デモ

引用

https://dev.classmethod.jp/articles/elastic-stack-for-beginners/

Apache Luceneとは

Javaで書かれたオープンソースの検索エンジンライブラリです。Elasticsearchの内部で使用されておりinverted indexという構成により高速でスケーラブルな検索を可能にしています。

Inverted Index

inverted indexを作成するにはドキュメントを ”term” または “token” と呼ばれる単語単位に分割し、並び替えたユニークなtermのリストを作成します。

例

The quick brown fox jumped over the lazy dog

Quick brown foxes leap over lazy dogs in summer


Term      Doc_1  Doc_2
-------------------------
Quick   |       |  X
The     |   X   |
brown   |   X   |  X
dog     |   X   |
dogs    |       |  X
fox     |   X   |
foxes   |       |  X
in      |       |  X
jumped  |   X   |
lazy    |   X   |  X
leap    |       |  X
over    |   X   |  X
quick   |   X   |
summer  |       |  X
the     |   X   |
------------------------

“quick brown” を検索する場合は以下のような結果になります。naive similarity algorithmを採用する場合は単語が出てくる数を数え、多い方がよりクエリに対して関連性があるとします。以下の例ではDoc_1のようがより関連性があることになります。


Term      Doc_1  Doc_2
-------------------------
brown   |   X   |  X
quick   |   X   |
------------------------
Total   |   2   |  1

大文字小文字の区別の設定や関連する単語を設定することにより検索の精度を上げることができます。

参考

Elasticsearchを理解するためにLuceneを使った検索エンジン構築に入門してみた - 好奇心に殺される。- pon のテックブログ

https://www.elastic.co/guide/en/elasticsearch/guide/current/inverted-index.html

日本語での検索

デフォルトで日本語は一文字ずつ分割してinverted indexを作成してしまうため、Japanese (kuromoji) Analysis pluginをインストールしanalyzerをこちらを指定する必要があります。これにより日本語の単語ごとにインデックスが作成されます。

https://www.elastic.co/guide/en/elasticsearch/plugins/current/analysis-kuromoji.html

ディスクに書き込まれたinverted indexはイミュータブルです。これにより以下のメリットがあります。

ロッキングする必要がない

インデックスがkernelのファイルシステムキャッシュに読み込まれた場合、次からはディスクから読み込まずメモリから読み込むことができパフォーマンスが飛躍的に向上する

その他のキャッシュ（フィルターキャッシュなど）がデータが変化しないため繰り返し使える

ひとつのサイズの大きいinverted indexはデータが圧縮されるため、ディスクI/Oのコストを減らしたりインデックスをキャッシュするRAMを減らすことができる

https://www.elastic.co/guide/en/elasticsearch/guide/current/making-text-searchable.html#_immutability

分散検索の仕組み

Query Phase

query phaseでは送られたクエリはインデックス内のそれぞれのシャードに（primaryかreplica shard）に送られ、それぞれローカルで検索処理を実行しマッチするドキュメントの priority queue を作成します。priority queueの大きさはクエリのページネーションのパラメータによって決まり、例えば以下のように90番目から10件のドキュメントを検索する場合は100件のpriority queueを作成します。


GET /_search
{
    "from": 90,
    "size": 10
}

クライエントからNode 3にクエリが届き、from, sizeのパラメータを元に空のpriority queueを作成

Node 3がそれぞれのシェードのprimary shardかreplica shardへリクエストを送り、それぞれのシャードが検索をローカルで実行しfrom, sizeパラメータを元にpriority queueを作成

それぞれのシャードがドキュメントID、並び替えの値が入ったpriority queueをNode 3に返し、Node 3がそれらをまとめ並び替えの処理を行う

https://www.elastic.co/guide/en/elasticsearch/guide/current/_query_phase.html

Fetch Phase

fetch phaseではマッチしたドキュメントを取得します。

coordinating node（リクエストを送られたノード、上記ではNode 3）がどのドキュメントを取得するか判断し、それらに関係するシャードに複数回GETリクエストを送信

それぞれのシャードがドキュメントをcoordinating nodeに返す

全てのドキュメントが取得できた後、coordinating nodeがクライエントに結果を返す

https://www.elastic.co/guide/en/elasticsearch/guide/current/_fetch_phase.html

特徴

拡張性

クラスタ構成で拡張でき、データの冗長化や安定的な運用ができます。以下のようにシャーディングによってインデックスの読み書きのパフォーマンスを高速にします。それぞれのシャードがLuceneインデックスのインスタンスとなっており、データをインデックス化しクエリを一部処理します。

Cluster: ノードの集合体

Node: Elasticsearchのインスタンス

Index: クラスタ内でシャードで構成されるドキュメントのコンテナ

Shard: Luceneインデックスのインスタンス、primary shards, バックアップのためのreplica shardsなどがある

Document: インデックスに属するJson形式のデータ

各ノードのコア、スレッドを使用し並列でデータをシャードに追加できる

上記のように分散して検索ができ、一つのノードが落ちた場合でもreplica shardによりデータが失われないようになっている

構成例

https://www.elastic.co/webinars/getting-started-elasticsearch

How many shards should I have in my Elasticsearch cluster? | Elastic Blog

追加したドキュメントがニアリアルタイムで検索可能

新しく追加したドキュメントはほぼリアルタイム（1秒以内）で検索可能となります。

https://www.elastic.co/guide/en/elasticsearch/guide/current/near-real-time.html

k-nearest neighbor (kNN)

ドキュメントにベクトルを追加することでk-nearest neighbor (kNN)検索が可能です。以下の２つの方法でkNN検索ができます。

Exact kNN

全探索するため精度は確かですが、大きいデータセットではうまくスケールしません。検索結果の数を制限したり、条件で絞り込みすることでパフォーマンスが向上します。

Approximate kNN

インデックスの時間がかかることと精度が完璧でないという点と引き換えに高速な探索が可能です。現時点では（2022/9/28）プレビュー段階のため仕様が変更になったり削除される可能性もあります。クエリで指定するnum_candidatesを増やすと、精度が上がる代わりに探索により時間がかかります。HNSW algorithm を採用しており他のkNN探索アルゴリズムと同様に精度を犠牲にして探索時間を高速にしているため必ずしも結果が正しいとは限りません。

文字一致と併用して検索することができ、その際は重み（boost）を加え結果を調整します。

例　"mountain lake" というワードと [54, 10, -2] というimage-vectorでクエリ


POST image-index/_search
{
  "query": {
    "match": {
      "title": {
        "query": "mountain lake",
        "boost": 0.9
      }
    }
  },
  "knn": {
    "field": "image-vector",
    "query_vector": [54, 10, -2],
    "k": 5,
    "num_candidates": 50,
    "boost": 0.1
  },
  "size": 10
}

score = 0.9 * match_score + 0.1 * knn_score

boostが重みとなり上記のような重みを掛け合わせた合計がscoreとなり、この順に結果を返します。

https://www.elastic.co/guide/en/elasticsearch/reference/current/knn-search.html#knn-prereqs

高度な分析、可視化ツール

ElasticsearchのユーザーインターフェイスであるKibanaはElasticsearchへインポートされたデータの可視化を簡単することができます。また検索のみならず、データ取り込みのプラットフォームであるBeatsやデータ処理のパイプラインであるLogstashを用いてサーバーのログ、売上状況など様々なデータを可視化する用途としても使われています。

App Search

Elastic Enterprise版ではより高度な検索機能を備えたApp Searchを使うことができます。

検索クエリの分析

検索されたワードや件数などの分析を行うことができます。

検索の関連性のチューニング

重みのチューニングの設定ができます。

キュレーション

ある検索ワードに対して上位に結果を返すドキュメントや反対に結果から隠すドキュメントを設定することができます。

同義語

同義語を登録することでその同義語でもマッチした検索結果を返すようになります。

UIのインターフェイス

オープンソースのSearch UIというReactのコンポーネントが用意されており、こちらを用いて簡単にReactのアプリケーションに検索のUIを取り込むことができます。App Searchのコンポーネントとプレビュー段階の通常版のコンポーネントがあります。タイプするごとに検索されるsearch-as-you-type機能、入力予測、条件絞り込みのチェックボックス、ページネーション、検索されたワードのハイライトなどの機能があります。

デモ

MongoDBのデータを同期

Goで書かれたオープンソースのMonstacheを使い、MongoDBのデータをElasticsearchへインポートすることができます。その際にMonstacheはMongoDBが発するイベントログのOplogでElasticsearchと同期するため、MongoDBをreplica setでデプロイする必要があります。

Convert a Standalone to a Replica Set — MongoDB Manual

GitHub - rwynn/monstache: a go daemon that syncs MongoDB to Elasticsearch in realtime. you know, for search.

参考

Algolia vs Elasticsearch vs Meilisearch vs Typesense Comparison

https://www.elastic.co/guide/en/elasticsearch/guide/current/getting-started.html