オンプレミス環境でベクトル検索をしてみる（OpenSearch）

Document

オンプレミス環境でベクトル検索をしてみる（OpenSearch）

昨今、生成AIやLLMが話題ですが、より回答精度を上げる方法としてRAGという言葉をよく聞きます。
RAG（Retrieval-Augmented Generation）とは、ざっくりいうと、FAQなどのデータをデータベースに格納しておき、ユーザーからのインプットに対して最適な回答をデータベースから抽出し、その回答をもとにLLMに文章を生成させることで、より正確に回答を生成できるようにする方法になります。

RAG用のデータベースでは、ベクトル検索という手法が主に使われており、入力されたキーワードを全文検索するのではなく、類似度で検索をする形式が多いようです。
今回は、このベクトル検索について触れていきたいと思います。ただ、AzureやAWSなどのクラウドサービスを使えば容易に実現できる思いますが、少し勉強しながら構築したいのでオンプレミス環境に導入していこうと思います。

なお、私はデータベースにそこまで詳しくなく、見様見真似で進めているので、間違った解釈があるかもしれませんがご容赦ください。
ただベクトル検索に興味のある方の参考になれば幸いです。


データベースの準備

今回ベクトル検索可能なデータベースとして、OpenSearchを使ってみたいと思います。
クラウド環境では、ElasticsearchやOpenSearchの名前をよく見ます。調べてもこのあたりのデータベースが良さそうという理由で採用します。
ちなみに、このElasticsearchはOSSであったものの、色々商用問題などがあったようですね。。。

さっそく、OpenSearchを導入していきたいと思います。
環境は、Ubuntu22.04です。

  • Javaをインストールする

    • OpenSearchの利用にはJavaが必要なため、JDKをインストールします。
    利用するOpenSearchのバージョンにもよりますが、今回はJDK17をインストールしておきます。 

    sudo apt update
sudo apt install -y openjdk-17-jdk


  • OpenSearchの資材をダウンロードする

    • 続いて、OpenSearchの資材をダウンロードします。 

    wget https://artifacts.opensearch.org/releases/bundle/opensearch/2.18.0/opensearch-2.18.0-linux-x64.tar.gz


  • 展開して配置する

    • 先程ダウンロードした資材を展開して、展開したものを/usr/share配下に移動させていきます。 

    tar -xvf opensearch-2.18.0-linux-x64.tar.gz
sudo mkdir /usr/share/opensearch
sudo mv opensearch-2.18.0/* /usr/share/opensearch
    必要に応じて、/usr/share/opensearchの所有者を変えておいてください。rootのままだとファイル書き込みなどができない可能性があります。 
    sudo chown -R xxx:xxx /usr/share/opensearch


  • 日本語用にプラグインをインストールする

    • 下記コマンドでプラグインをインストールします。 

    sudo /usr/share/opensearch/bin/opensearch-plugin install analysis-kuromoji


  • 設定を弄る

    • デフォルトのままだとエラーが出て、起動しないことが多いので設定を変更します。

    sudo vi /usr/share/opensearch/config/opensearch.yml
    下記のように、Gatwayの前に1行「discovery.type: single-node」を、ファイルの末尾に1行「plugins.security.disabled: true」追加します。 
    discovery.type: single-node
# ---------------------------------- Gateway -----------------------------------
    plugins.security.disabled: true

    さらに、JVMの設定も変更します。 

    sudo vim /usr/share/opensearch/config/jvm.options
    ## -Xms1g
## -Xmx1g
-Xms4g
-Xmx4g


  • serviceファイルを作成して、自動起動させる

    • 設定変更ができたら起動させるために、サービスファイルを作成します。

    sudo vi /etc/systemd/system/opensearch.service
    中身は下記（ユーザー名とJAVA_HOMEはそれぞれの値を設定） 
    [Unit]
Description=OpenSearch

[Service]
User=xxxx
Type=simple
Environment="JAVA_HOME=/usr/lib/jvm/java-17-openjdk-amd64"
ExecStart=/usr/share/opensearch/bin/opensearch

[Install]
WantedBy=multi-user.target
    作成ができたら、有効化と起動をします。 
    sudo systemctl enable opensearch
sudo systemctl start opensearch
    最後にステータス確認をしてアクティブであることを確認します。 
    sudo systemctl status opensearch


    ベクトル検索用のプラグインを確認する

    ベクトル検索用にknnのプラグインもインストールするのですが、もしかすると初期からインストールされているかもしれないので、下記コマンドで確認します。 

    curl -X GET http://localhost:9200/_cat/plugins?v
    この結果で、「opensearch-knn 2.18.0.0が表示されればダウンロードは不要だと思います。表示されない場合はkuromojiのようにインストールします。

    なお、上記curlコマンドが正常に返ってくれば、OpenSearchも正常に稼働していることになります。


以上でOpenSearchのインストールは完了です。


PythonでOpenSearchを操作する

今回はPythonを使ってOpenSearchを弄っていきます。
まずは必要なライブラリをインストールします。 

pip3 install sentence-transformers opensearch-py

ライブラリのインストールができたら、さっそく操作をしていきます。

  1. indexを作成する

    2. 下記のコードでindexを作成します。
    今回は、ニュース記事のタイトルと本文、ベクトルデータを格納します。 

    from sentence_transformers import SentenceTransformer
from opensearchpy import OpenSearch, exceptions

# 設定
opensearch_host = "localhost"  # OpenSearchのホスト名
opensearch_port = 9200  # OpenSearchのポート番号
index_name = "news_articles_v2"  # インデックス名
model_name = "intfloat/multilingual-e5-large"

# Sentence Transformerモデルのロード
model = SentenceTransformer(model_name)

# OpenSearchクライアントの初期化
client = OpenSearch(
    hosts=[{'host': opensearch_host, 'port': opensearch_port}],
    http_auth=("admin", "admin"),  # 認証情報
    use_ssl=False, # SSL設定は必要に応じて変更
    verify_certs=False, # SSL検証は必要に応じて変更
    ssl_assert_hostname=False, # SSL検証は必要に応じて変更
)

# インデックス作成（既に存在する場合はスキップ）
if not client.indices.exists(index=index_name):
    client.indices.create(
        index=index_name,
        body={
            "mappings": {
                "properties": {
                    "title": {"type": "text"},
                    "data": {"type": "text"},
                    "embedding": {"type": "knn_vector", "dimension": 1024},  # Sentence Transformerの次元数
                }
            },
            "settings": {
                "index": {
                    "knn": True
                }
            }
        }
    )
client.close()
    ベクトル化のモデルとしては、intfloat/multilingual-e5-largeを利用しています。
    容量こそ大きいですが、色々弄っていて一番精度がよかったので採用しています。

  2. データを投入する

    3. indexが作成できたら、データを投入していきます。
    今回は、ニュース記事のタイトルと本文をそれぞれベクトル化し、8:2で平均化しています。 

    from sentence_transformers import SentenceTransformer
from opensearchpy import OpenSearch, exceptions
import os
import re

def preprocess_text(text):
    """テキストの前処理を行う関数"""

# 設定
opensearch_host = "localhost"  # OpenSearchのホスト名
opensearch_port = 9200  # OpenSearchのポート番号
index_name = "news_articles_v2"  # インデックス名
model_name = "intfloat/multilingual-e5-large"

# Sentence Transformerモデルのロード
model = SentenceTransformer(model_name)

# OpenSearchクライアントの初期化
client = OpenSearch(
    hosts=[{'host': opensearch_host, 'port': opensearch_port}],
    http_auth=("admin", "admin"),  # 認証情報
    use_ssl=False, # SSL設定は必要に応じて変更
    verify_certs=False, # SSL検証は必要に応じて変更
    ssl_assert_hostname=False, # SSL検証は必要に応じて変更
)

def create_combined_embedding(question, answer):
  question_embedding = model.encode(preprocess_text(question))
  answer_embedding = model.encode(preprocess_text(answer))

  # 重み付き平均化 (質問:0.7, 回答:0.3)
  combined_embedding = (0.7 * question_embedding) + (0.3 * answer_embedding)
  return combined_embedding.tolist()

def ingest_news(filepath):
    with open(filepath, 'r', encoding='utf-8') as f:
        for line in f:
            line_array = line.split(',')
            title = line_array[0].strip()
            data = line_array[1].strip()
            embedding = create_combined_embedding(preprocess_text(title), preprocess_text(data))
            doc = {
                "title": title,
                "data": data,
                "embedding": embedding
            }
            client.index(index=index_name, body=doc)
            print(f"Indexed: {title}")
    client.indices.refresh(index=index_name)

# 指定したフォルダのファイルをすべて取得する
#csv_file=os.listdir('result/test.csv')

# ニュース記事ファイルのパス
news_file = "datas/data.csv"

# ニュース記事の投入
ingest_news(news_file)

client.close()
    CSVファイルを読み込み、1カラム目をタイトル、2カラム目を本文として1行ずつ処理をしていきます。

  3. 検索する

    4. キーワードを入力し、そのキーワードをベクトル化して近い値を取得します。

    from sentence_transformers import SentenceTransformer
from opensearchpy import OpenSearch

# 設定
opensearch_host = "localhost"  # OpenSearchのホスト名
opensearch_port = 9200  # OpenSearchのポート番号
index_name = "news_articles_v2"  # インデックス名
model_name = "intfloat/multilingual-e5-large"

# Sentence Transformerモデルのロード
model = SentenceTransformer(model_name)

# OpenSearchクライアントの初期化
client = OpenSearch(
    hosts=[{'host': opensearch_host, 'port': opensearch_port}],
    http_auth=("admin", "admin"),  # 認証情報
    use_ssl=False, # SSL設定は必要に応じて変更
    verify_certs=False, # SSL検証は必要に応じて変更
    ssl_assert_hostname=False, # SSL検証は必要に応じて変更
)

def search_news(keyword):
    """キーワードに類似するニュース記事を検索"""
    keyword_embedding = model.encode(keyword).tolist()
    query = {
      "knn": {
        "embedding": {
          "vector": keyword_embedding,
          "k": 5
        }
      }
    }

    res = client.search(index=index_name, body={"query": query})
    results = []

    for hit in res['hits']['hits']:
        results.append({
            'title': hit['_source']['title'],
            'data': hit['_source']['data'],
            'score': hit['_score']
        })
    return results

while True:
  # 検索キーワードの入力と検索
  keyword = input("検索キーワードを入力してください: ")

  if keyword == 'exit':
    break

  #results = search_news(keyword)
  results = search_news(keyword)
  print("\n検索結果:")
  count = 0
  for result in results:
      count += 1
      print(count, 'つ目：')
      print(f"スコア: {result['score']}, タイトル: {result['title']}")

client.close()
    すると入力したキーワードに類似するニュースタイトルが表示されます。
    今回約2,000件ほどデータがありますが、確かに類似していそうなニュースタイトルが表示されています。

簡易的ですが、これでベクトル検索ができるようになりました。
テキストの前処理や重み付けの比率調整などをすれば、より精度を上げることができるのではないでしょうか。


さいごに

今回は、OpenSearchをインストールし、ベクトル検索をできるようにしました。
2,000件であっても、ほぼ一瞬で候補が表示されるので、性能的も問題はないかなと思います。
今後はより精度を上げる方法を試してみて、他のベータベースとして使えるようにしていきたいです。
そして行く末、LLM用のRAGとして利用できるようにしていきたいと思います。

今回はこのへんで、ではまた！

コメント

コメントを投稿

このブログの人気の投稿

PowerAppsで座席表を作成する

イメージ
PowerAppsで座席表を作成する。 PowerAppsで座席表を作成する。 昨今、会社では指定された先がなく、自由に席を選んで仕事ができる フリーアドレス が増えてきているのではないでしょうか。 私の会社も フリーアドレス を採用しているのですが、その日の気分によって座る場所を変えることができるので私は気に入っています。 ただ自由で便利な反面、困る場面もあるかと思います。 フリーアドレス は自由に座れるのですが、だれがどこに座っているのか分からなくなる状況があります。 さらに テレワーク が重なると出社していない人もいるため、より分からなくなるかと思います。 みなさんの会社でも同様の状況になっていないでしょうか。 もちろん最近は便利なアプリなどによって改善されていたり気がしますが、そのアプリの利用料などがかかるため導入にためらってしまったりするかと思います。 なので今回は、この課題を Power Apps で改善をしていきます。 アプリの概要 アプリの概要を簡単に説明します。 Labelを複数配置していき、机や椅子、その他会議室やロッカーなどを表現 席用のLableの「OnSelect」メソッドにフロー起動の処理を追加 上記だけで簡易な座席表を作成できます。 別途データベース用のListsを作成しておきます。 それでは、Listsの作成から進めています。 下準備 今回のアプリのデータベースはMicrosoft Listsを使用します。 適当な場所にListsを下記内容で作成します。 必要なカラムは「Title(Id)」「Name」です。 今回は適当に数個座席を作成しておきます。「Name」部分は空...
続きを読む

Power Automateで文字列抽出

イメージ
PowerAutomateで文字列抽出 Power Automateで文字列抽出 最近 Power Automate の記事をよく書いますが、基本的に何か一連の機能を作成する流れを説明していることが多いです。 その中で出てくる各機能の詳細についてはあまり触れられていない事が多いので、今回は機能の詳細について説明する機会があっても良いかなと思いました。 なので今回は前回作成した Power Automateでファイルバックアップ（OneDrive） で使用した「 ファイル名の文字列から拡張子を抽出する機能 」について、詳細をまとめようと思います。 正規表現のような機能を作るのはまだ難しいですが、拡張子のようにある程度事前に抽出する文字列が定まっていれば数ステップで機能実装が可能です。 ステップや使用している関数の内容について説明していきます！！ 各関数の説明 それでは、文字列を抽出するために使用する関数の説明をしていきます。今回は分かりやすくするためにファイル名から拡張子を抽出する流れで説明します。 lastIndexOf まず文字列を抽出するためには、抽出対象の文字列の開始位置が必要になります。なので開始位置が文字列の何番目から開始するのかを取得します。 その際に使用する関数が lastIndexOf になります。 引数は2つ指定します。 ・第一引数：対象文字列 ・第二引数：抽出したい文字列 ※抽出したい文字列が対象文字列に複数存在する場合は、最後に検知された開始位置が戻り値として返されます。最初に見つかった場所が欲しい場合には indexOf を使用します。 それでは lastInde...
続きを読む

Power Automateでファイル名から拡張子を取得

イメージ
Power Automateでファイル名から拡張子を取得 Power Automateでファイル名から拡張子を取得 以前、 Power Automateで自動ファイルバックアップ（OneDrive） という記事で ファイル名から拡張子を取得する方法 をまとめました。 その際には複数の変数を用意して、かつ関数も使用して取得していましたが、これはフロー作成にかなり手間がかかるものです。 そのため、どうにか簡略化できなかと検討したところ新しい取得方法で、より簡潔に作成できることがわかったので、今回はファイル名から拡張子を取得する方法について新しい手法をまとめたいと思います。 作成方法を解説 まず取得する方法を説明する前に、以前の方法ではどのように取得していたかというと、 ファイル名から拡張子までの文字数を取得 ファイル名の拡張子部分の長さを取得する 拡張子の開始位置から、拡張子の文字数分だけ切り取って取得する といった手順を踏んでいました。 詳細は先程リンクを貼っているブログか、文字列抽出方法をまとめたブログがあるので参考にしてください。 Power Automateで文字列抽出 このように以前の方法ですと、ステップ数が増えるため作成も手間ですし、メンテナンス性も良くない状況です。 なのでもっと簡略化して実装する方法を紹介します。また2つの関数を使用するものの、シンプルなため可読性は高いです。さらに、今回の方法で実装すると事前準備していた変数3つが不要になります！！ では、いよいよ本題に入ります。 今回使用する関数は split と last の2つになります。 split関数 split関数 は文字列を指定の文字で 分割 する関数です。 ...
続きを読む