エンベディング
まず言葉の定義から。エンベディング は、テキストの代わりになる数字のリストで、その意味を捉えており、似た意味のテキストは似た数字になります。この章では、言葉をコンピューターが比較できるものに変える方法を学べます。これにより、検索はキーワードではなく意味を照合できるようになります。
テキストをベクトルとして
コンピューターはどのようにして「犬」と「子犬」が関連していて、「犬」と「ホチキス」は関連していないと知るのでしょうか？単語は重要な共通の文字を持ちません。
コツは、テキストを意味を捉えた数字に変換することです。そうすると、似た意味は似た数字になります。その数字のリストが エンベディング で、ベクトルとも呼ばれます。モデルがテキストを読んでベクトルを出力します。
数字を自分で解釈する必要はありません。重要なのは、数字同士の関係です。
ラフなメンタルモデル：テキストの各部分を空間上の点として考えてみてください。似た意味のものが近くに位置します。「犬」と「子犬」は同じ地域に位置します。「ホチキス」はずっと離れた場所にあります。実際のエンベディングは2～3次元ではなく、数百～数千の次元を使いますが、直感は変わりません：近さは類似性を意味します。
その数字はどこから来ているのか、なぜ意味と一致するのか？エンベディングモデルは、LLMの仕組みから説明される予測モデルのいとこで、膨大なテキストで訓練されています。そのタスクに優れるために、どの単語と考えが似たコンテキストに現れるかを学ぶ必要がありました。これは「単語を知るには、それが属する会社を見よ」という古い観察です。
「犬」と「子犬」は同じ種類の文に現れるので、モデルはそれらを似たように表現することを学びました。「ホチキス」は異なる会社に属するので、別の場所に位置します。数百の数字は学習された意味の方向で、それぞれがテキストがどのように変化するかについての何らかの軸を捉えています。人間が読めるようにラベル付けされていません。数字をデコードすることはなく、2つのベクトルがどれだけ近いかだけを測定します。
エンベディングを生成する
エンベディングモデルにベクトルを尋ねます。通常のモデル呼び出しのようですが、異なるエンドポイントと異なるモデルです。
from openai import OpenAI
client = OpenAI()
EMBED_MODEL = "text-embedding-3-small" # エンベディングモデル用のスワップポイント
def embed(text):
response = client.embeddings.create(model=EMBED_MODEL, input=text)
return response.data[0].embedding # 数字のリスト
vector = embed("小さくてじゃれた犬")
print(len(vector)) # 例：1536の数字結果は数字のリストです。すべての上に1つのルールが重要です：常に 同じモデル で作られたエンベディングを比較してください。異なるモデルからのベクトルは異なる空間に存在し、異なるユニットでの測定のように比較できません。モデルを混ぜると、毎回ナンセンスなスコアが出ます。
そして、すべてのモデル呼び出しのように、トークンで課金されます。大規模なドキュメントコレクションの埋め込みは、数千のドキュメント全体で実行する前に事前に見積もる価値のあるコストを持ちます。
類似性を測定する
2つのテキストがどの程度関連しているかを見つけるために、ベクトルがどれだけ近いかを測定します。標準的な測定値は コサイン類似度 で、-1から1の数字を返します。1に近いほど似ており、0に近いほど関連がありません。それを使用するために背後の数学を知る必要はありません。2つのベクトルが指す方向を比較すると考えてください。
方向は意味をここに運ぶ方法で、コサインは生の距離ではなく角度を比較する理由です。返金についての2つのテキストは、1つが短いフレーズであるか長いパラグラフであるかに関わらず同じ方法をポイントします。
import math
def cosine_similarity(a, b):
dot = sum(x * y for x, y in zip(a, b))
mag_a = math.sqrt(sum(x * x for x in a))
mag_b = math.sqrt(sum(x * x for x in b))
return dot / (mag_a * mag_b)
dog = embed("小さくてじゃれた犬")
puppy = embed("若い犬")
stapler = embed("紙を綴じるためのオフィス用品")
print(cosine_similarity(dog, puppy)) # 高い、2つは意味が近い
print(cosine_similarity(dog, stapler)) # 低い、2つは関連がない数字は直感を確認します：犬と子犬のスコアが高く、犬とホチキスのスコアが低いです。クエリのベクトルを保存されたベクトルと比較することは、セマンティック検索の中心です。その1つの関数は、チャプターの残りが構築するムーブです。
セマンティック検索
ピースを一緒に置き、キーワードではなく意味で検索できます。ドキュメントを一度埋め込み、ベクトルを保存します。クエリが来たときに、それも埋め込み、ベクトルが最も近いドキュメントを返します。
docs = [
"アカウント設定ページからパスワードをリセットしてください。",
"当社の返金ポリシーは30日以内の返品を許可しています。",
"請求に関する質問についてはメールでサポートにお問い合わせください。",
]
# すべてのドキュメントを一度埋め込み、事前に
index = [{"text": text, "vector": embed(text)} for text in docs]
def search(query):
query_vector = embed(query)
scored = [{"text": item["text"], "score": cosine_similarity(query_vector, item["vector"])} for item in index]
return sorted(scored, key=lambda x: x["score"], reverse=True)[0] # 最も近いマッチ
print(search("お金を取り戻すにはどうすればいいですか？"))
# クエリと重要な単語を共有しないにもかかわらず、返金ポリシー行を返しますクエリ「お金を取り戻すにはどうすればいいですか？」は、それと重要な言葉を共有しない返金行を見つけます。セマンティック検索は綴りではなく意味で照合します。キーワード検索はそれを完全に見逃していたでしょう。クエリとドキュメントは重要な言葉を持ちません。
シェイプは常に同じです：一度埋め込み、ベクトルを保持し、リクエスト時にクエリを埋め込み、スコア、ソート、最も近いを返す。それが セマンティック検索 ループで、ハンドブックの残りをそれを再利用します。
エンベディングが何ではないか
エンベディングは類似性ツールで、思考ツールではありません。いくつかの 制限 は、正しいツールに到達するので心に留めています：
- 彼らはしません 完全一致。正確な注文番号またはエラーコードを見つけるには、プレーンキーワードまたはデータベース検索がよりよいです。
- 彼らは 理由 しません。2つのことが関連していることを教えてくれますが、なぜかは教えません。1つが論理的に他から続くかどうかも同様です。
- 彼らは 古い 行きます。ドキュメントが変わったら、それらを再埋め込みするか、検索は古いコンテンツを指しています。
エンベディングは関連があるもの見つけます。彼らは本当のか現在のかを判断しません。これらのギャップの各々は、より良いツールを持ち、どちらを使用するかは知識がスキルの半分です。
実践中
完全なフロー上記のsearch関数に住んでいます：小さなFAQエントリを埋め込み一度、次に意味別のクエリに答えてください。パターンは任意のサイズで同じです。保存のみが成長時に変わります。
次のチャプターで、最も近いマッチを取得して、モデルにフィード。その答えメモリの代わりにドキュメントから。そのテクニックは RAG で、ここに書いた直接的に構築されています。