PostgreSQL 數(shù)據(jù)實時同步到Elasticsearch：搭建與操作指南

專注于為中小企業(yè)提供成都做網(wǎng)站、網(wǎng)站設(shè)計服務(wù),電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業(yè)江海免費做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動了上1000家企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設(shè)實現(xiàn)規(guī)模擴充和轉(zhuǎn)變。

背景

在現(xiàn)代數(shù)據(jù)架構(gòu)中，數(shù)據(jù)庫與搜索引擎的整合變得越來越重要，PostgreSQL 作為一款功能強大的開源數(shù)據(jù)庫，其在處理結(jié)構(gòu)化數(shù)據(jù)方面有著廣泛的應(yīng)用，而 Elasticsearch（簡稱 ES）作為一款分布式搜索引擎，其在處理非結(jié)構(gòu)化數(shù)據(jù)、全文檢索等方面表現(xiàn)出色，在很多場景下，我們需要將 PostgreSQL 數(shù)據(jù)庫中的數(shù)據(jù)實時同步到 Elasticsearch，以便提供更快速、更準(zhǔn)確的搜索服務(wù)。

同步方案

目前市面上有多種同步方案，如：

1、Logstash：通過讀取 PostgreSQL 的 WAL（Write-Ahead Logging）日志實現(xiàn)實時同步。

2、Debezium：基于 Kafka Connect 的實時數(shù)據(jù)同步工具，可以捕獲數(shù)據(jù)庫的變更日志（CDC）。

3、Apache NiFi：基于流處理的數(shù)據(jù)集成平臺，可以實現(xiàn)復(fù)雜的數(shù)據(jù)同步任務(wù)。

本文將介紹使用 Logstash 進行 PostgreSQL 數(shù)據(jù)實時同步到 Elasticsearch 的搭建與操作。

搭建步驟

1、安裝 PostgreSQL

在官網(wǎng)下載相應(yīng)版本的 PostgreSQL，并按照官方文檔進行安裝。

2、安裝 Elasticsearch

在官網(wǎng)下載相應(yīng)版本的 Elasticsearch，并按照官方文檔進行安裝。

3、安裝 Logstash

在官網(wǎng)下載相應(yīng)版本的 Logstash，并按照官方文檔進行安裝。

4、配置 Logstash

在 Logstash 安裝目錄下，創(chuàng)建一個配置文件，postgresql_to_es.conf

input {
  jdbc {
    # PostgreSQL 數(shù)據(jù)庫連接信息
    jdbc_connection_string => "jdbc:postgresql://localhost:5432/mydb"
    jdbc_user => "username"
    jdbc_password => "password"
    # 指定需要同步的表
    statement => "SELECT * FROM my_table"
    # 指定同步周期（單位：秒）
    schedule => "*/5 * * * * *"
  }
}
output {
  elasticsearch {
    # Elasticsearch 連接信息
    hosts => ["localhost:9200"]
    # 指定索引名稱
    index => "my_index"
    # 指定文檔類型（7.x版本已廢棄）
    # document_type => "my_type"
  }
}

5、啟動 Logstash

在命令行中執(zhí)行以下命令，啟動 Logstash：

logstash -f /path/to/your/postgresql_to_es.conf

操作指南

1、監(jiān)控同步進度

可以通過查看 Logstash 的日志輸出來監(jiān)控同步進度，在日志中，你可以看到以下信息：

– 同步的表名和同步周期

– 每次同步的 SQL 查詢

– 同步過程中遇到的錯誤（如有）

2、調(diào)整同步周期

根據(jù)業(yè)務(wù)需求，可以調(diào)整 Logstash 配置文件中的 schedule 參數(shù)，以實現(xiàn)不同頻率的同步。

3、添加數(shù)據(jù)過濾

在 Logstash 配置文件中，可以通過 filter 部分添加數(shù)據(jù)過濾規(guī)則，

filter {
  # 示例：將 PostgreSQL 中的 datetime 類型轉(zhuǎn)換為 Elasticsearch 中的 date 類型
  date {
    match => ["my_datetime", "YYYY-MM-dd HH:mm:ss"]
    target => "@timestamp"
  }
}

4、數(shù)據(jù)完整性校驗

在同步過程中，可能會出現(xiàn)數(shù)據(jù)丟失或重復(fù)的情況，為了確保數(shù)據(jù)完整性，可以：

– 對 PostgreSQL 表添加唯一約束，以避免重復(fù)數(shù)據(jù)

– 使用 Logstash 的 last_run_metadata_path 參數(shù)，記錄上次同步的位置，實現(xiàn)斷點續(xù)傳

通過以上步驟，我們成功搭建了 PostgreSQL 數(shù)據(jù)實時同步到 Elasticsearch 的環(huán)境，在實際業(yè)務(wù)場景中，可以根據(jù)需求調(diào)整同步策略和過濾規(guī)則，以滿足不同場景下的數(shù)據(jù)同步需求，需要注意的是，實時同步可能會對數(shù)據(jù)庫性能產(chǎn)生影響，因此在部署生產(chǎn)環(huán)境時，請確保評估同步方案對數(shù)據(jù)庫性能的影響，并采取相應(yīng)的優(yōu)化措施。

名稱欄目：PostgreSQL數(shù)據(jù)同步到ES搭建操作
路徑分享：http://uogjgqi.cn/article/dhpiipi.html