本站承诺永不接任何虚假欺骗、联盟广告、弹窗广告、病毒广告、诱导充值等影响用户体验的广告,广告屏蔽插件会影响本站部分功能,还请不要屏蔽本站广告,感谢支持!

当前位置:首页 / 正文

2019-10-30 | 编程技术 | 2315 次阅读 | 等你评论 | 1 次点赞 | 繁体

前两篇文章分别讲了 Linux 和 Windows 环境安装 Elasticsearch,有兴趣可以点击以下链接查看:
windows10 安装 ElasticSearch
Linux 下安装 Elasticsearch

既然我们已经成功的在 Linux 服务器中搭建好了 Elasticsearch 环境,由于我们使用的是 MySQL 数据库,所以现在我们需要实现 Elasticsearch 和 MySQL 的同步,接下来就看一下 Linux 如何安装 logstash 并同步 MySQL 数据库

安装 Logstash

首先我们需要去 Logstash 官网 找到我们需要的版本,并下载解压

# 下载压缩包
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.3.1.tar.gz

# 解压
tar -xzpvf logstash-6.3.1.tar.gz

# 重命名
mv logstash-6.3.1 logstash

使用 bin/logstash-plugin 命令,安装 logstash-input-jdbc

# 进入 logstash 目录
cd logstash

# 安装插件 logstash-input-jdbc
bin/logstash-plugin install logstash-input-jdbc

出现如下问题: OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c5330000, 986513408, 0) failed; error='Cannot allocate memory' (errno=12) 是内存不足导致的问题:

如果出现错误,我们去修改内存

# 进入config目录
cd config/

# 修改 jvm.options 文件
vim jvm.options

# 修改如下数据,小编这里修改成400m
-Xms400m
-Xmx400m

# 保存退出,返回 logstash 的根目录,重新安装插件
bin/logstash-plugin install logstash-input-jdbc

这次,我们就能安装成功了

接下来,为了实现 MySQL 数据的同步,我们还需要下载 mysql-connector

# 下载 mysql-connector
wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.18/mysql-connector-java-8.0.18.jar

下载后将文件放在 Logstash 安装目录下的 /logstash-core/lib/jars/ 中

现在我们来编辑一个配置文件 logstash-es-mysql.conf,用来同步MySQL数据:

input{
     stdin {
     }
     jdbc {
         # 驱动方式
         jdbc_driver_library => ""
         # 驱动类名
         jdbc_driver_class => "com.mysql.jdbc.Driver"
         # mysql 数据库链接,blog为数据库名 &useSSL=false 这个是为了防止不支持ssl连接的问题
         jdbc_connection_string => "jdbc:mysql://localhost:3306/blog?characterEncoding=utf8&useSSL=false"
         # 连接数据库用户名
         jdbc_user => "root"
         # 连接数据库密码
         jdbc_password => "root"
         # 是否启用分页
         jdbc_paging_enabled => "true"
         jdbc_page_size => "50000"
         # 设置监听间隔  各字段含义(由左至右)分、时、天、月、年,全部为*默认含>义为每分钟都更新
         schedule => "* 1 * * * "
         type => "jdbc"
         # 执行sql文路径及名称
         # statement_filepath => "/home/logstash/blog.sql"
         # 直接写sql语句用这个
         statement => "select `article_detail`.article_id,article_title as title,article_detail_content as content from `article` LEFT JOIN `article_detail` ON `article`.`article_id` = `article_detail`.article_id"
         # use_column_value => true
         # tracking_column => "updatetime"
         # 保存上一次运行>的信息(tracking_column)
         # last_run_metadata_path => "./logstash_jdbc_last_run"
       }
}

filter{
    json{
        source => "message"
        remove_field => ["message"]
    }
}
#output插件配置
output{
      elasticsearch {
         #这里可以是数组,可以是多个节点的地址,会自动启用负载均衡
         hosts => ["127.0.0.1:9200"]
         #index名称
         index => "kafei"
         #document_type => "haoyebao" #文档类型
         document_type =>"article"
         #文档id,必须设置,且表达式的变量存在,否则只>能插入一条记录
         document_id => "%{article_id}"
      }
      #控制台打印json
      stdout {
         codec => json_lines
     }
 }

接下来,我们就能实现MySQL的同步了:

./bin/logstash -f logstash-es-mysql.conf

后台运行命令:

nohup ./bin/logstash -f logstash-es-mysql.conf > out.log 2>&1 &

现在,我们执行一下 curl 'localhost:9200/kafei/article/_search?pretty=true' 语句,查看数据是否同步:

curl 'localhost:9200/kafei/article/_search?pretty=true'

可以看到我们现在是有82条记录的(数据库有80条),证明我们已经同步成功了,接下来,我们执行查询,看看效果:

到这里,我们就已经配置好了 Elasticsearch+Logstash+MySQL 的同步了。

问题解决

1、遇到问题com.mysql.jdbc.Driver not loaded. Are you sure you've included the correct jdbc driver in :jdbc_driver_library?

解决:原因是 jar 包位置不正确,应该将 jar 包放在 Logstash 安装目录下的 /logstash-core/lib/jars/ 下
该问题参考链接:https://github.com/logstash-plugins/logstash-input-jdbc/issues/331

总结

  1. 首先需要先配置好:Elasticsearch+analysis-ik,配置教程可以参照: 全文搜索 Elasticsearch+analysis-ik;
  2. 其次需要安装 Logstash 和 logstash-input-jdbc 插件;
  3. 然后需要下载 mysql-connector;
  4. 最后配置MySQL同步的 logstash-es-mysql.conf 配置文件,启动,就可以成功同步MySQL的数据了。

via:https://zhuanlan.zhihu.com/p/40177683

标签: linuxElasticElasticSearchmysqllogstash

猜你喜欢
Fail2Ban安装使用及常用配置教程
Fail2Ban安装使用教程因为作为一个 linux 入门级别的小白, 很多人都会把一些 web 面板(比如宝塔面板)作为自己管理 vps 的首选, 而当我一段时间登录宝塔面板之后, 有时就会看...
局域内网的服务器利用个人电脑做跳板机访问互联网
公司内网的服务器均不连公网(互联网),问题来了:现在服务器上需要安装一些软件怎么办?目前一般都是编译安装!先将软件在外网机器上下载好,然后再复制到服务器内,编译安装!这种方式缺点就是比较麻烦,编...
据传宝塔面板后台会上传服务器上运行的网站信息
近期有网友根据 Github 上公开的源代码,发现宝塔面板会收集如下信息(信息真假自辩):(1)收集你所在服务器上的域名,并检查域名是否可用;(2)收集面板操作日志包括时间、用户ip、请求方式、...
如何定位Mysql中CPU占用高的查询语句
今天 mysql 服务器突然 CPU 告警,记录一下问题查找的过程第一步查看具体是哪个线程占用CPU最高1、在 Linux 中使用 top 命令找到 mysql 进程 PID2、指定进程 PID...
新安装Debian系统常用设置
解决 debian 系统没有 sudo 命令的问题刚装机的 debian 系统是没有 sudo 命令的,其实执行下面指令就可以安装:apt-get install sudo然后还需要把当前用户加...
MAC系统制作ubuntu启动U盘教程
最近新买了一台便宜的低功耗小主机惠普 T620,CPU 是 AMD 的 GX-415GA,4G 内存,准备给他刷个 ubuntu 系统,用来做简易的 NAS,并且安装 homeassistant...
树莓派开启Samba共享(smb)
什么是 Samba用简洁易懂的话说就是可以通过局域网,使用 Samba 给树莓派交换文件,具体专业的怎么说并不重要,可以去别的网上搜索,在这里只需要记住 Samba 可以传文件。安装 Samba...
(首次提交评论需审核通过才会显示,请勿重复提交)