Logstash
官方文档地址:
http://logstash.net/docs/1.4.2/tutorials/getting-started-with-logstash
logstash介绍参考自:
http://www.infoq.com/cn/articles/review-the-logstash-book
http://storysky.blog.51cto.com/628458/1158707/
What it is :Jruby编写的开源日志管理项目
Why use it: LogStash架构专为收集、分析和存储日志所设计。
组合使用:
LogStash使用一个开源Key/Value数据库Redis,用于在索引前队列化日志。同时还使用Elasticsearch索引化、存储日志,并作为查看系统的后端,使用kibana作为页面前端显示。
注:
Redis不做存储(keys * 没有缓存信息)
Elasticsearch会做索引并且本地存储,所以即使关闭elasticsearch,如果没有清空存储的话,下次启动还是会有原来的日志信息的。
Logstash 默认是从启动之后开始读取日志信息,即如果读取的日志文件中有之前的日志(但是在logstash启动之前的,logstash是不做读取的)。如果logstash在启动之后停止了,之后启动时停止期间的日志也是不会被读取的。
Elasticsearch 清理索引信息:
http://storysky.blog.51cto.com/628458/1179906
开始:
1、安装
2、编写配置文件
3、组合redis、elasticsearch
安装:
curl -O https://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz
tar zxvf logstash-1.4.2.tar.gz
logstash是开箱即用的软件,类似于windows上的免安装的绿色版本。
Logstash解压缩之后的目录结构
命令行输如入/出测试:
bin/logstash -e 'input { stdin { } } output { stdout {} }'
stdin :命令行参数输入
stdout:命令行输出。
-e默认以后面给定字符作为配置(不启用.conf的配置文件)
详细安装启动过程参考:
http://storysky.blog.51cto.com/628458/1158707/
ps: 最新版本的logstash中是默认内置了kibana和elasticsearch的
Elasticsearch
ElasticSearch 是构建在Apache Lucene之上的的搜索引擎服务,开源(Apache2协议),分布式,提供RESTful风格支持。
http://www.nosqldb.cn/1368777378160.html
Logstash命令行默认参数
特殊案例说明:
1、删除全部日志文件之后是否还能够保存数据
logstash不提供存储功能,redis只做队列处理,不做缓存,elasticsearch做索引、本地持久化处理,因此,只要elasticsearch未停止,日志信息是不会丢失的。
elasticsearch提供了清理索引的接口:
# curl -XDELETE 'http://172.16.1.16:9200/logstash-2013.03.*'
清理掉了所有 3月份的索引文件
主页上的详细介绍,
http://www.elasticsearch.org/guide/reference/api/delete/
2、logstash重启之后是否能够保存数据
logstash重启之后,停止期间的日志信息是不会读取的。
http://chenryn.gitbooks.io/logstash-best-practice/
https://github.com/chenryn/logstash-best-practice-cn
In the end. 谢谢我的同事伟航,帮助的整理。
- 大小: 76.4 KB
- 大小: 131.7 KB
- 大小: 38.2 KB
- 大小: 55.2 KB
分享到:
相关推荐
logstash离线安装插件步骤: 在一个联网的虚拟机上下载好插件 ./logstash-plugin install logstash-input-jdbc 查看插件是否安装 ./logstash-plugin list 打包下载好的插件(可能会有错误;多试几次) ./...
logstash
centos7下安装rpm离线安装logstash-6.2.4和logstash-output-jdbc插件 内含logstash rpm包和已打包好的logstash-output-jdbc插件
对于日志来说,最常见的需求就是收集、存储、查询、展示,开源社区正好有相对应的开源项目:logstash(收集)、elasticsearch(存储+搜索)、kibana(展示),我们将这三个组合起来的技术称之为ELK,所以说ELK指的是...
Logstash是一个具有实时管道功能的开源数据收集引擎,Logstash可以动态地将来自不同数据源的数据统一起来,并将数据规范化为你选择的目的地,清理和大众化你的所有数据,用于各种高级下游分析和可视化用例。...
ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后...
文件名: logstash-oss-7.10.2-aarch64.rpm 这是 logstash oss 7.10.2 版本的 arm64 架构 rpm 安装文件。logstash 是一款开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到您...
Logstash是一个具有实时管道功能的开源数据收集引擎,Logstash可以动态地将来自不同数据源的数据统一起来,并将数据规范化为你选择的目的地,清理和大众化你的所有数据,用于各种高级下游分析和可视化用例。...
crontab logstash 定时检测及服务启动 解决logstash服务频繁宕机
Elasticsearch启动https访问,需要配置logstash,该配置logstash支持https的conf配置文件
Logstash 是一个开源的数据收集引擎,它具有备实时数据传输能力。它可以统一过滤来自不同源的数据,并按照开发者的制定的规范输出到目的地。 顾名思义,Logstash 收集数据对象就是日志文件。由于日志文件来源多(如...
资源主要能用于使用logstash将oracle数据导入到es中,logstash的版本为5.6.1
基于Logstash的日志数据采集和ELK可视化海量日志分析平台实战(全套视频+课件+代码+讲义+工具),具体内容包括: 01 Logstash的架构及运行流程 02 Logstash的数据采集案例(一) 03 Logstash的数据采集案例(二) 04...
最新版linux logstash-8.8.0-linux-x86_64.tar.gz最新版linux logstash-8.8.0-linux-x86_64.tar.gz最新版linux logstash-8.8.0-linux-x86_64.tar.gz
Logstash是一个完全开源的工具,它可以对你的日志进行收集、过滤、分析,支持大量的数据获取方法,并将其存储供以后使用(如搜索)。说到搜索,logstash带有一个web界面,搜索和展示所有日志。一般工作方式为c/s架构...
下载后执行以下命令安装: ./bin/logstash-plugin install file:///root/logstash-output-jdbc.zip
logstash的loki插件,下载后通过命令:bin/logstash-plugin install file:///path/to/logstash-output-loki.zip 安装
winlogbeat收集windows日志并通过logstash传到elasticsearch
安装 logstash-input-mongodb 插件 (1) 登录github 地址https://github.com/phutchins/logstash-input-mongodb 下载 (2) 解压到 logstash bin文件夹同级目录 (3) 修改logstash目录下的 Gemfile 文件 添加...
最新版linux logstash-7.9.3.tar.gz