阅读1006 返回首页    go 微信

Logtail启动配置参数__logtail（Agent）_用户指南_日志服务-阿里云

本文描述Logtail启动配置参数，如有特殊需求，可以参考本文进行设置：

  • 需要采集的日志文件数目很多导致内存使用较大（内存中需要维护每个文件的签名、采集位置、文件名等meta信息）
  • 日志数据流量很大导致cpu使用率高
  • 日志数据量大，发送到日志服务的流量也很大
  • 收集Syslog/TCP数据流

启动配置

  • 文件路径

/usr/local/ilogtail/ilogtail_config.json

  • 文件格式

JSON

  • 文件示例 （只展示部分配置项）
  1. {
  2.     ...
  3.     "cpu_usage_limit" : 0.4,
  4.     "mem_usage_limit" : 100,
  5.     "max_bytes_per_sec" : 2097152,
  6.     "process_thread_count" : 1,
  7.     "send_request_concurrency" : 4,
  8.     "streamlog_open" : false,
  9.     "streamlog_pool_size_in_mb" : 50,
  10.     "streamlog_rcv_size_each_call" : 1024,
  11.     "streamlog_formats":[],
  12.     "streamlog_tcp_port" : 11111,
  13.     "buffer_file_num" : 25,
  14.     "buffer_file_size" : 20971520,
  15.     "buffer_file_path" : "",
  16.     ...
  17. }

常用配置参数

参数名 参数值 参数说明
cpu_usage_limit cpu使用阈值，double类型，以单核计算 如0.4，则限制logtail的cpu使用为cpu单核的40%，超出后logtail自动重启
mem_usage_limit 常驻内存使用阈值，int类型，以MB计算 如100，则限制logtail的内存使用为100兆字节，超出后logtail自动重启
max_bytes_per_sec logtail发送原始数据的流量限制，int类型，以Byte/Sec计算 如2097152，则限制logtail发送数据的速率为2MB/s
process_thread_count logtail处理日志文件写入数据的线程数 默认1个处理线程
send_request_concurrency logtail默认是异步发送数据包，如果写入TPS很高可以配置更高的异步并发 默认4个异步并发
streamlog_open 是否打开接受syslog功能，bool类型 false表示关闭，true表示打开,详细说明
streamlog_pool_size_in_mb 单位是MB，用于缓存解收到的syslog数据。 syslog用于接收日志的内存池大小，程序启动时会一次性申请这么大的内存，请根据机器内存大小以及实际需求填写。
streamlog_rcv_size_each_call logtail每次调用linux socket rcv接口使用的缓冲区大小，单位是byte。 如果syslog流量很大，可以调高该值，建议取值范围1024到8192
streamlog_formats 定义接收到的syslog日志解析方式 详细说明
streamlog_tcp_port logtail用于接收syslog日志的tcp端口 默认是11111
buffer_file_num 网络异常，写入配额超限后，logtail将实时解析后的日志写入本地文件（安装目录下））缓存起来，等待恢复后尝试重新发送服务端。该参数限制缓存文件的最大数目。 公有云用户默认25
buffer_file_size 该参数设置单个缓存文件允许的最大字节数，(buffer_file_num * buffer_file_size)是缓存文件可以实际使用的最大磁盘空间。 默认20971520（20MB）
buffer_file_path 该参数设置缓存文件存放目录，请在修改该参数后，手动将旧缓存目录下名称如”logtail_buffer_file_*”的文件mv到新缓存目录，以保证logtail可以读取到该缓存文件并在发送后进行删除。 默认为空，缓存文件存放于程序安装目录（/usr/local/ilogtail）
  1. 这里只列出用户需要关注的常用启动参数，如ilogtail_config.json内有表格中未列出的参数，会使用默认配置，属于正常情况。
  2. 请根据需要新增或修改指定配置参数所对应的值，用不到的配置项（如采集syslog数据流相关设置）可以不用增加到ilogtail_config.json。

修改配置

  • 按需配置ilogtail_config.json

请确认修改配置后，配置内容为合法JSON。

  • 重启Logtail生效
  1. /etc/init.d/ilogtaild stop
  2. /etc/init.d/ilogtaild start
  3. /etc/init.d/ilogtaild status

最后更新：2016-08-03 20:20:12

  上一篇：go Logstash接入Windows平台日志__logtail（Agent）_用户指南_日志服务-阿里云
  下一篇：go 概览__常见日志格式_用户指南_日志服务-阿里云