最新消息:

外部日志(CDN日志)导入到阿里云日志服务SLS中

IT技术 ipcpu 932浏览 0评论

一、概述

有时候我们的日志(例如CDN日志)不在阿里云,但是想要导入到阿里云的日志服务SLS中进行分析。
这时候我们优先想到的是把日志文件传入阿里云的ECS服务器上(入带宽是免费的),然后在用ilogtail工具导入,但是我们发现这个过程还有坑,这里记录一下。

二、ilogtail不能用来导入历史数据

这是我们遇到的第一个问题,尽管我们配置好了ilogtail,但是发现没有数据消费,也没有任何报错,日志服务SLS中就是没有日志。
经过咨询阿里的客服,才知道,ilogtail只会对,配置完以后,新写入的数据有效,以前写入的日志不会收集。
好吧,那我使用touch命令对文件进行更新下?

结果,确实有数据进来了,但是,这数量级明显对不上,只能再次咨询客服。

三、历史日志文件的导入方式

阿里客服一听就明白了,甩过来一个链接。
https://help.aliyun.com/document_detail/71414.html
好吧,原来早就考虑到这个问题了。

需要在ilogtail目录下放置一个文件local_event.json,内容如下

[ 
  {
    "config" : "##1.0##ipcpuslblog$volc",
    "dir" : "/data/logs/cdn",
    "name" : "myaccess.log"
   }
]

这里面的config字段,需要填写Logtail配置的唯一标识,可以下面命令获取

grep "##" /usr/local/ilogtail/user_log_config.json | awk '{print $1}'

好了,导入速度还挺快,这下有数据了。

转载请注明:IPCPU-网络之路 » 外部日志(CDN日志)导入到阿里云日志服务SLS中

发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址