Agent日志源连接及日志采集操作指南

by prentiss 2021-12-28

Agent日志源连接

日志采集的代理端(Agent)是一个将数据从源端投递到目的端的程序。本系统提供的Agent(日志采集程序)可以对任何x86的Linux机器生效,当前版本推荐CentOS类型。

1.本系统提供的Agent日志源连接,即通过本系统,自动生成Agent日志采集程序包。

2.用户每创建一次连接,会自动生成带用户鉴权credential的Agent日志采集程序包,用户可参考操作指南,进行指定机器的日志采集。

3.日志采集程序已为用户定制好,用户无需修改程序内容,按照操作手册执行即可。

4.在指定机器完成Agent的安装后,Agent会进行客户端日志的主动推送,并自动同步至本系统,以供系统内 JupyterNotebook 的 Spark 程序消费。

5.所采集日志数据的API接口服务,即将推出。

Agent日志采集操作指南

前置条件

1.用户需熟悉linux操作命令

2.用户需清楚需要采集的日志所存放的机器地址及访问方式

3.用户需完成Agent日志源连接并下载系统自动生成的Agent日志采集程序包(即操作步骤一和操作步骤二)

操作步骤


连接操作,从这里开始

步骤一:登陆并注册Agent数据源

登录系统BDOS Online:https://bo.linktimecloud.com,通过菜单栏【管理/机构/日志源管理】(切换至机构admin(管理员)角色),或【管理/个人/日志源管理】(切换至个人登陆账号角色)界面,选择日志源Agent,点击按钮【新增连接】并自定义填写日志源名称后,点击【确认】。

或者【管理/个人/日志源管理】(切换至个人登陆账号角色)界面,选择日志源Agent,点击按钮【新增连接】并自定义填写日志源名称后,点击【确认】。

步骤二:下载Agent日志采集程序包

下载文件Agent日志采集程序包:bdos_log_install.zip至本地(本日志采集程序是系统为用户提供,无需修改,按照指南操作即可)

程序包包括文件:

文件功能备注
agent.zip日志采集的主程序包
bdos_log日志采集程序cli命令脚本安装完成后,该文件会被删除
install.sh日志采集程序安装脚本
stand.yaml日志采集基础配置文件,自动生成credential进行Loki日志推送配置文件,安装完成后,该文件会被删除

本地执行操作,从这里开始

步骤三:登陆本地机器,上传到Linux机器(此处以放到logtest文件夹为例)

备注:本操作指南以测试用日志所在机器:xxxx@192.168.10x.xx为例

Windows机器:

scp D:\bdos_log_install.zip xxxx@192.168.10x.xx:/home/dcos/logtest

Mac机器:

scp /Users/huangyan/Downloads/bdos_log_install.zip xxxx@192.168.10x.xx:/home/dcos/logtest

步骤四:登陆日志所在的Linux机器

ssh -i ~/.ssh/id_rsa xxxx@192.168.10x.xx

步骤五:查询历史文件

 ls /home/dcos/logtest |grep bdos_log

如存在bdos_log文件,需要执行命令进行删除

sudo rm -rf /home/dcos/logtest/bdos_log

步骤六:在机器上解压文件

sudo unzip /home/dcos/logtest/bdos_log_install.zip

步骤七:进入解压后的文件目录

cd /logtest/bdos_log

步骤八:给安装文件授权

sudo chmod +x install.sh

步骤九:执行安装日志收集脚本文件并采集日志

sudo sh install.sh

补充步骤

停止日志采集

sudo /usr/bin/bdos-log stop

启动日志采集

sudo /usr/bin/bdos-log start

重启日志采集

sudo /usr/bin/bdos-log restart

查看日志,从这里开始

查看采集日志

完成采集后,进入日志源查看日志列表

点击查看日志详情

点击获取代码,并复制代码至机构/个人 JupyterNotebook 工具,可通过Spark进行日志消费

复制代码,进入Spark kernel进行执行,即可对采集的日志进行消费。

留言

评论

${{item['author_name']}} 回复 ${{idToContentMap[item.parent] !== undefined ? idToContentMap[item.parent]['author_name'] : ''}} · ${{item.date.slice(0, 10)}} 回复

暂时还没有一条评论.