golang LogAgent 项目实战（一）

发表于

本文主要记录了学习golang时做的一个项目：日志收集项目。

关键词：日志收集项目

项目背景

每个业务系统都有日志，当系统出现问题时， 需要通过日志信息来定位和解决问题。当系统机器比较少时，登录到服务器上查看即可满足；当系统机器规模巨大，登录到服务器上查看几乎不现实（分布式系统，一个系统部署在是十几台服务器上）

解决方案

把机器上的日志实时收集，统一存储到中心系统。再对这些日志建立索引，通过搜索即可快速找到对应的日志记录。

通过提供一个界面友好的web页面实现日志的展示和检索。

面临的问题

实时日志量非常大，每条处理几十亿条，日志准实时收集，延迟控制在分钟级别。

系统的架构设计能够支持水平扩展。

业界方案

ELK

ELK方案的问题

  • 运维成本高，每增加一个日志收集项，都需要手动配置；
  • 监控（Beats，现在有了）缺失，无法准确获取logstash的状态；
  • 无法做到定制化开发和维护。

日志收集系统架构设计

优势

  • 基于etcd实现了配置的自动发现

组件介绍

  • LogAgent：日志收集客户端，用来收集服务器上的日志
  • Kafka：高吞吐量的分布式队列（Linkin开源，Apache顶级开源项目）
  • ElasticSearch：开源的搜索引擎，提供基于HTTP RESTful的web接口
  • Kibaa：开源的ES数据引起分析和可视化工具
  • Hadoop：分布式计算框架，能够对大量数据进行分布式处理的平台
  • Storm：一个免费并开源的分布式实时计算系统

将学到的技能

  • 服务端Agent开发
  • 后端服务组件开发
  • ES和Kibana的使用
  • Kafka和zookeeper的使用
  • etcd的使用