实时日志分析系统在河南气象信息化中的应用
王立柱, 朱茜
河南省气象探测数据中心,郑州450003
Application of real-time log analysis system in Henan meteorological informatization
Wang Lizhu, Zhu Qian
Henan Meteorological Observation Data Center,Zhengzhou 450003
摘要 文章从河南省气象发展现状出发,结合中国气象信息化建设要求,提出了基于Elastic Search Logstash Kibana(ELK)的实时日志分析系统,应用于气象大数据的运行和维护。该系统对多台服务器的日志集中化管理,可以对大量日志信息进行采集、存储、分析和展示。通过河南省气象探测数据中心ELK平台的建设,为气象大数据提供了可靠的运行和维护技术方案。
关键词 :
ELK ,
实时日志分析 ,
气象信息化 ,
气象大数据
Abstract :From the current situation of Henan meteorological development,combined with China's meteorological information construction requirements,this paper proposes the real-time log analysis system based on Elastic Search Logstash Kibana (ELK),which is applied in meteorological big data operation and maintenance.This system centralized manages the logs of multiple servers.A large number of log information can be collected,stored,analyzed and displayed.Through the ELK platform construction of the meteorological observation data center in Henan,it provides a reliable operation and maintenance technology plan for the meteorological big data.
Key words :
ELK
real-time log analysis
meteorological informatization
meteorological big data
收稿日期: 2017-11-08
作者简介 : 王立柱(1986),男,硕士,工程师.主要从事网络维护工作.
[1]
郑国光.以信息化推进气象现代化[J].浙江气象,2015,36(02):1-4,24.
[2]
王林香,常越,雪源.气象信息网络管理和维护[J].河南气象,2004,27(04):34-35.
[3]
宁海元,张新铭,阚海明,等.Learning ELK Stack中文版[M] .北京:电子工业出版社,2016.
[4]
文娟,薛永生,段江娇,等.基于关联规则的日志分析系统的设计与实现[J].厦门大学学报(自然科学版),2005,44(S1):258-261.
[5]
高凯.实战Elasticsearch Logstash Kibana——分布式大数据搜索与日志挖掘及可视化解决方案[M].北京:清华大学出版社,2015.
[6]
王润华.基于Hadoop集群的分布式日志分析系统研究[J].科技信息,2009,(15):60,109.
[7]
梁晓雪,王锋.基于聚类的日志分析技术综述与展望[J].云南大学学报,2009,31(S1):52-55.
[8]
魏山林.基于ELK的日志分析系统[J].电脑知识与技术,2017,13(05):69-70.
[9]
刘思尧.基于ELK的电力信息监控日志审计系统实现[J].电脑知识与技术,2016,12(30):61-64.
[10]
任凯,邓武,俞琰.基于大数据技术的网络日志分析系统研究[J].现代电子技术,2016,39(02):39-41,44.
[1]
李丹, 李毅聪, 李嫦, 计博严. 浅谈区域气象站温度计量检定标校仪系统软件的开发与应用 [J]. 气象水文海洋仪器, 2018, 35(3): 70-74.
[2]
许皓皓, 胡利军. 市级气象数据中心容灾体系设计 [J]. 气象水文海洋仪器, 2018, 35(3): 75-79.
[3]
蔡立青, 唐凯. WP3103型区域气象自动站故障告警算法的设计与实现 [J]. 气象水文海洋仪器, 2018, 35(3): 80-82.
[4]
李新庆,卫建国,王凡,陈增境. 基于PostgreSQL的气象业务数据存储应用研究 [J]. 气象水文海洋仪器, 2017, 34(4): 13-17.
[5]
许皓皓,黄思源,李从初. 宁波市气象信息与探测监控系统设计与实现 [J]. 气象水文海洋仪器, 2017, 34(4): 40-45.
[6]
程昌玉,许海波,李 力,蔡 宏,李 俊. 湖北省气象探测设备运行状态监控系统的设计与实现 [J]. 气象水文海洋仪器, 2016, 33(4): 50-53.
[7]
殷笑茹,鲍婷婷,李玉涛. 气象信息传输质量统计分析系统的设计与实现 [J]. 气象水文海洋仪器, 2016, 33(1): 94-97.
[8]
钱毅,董德宝,赵宝义,方海涛. 利用无线网卡实现气象报文的备份传输 [J]. 气象水文海洋仪器, 2013, 30(3): 45-47.
[9]
汪清梅,汪武锋. 用OSSMO软件编制和预审地面自动气象站Y文件 [J]. 气象水文海洋仪器, 2013, 30(2): 79-83.
[10]
钱毅,朴权哲,董德宝,赵宝义. 安徽省新型区域自动气象站数据传输方案及通讯协议设计 [J]. 气象水文海洋仪器, 2013, 30(2): 87-91.
[11]
李占睿. 民航气象二期数据库系统管理、维护和二次开发 [J]. 气象水文海洋仪器, 2011, 28(1): 93-095.