Elasticsearch Query DSL入门 列举几个最基础的 DSL 语句，所有长达成百上千行的 DSL 都是由这些基础语法组合起来的。 一、环境 Ubuntu 14.04/16、04 JDK1.8 Elasticsearch 5.3 Kibana 5.3.2 二、DSL介绍 Query DSL 又叫查询表达式，是一种非常灵活又富有表现力的查询语言，采用 JSON 接口的方式实现丰富的查询，并使你的查询语句更灵活、更精确、更易读且易调试。 我平时喜欢借助 Kibana 来执行 DSL 语句......
Elasticsearch索引备份与迁移 总结Elasticsearch各种备份与迁移方案，亲测。 详细记录了具体步骤。 一、环境 Ubuntu 14.04/16、04 JDK1.8 Elasticsearch 5.3 Kibana 5.3.2 二、单节点环境 1. 创建备份存储目录 bash sudo mkdir /media/es/es_backup # 该目录要是elasticsearch可访问的，我们的环境一般是elasticsearch用户 chown -R elasticsearch:elasticsearch /media/es/es_backup/ 2. 修改elastic......
Elasticsearch部署步骤 现在官方已经出到了ES7 beta，不过现在为止用的最多也是比较稳定的是5.x。 这里我简单记录下针对5.x版本的部署配置过程，暂不考虑优化（后面再总结优化相关的笔记）。 一、环境 Ubuntu 14.04/16、04 JDK1.8 Elasticsearch 5.6 二、安装JDK 1. 下载安装 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 将刚刚下载的文件拷贝到 /opt 目录下......
Nginx正向代理与反向代理 正向代理与反向代理的区别，以及用Nginx配置实现代理服务。 一、正向代理与反向代理 1. 正向代理 正向代理其实相当于请求的中继，比如说，如果某个网站国内无法访问，也就是被墙了，我可以选择两种方式： 一个是配置代理服务器，第二种就是 VPN。 其实两种技术原理差不太多，如果说我自己访问不到这个网站，而这时可以通过一台可以访问到这个网站的服务器，也就是代理服务器，来进......
Nmap基础用法 自己搜集总结的Nmap常用命令及参数说明。 一、简介 NMap，也就是Network Mapper，是Linux下的网络扫描和嗅探工具包。 nmap是在网络安全渗透测试中经常会用到的强大的扫描器，功能很强大。 二、参数说明 -sP 渗透内网之后判断当前网络哪些主机在线 bash nmap -sP 192.168.1/255 -vv 显示详细的扫描过程 -sS 使用SYN半开式扫描，这种扫描方式使得扫描结果更加正确（又称半开放,或隐身扫描） ba......
Linux连接MySQL命令表 Linux环境下通过一些命令快速操作数据库。 bash # 连接mysql（注：-h、-P、-u、-p后面可以不用加空格） mysql -h主机地址 -P端口 -u用户名 -p用户密码 # 显示数据库 mysql> show databases; # 使用某个数据库 mysql> use xxx; # 查看该数据库中的表 mysql> show tables; # 显示数据表的结构 mysql> describe 表名; # 显示表中的记录（注意表名大小写......
Windows环境安装MySQL5.7 在Windows开发环境下安装MySQL5.7，使用官方免安装软件包，手动启停服务和编写批处理脚本实现MySQL启停。 一、安装 1. 下载免安装软件包 我比较喜欢免安装版本的，比较干净。 到官网的开发者专区下载MySQL（Community版）免安装软件包， 下载地址：https://dev.mysql.com/downloads/mysql/ * 当前最新版本是8.0，如果需要下载其它版本，可以点击页面中的 Looking for previous GA v......
【Python实战】实时获取tcpdump输出 Python实时获取tcpdump输出。 一、背景 今天有个小需求，要确认客户端有没有往服务端发送udp包，但为了减轻工作量，不想每次到机器上手动执行tcpdump抓包命令。 于是就写了个脚本来释放人力。 二、代码实现 整个脚本我还加了一些其他功能：时间戳、发送端IP提取，数据包分析，数据持久化等。这里都先去掉，仅记录下简单的实时获取tcpdump输出功能。 代码如下： python # ......
【Python实战】单变量异常值检测 异常值检测是数据预处理阶段重要的环节，这篇文章介绍下对于单变量异常值检测的常用方法，通过Python代码实现。 一、什么是异常值 异常值是在数据集中与其他观察值有很大差距的数据点，它的存在，会对随后的计算结果产生不适当的影响，因此检测异常值并加以适当的处理是十分必要的。 二、异常值的处理 异常值并不都是坏的，了解这一点非常重要。只是简单地从数据中删除异常......
【Python进阶】经典排序算法 Python实现七种经典排序算法。 一、冒泡排序 介绍 冒泡排序是排序算法中较为简单的一种，英文称为 Bubble Sort。它遍历所有的数据，每次对相邻元素进行两两比较，如果顺序和预先规定的顺序不一致，则进行位置交换；这样一次遍历会将最大或最小的数据上浮到顶端，之后再重复同样的操作，直到所有的数据有序。 如果有n个数据，那么需要的比较次数，所以当数据量很大时，冒泡算法......
【Python进阶】Pythonic风格整理 所谓Pythonic，就是代码风格符合Python的特点，合理使用“语法糖”，使代码简洁优美，更具可读性，便于维护和修改。 一、Python之禅 Python 里有个小彩蛋： 在 Python Shell 里输入 import this 这段话被称作“Python 之禅”（The Zen of Python），它列举了一些 Python 所推崇的理念，比如： 优美胜于丑陋 明确胜于隐晦 简单胜于复杂 … 可读性很重要 不要忽略错误 面对......
【Python基础】Matplotlib模块 Python中的绘图库-Matplotlib。 一、Matplotlib简介与安装 Matplotlib也就是Matrix Plot Library，顾名思义，是Python的绘图库。它可与NumPy一起使用，提供了一种有效的MATLAB开源替代方案。它也可以和图形工具包一起使用，如PyQt和wxPython。 安装方式：执行命令 pip install matplotlib 一般常用的是它的子包PyPlot，提供类似MATLAB的绘图框架。 二、使用方法 绘制一条直线......
【Python基础】SMTP发送邮件 Python使用SMTP发送邮件。 一、准备 1. 开启邮箱的SMTP 服务 这里使用第三方 SMTP 服务发送邮件，可以使用 QQ邮箱，163，Gmail 等的 SMTP 服务，但需要做以下配置，以QQ邮箱为例。 登录QQ邮箱，依次点击最上方的 设置，然后点击 账户。 往下翻页，找到 POP3/IMAP/SMTP/Exchange/CardDAV/CalDAV 这一版块，开启 POP3/SMTP服务。（不同版本的QQ可能会不一样，总之就是找到QQ邮箱......