Elasticsearch Query DSL入门

Elasticsearch Query DSL入门

Elasticsearch Query DSL入门 列举几个最基础的 DSL 语句,所有长达成百上千行的 DSL 都是由这些基础语法组合起来的。 一、环境 Ubuntu 14.04/16、04 JDK1.8 Elasticsearch 5.3 Kibana 5.3.2 二、DSL介绍 Query DSL 又叫查询表达式,是一种非常灵活又富有表现力的查询语言,采用 JSON 接口的方式实现丰富的查询,并使你的查询语句更灵活、更精确、更易读且易调试。 我平时喜欢借助 Kibana 来执行 DSL 语句......

Elasticsearch索引备份与迁移

Elasticsearch索引备份与迁移

Elasticsearch索引备份与迁移 总结Elasticsearch各种备份与迁移方案,亲测。 详细记录了具体步骤。 一、环境 Ubuntu 14.04/16、04 JDK1.8 Elasticsearch 5.3 Kibana 5.3.2 二、单节点环境 1. 创建备份存储目录 bash sudo mkdir /media/es/es_backup # 该目录要是elasticsearch可访问的,我们的环境一般是elasticsearch用户 chown -R elasticsearch:elasticsearch /media/es/es_backup/ 2. 修改elastic......

Elasticsearch部署步骤

Elasticsearch部署步骤

Elasticsearch部署步骤 现在官方已经出到了ES7 beta,不过现在为止用的最多也是比较稳定的是5.x。 这里我简单记录下针对5.x版本的部署配置过程,暂不考虑优化(后面再总结优化相关的笔记)。 一、环境 Ubuntu 14.04/16、04 JDK1.8 Elasticsearch 5.6 二、安装JDK 1. 下载安装 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 将刚刚下载的文件拷贝到 /opt 目录下......

Nginx正向代理与反向代理

Nginx正向代理与反向代理

Nginx正向代理与反向代理 正向代理与反向代理的区别,以及用Nginx配置实现代理服务。 一、正向代理与反向代理 1. 正向代理 正向代理其实相当于请求的中继,比如说,如果某个网站国内无法访问,也就是被墙了,我可以选择两种方式: 一个是配置代理服务器,第二种就是 VPN。 其实两种技术原理差不太多,如果说我自己访问不到这个网站,而这时可以通过一台可以访问到这个网站的服务器,也就是代理服务器,来进......

Nmap基础用法

Nmap基础用法

Nmap基础用法 自己搜集总结的Nmap常用命令及参数说明。 一、简介 NMap,也就是Network Mapper,是Linux下的网络扫描和嗅探工具包。 nmap是在网络安全渗透测试中经常会用到的强大的扫描器,功能很强大。 二、参数说明 -sP 渗透内网之后判断当前网络哪些主机在线 bash nmap -sP 192.168.1/255 -vv 显示详细的扫描过程 -sS 使用SYN半开式扫描,这种扫描方式使得扫描结果更加正确(又称半开放,或隐身扫描) ba......

Linux连接MySQL命令表

Linux连接MySQL命令表

Linux连接MySQL命令表 Linux环境下通过一些命令快速操作数据库。 bash # 连接mysql(注:-h、-P、-u、-p后面可以不用加空格) mysql -h主机地址 -P端口 -u用户名 -p用户密码 # 显示数据库 mysql> show databases; # 使用某个数据库 mysql> use xxx; # 查看该数据库中的表 mysql> show tables; # 显示数据表的结构 mysql> describe 表名; # 显示表中的记录(注意表名大小写......

Windows环境安装MySQL5.7

Windows环境安装MySQL5.7

Windows环境安装MySQL5.7 在Windows开发环境下安装MySQL5.7,使用官方免安装软件包,手动启停服务和编写批处理脚本实现MySQL启停。 一、安装 1. 下载免安装软件包 我比较喜欢免安装版本的,比较干净。 到官网的开发者专区下载MySQL(Community版)免安装软件包, 下载地址:https://dev.mysql.com/downloads/mysql/ * 当前最新版本是8.0,如果需要下载其它版本,可以点击页面中的 Looking for previous GA v......

【Python实战】实时获取tcpdump输出

【Python实战】实时获取tcpdump输出

【Python实战】实时获取tcpdump输出 Python实时获取tcpdump输出。 一、背景 今天有个小需求,要确认客户端有没有往服务端发送udp包,但为了减轻工作量,不想每次到机器上手动执行tcpdump抓包命令。 于是就写了个脚本来释放人力。 二、代码实现 整个脚本我还加了一些其他功能:时间戳、发送端IP提取,数据包分析,数据持久化等。这里都先去掉,仅记录下简单的实时获取tcpdump输出功能。 代码如下: python # ......

【Python实战】单变量异常值检测

【Python实战】单变量异常值检测

【Python实战】单变量异常值检测 异常值检测是数据预处理阶段重要的环节,这篇文章介绍下对于单变量异常值检测的常用方法,通过Python代码实现。 一、什么是异常值 异常值是在数据集中与其他观察值有很大差距的数据点,它的存在,会对随后的计算结果产生不适当的影响,因此检测异常值并加以适当的处理是十分必要的。 二、异常值的处理 异常值并不都是坏的,了解这一点非常重要。只是简单地从数据中删除异常......

【Python进阶】经典排序算法

【Python进阶】经典排序算法

【Python进阶】经典排序算法 Python实现七种经典排序算法。 一、冒泡排序 介绍 冒泡排序是排序算法中较为简单的一种,英文称为 Bubble Sort。它遍历所有的数据,每次对相邻元素进行两两比较,如果顺序和预先规定的顺序不一致,则进行位置交换;这样一次遍历会将最大或最小的数据上浮到顶端,之后再重复同样的操作,直到所有的数据有序。 如果有n个数据,那么需要的比较次数,所以当数据量很大时,冒泡算法......

【Python进阶】Pythonic风格整理

【Python进阶】Pythonic风格整理

【Python进阶】Pythonic风格整理 所谓Pythonic,就是代码风格符合Python的特点,合理使用“语法糖”,使代码简洁优美,更具可读性,便于维护和修改。 一、Python之禅 Python 里有个小彩蛋: 在 Python Shell 里输入 import this 这段话被称作“Python 之禅”(The Zen of Python),它列举了一些 Python 所推崇的理念,比如:   优美胜于丑陋 明确胜于隐晦 简单胜于复杂 … 可读性很重要 不要忽略错误 面对......

【Python基础】Matplotlib模块

【Python基础】Matplotlib模块

【Python基础】Matplotlib模块 Python中的绘图库-Matplotlib。 一、Matplotlib简介与安装 Matplotlib也就是Matrix Plot Library,顾名思义,是Python的绘图库。它可与NumPy一起使用,提供了一种有效的MATLAB开源替代方案。它也可以和图形工具包一起使用,如PyQt和wxPython。 安装方式:执行命令 pip install matplotlib 一般常用的是它的子包PyPlot,提供类似MATLAB的绘图框架。 二、使用方法 绘制一条直线......

【Python基础】SMTP发送邮件

【Python基础】SMTP发送邮件

【Python基础】SMTP发送邮件 Python使用SMTP发送邮件。 一、准备 1. 开启邮箱的SMTP 服务 这里使用第三方 SMTP 服务发送邮件,可以使用 QQ邮箱,163,Gmail 等的 SMTP 服务,但需要做以下配置,以QQ邮箱为例。 登录QQ邮箱,依次点击最上方的 设置,然后点击 账户。 往下翻页,找到 POP3/IMAP/SMTP/Exchange/CardDAV/CalDAV 这一版块,开启 POP3/SMTP服务。(不同版本的QQ可能会不一样,总之就是找到QQ邮箱......