-
每日PV-Pandas-Python数据分析(3)
1.1. 前言 这边我们使用内存分析框架Pandas来分析每日PV。 1.2. 对Pandas的好评 其实个人对Pandas这个模块是颇有好感。本人用Pandas完成可许多的日常实用的小工具，如生产excel报表，简单数据迁移等等。 对我来…
-
MySQL开启命令自动补全功能(auto-rehash)
mysql命令行工具自带这个功能，但是默认是禁用的。想启用其实很简单，打开配置文件找到no-auto-rehash，用符号 # 将其注释，另外增加auto-rehash即可。 1 2 3 [mysql] #no-auto-rehash au…
-
分区表的使用
1.1. 场景 在每个系统中都会生成一些日志，往往有些日志都是需要记录的，比如：生成订单的过程的一些记录、某个账号活动的一些信息。这样一来每天生成的日志会很多，而且还会生成到数据库中。 像这些记录信息在某段时间过后就没用了。为了节省空间资源…
-
每日PV-MRJob-Python数据分析(2)
1.1. 前言 这边我们使用Python的M/R框架MRJob来分析 1.2. M/R步骤 M/R分析数据步骤一般有 3 步： Mapper => Shuffle => Reduce Mapper: 一般是解析文件中的每一行数据…
-
Maxscale-SQL防火墙(3)
Maxscale的SQL防火墙需要有： 防火墙规则文件 将规则文件配置进 /etc/maxscale.cnf 实现 防火墙规则文件 1 2 3 4 5 6 7 8 9 10 11 12 vim /usr/local/maxsc…
-
Maxscale-正确对待读写分离(2)
前言 在现在读写分离已经是不奇怪了, 基本上有接触一点MySQL的都会谈到要读写分离。下面我们以3个方面来探讨一些并且介绍如何使用Maxscale来做适合业务的读写分离： 读写分离要怎么做呢？ 在一个项目当中应该什么时候接入读写分离呢？ 如…
-
记一次Linux杀毒过程
不久前发现机器流出流量突然增加，经查看在/tmp目录下存在可疑文件，并且存在.ssh进程，于是安装clamav全盘扫描，最终确定机器中毒。 病毒现象 1、在tmp目录下moni.lod、gates.lod、time、sess、java等可疑…
-
Camel：软负载管理中间件 通过界面及接口管理Nginx集群
该项目的主Repo移至Dianping Camel，请关注主Repo。 Camel 是大众点评开发的软负载一体解决方案，承担了F5硬负载层后的软负载工作。Camel已成为大众点评网络流量中必不可缺的一层。 关于Camel的部署及使用，请参考…
-
ELK 处理 Percona 审计日志
前提 1、有强烈的审计需求。 2、能允许10%-15%左右的性能损失。 3、有强烈的对数据库操作实时查看需求 Logstash 比较坑的配置 1 2 3 4 5 6 7 8 9 10 11 input { file { …
-
Inception备份库表数据中文乱码解决
MySQL环境 字符集: utf8mb4 乱码重现 要执行的 python 代码 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 3…
领取优惠
提交成功！