IT博客 京ICP备14047844号

来自百度百科：

• 
  

  Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。从2013年5月开始，Redis的开发由Pivotal赞助。

• redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。
• Redis 是一个高性能的key-value数据库。 redis的出现，很大程度补偿了memcached这类key/value存储的不足，在部 分场合可以对关系数据库起到很好的补充作用。它提供了Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等客户端，使用很方便。
• Redis支持主从同步。数据可以从主服务器向任意数量的从服务器上同步，从服务器可以是关联其他从服务器的主服务器。这使得Redis可执行单层树复制。存盘可以有意无意的对数据进行写操作。由于完全实现了发布/订阅机制，使得从数据库在任何地方同步树时，可订阅一个频道并接收主服务器完整的消息发布记录。同步对读取操作的可扩展性和数据冗余很有帮助。
• redis的官网地址，非常好记，是redis.io。（特意查了一下，域名后缀io属于国家域名，是british Indian Ocean territory，即英属印度洋领地）

【官网】：http://redis.io/【中文官网】：http://www.redis.cn/【redis教程】：
http://www.yiibai.com/redis/redis_quick_guide.htmlhttp://doc.redisfans.com/

微信扫描二维码了解更多 ->

[运维博客]
[运维博客]（http://nginxs.blog.51cto.com/）

正则表达式是一种文本模式，包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为“元字符”）。模式描述在搜索文本时要匹配的一个或多个字符串。
正则表达式示例

正则表达式是一种文本模式，包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为“元字符”）。模式描述在搜索文本时要匹配的一个或多个字符串。
正则表达式示例
表达式 匹配
/^\s$/
匹配空行。
/\d{2}-\d{5}/
验证由两位数字、一个连字符再加 5 位数字组成的 ID 号。
/<\s(\S+)(\s[^>])?>[\s\S]<\s\/\1\s>/
匹配 HTML 标记。
下表包含了元字符的完整列表以及它们在正则表达式上下文中的行为：
字符 说明
\
将下一字符标记为特殊字符、文本、反向引用或八进制转义符。例如，“n”匹配字符“n”。“\n”匹配换行符。序列“\”匹配“\”，“(”匹配“(”。
^
匹配输入字符串开始的位置。如果设置了 RegExp 对象的 Multiline 属性，^ 还会与“\n”或“\r”之后的位置匹配。
$
匹配输入字符串结尾的位置。如果设置了 RegExp 对象的 Multiline 属性，$ 还会与“\n”或“\r”之前的位置匹配。
零次或多次匹配前面的字符或子表达式。例如，zo 匹配“z”和“zoo”。 等效于 {0,}。
+
一次或多次匹配前面的字符或子表达式。例如，“zo+”与“zo”和“zoo”匹配，但与“z”不匹配。+ 等效于 {1,}。
?
零次或一次匹配前面的字符或子表达式。例如，“do(es)?”匹配“do”或“does”中的“do”。? 等效于 {0,1}。
{n}
n 是非负整数。正好匹配 n 次。例如，“o{2}”与“Bob”中的“o”不匹配，但与“food”中的两个“o”匹配。
{n,}
n 是非负整数。至少匹配 n 次。例如，“o{2,}”不匹配“Bob”中的“o”，而匹配“foooood”中的所有 o。“o{1,}”等效于“o+”。“o{0,}”等效于“o”。
{n,m}
M 和 n 是非负整数，其中 n <= m。匹配至少 n 次，至多 m 次。例如，“o{1,3}”匹配“fooooood”中的头三个 o。'o{0,1}' 等效于 'o?'。注意：您不能将空格插入逗号和数字之间。
?
当此字符紧随任何其他限定符（*、+、?、{n}、{n,}、{n,m}）之后时，匹配模式是“非贪心的”。“非贪心的”模式匹配搜索到的、尽可能短的字符串，而默认的“贪心的”模式匹配搜索到的、尽可能长的字符串。例如，在字符串“oooo”中，“o+?”只匹配单个“o”，而“o+”匹配所有“o”。
.
匹配除“\n”之外的任何单个字符。若要匹配包括“\n”在内的任意字符，请使用诸如“[\s\S]”之类的模式。
(pattern)
匹配 pattern 并捕获该匹配的子表达式。可以使用 $0…$9 属性从结果“匹配”集合中检索捕获的匹配。若要匹配括号字符 ( )，请使用“(”或者“)”。
(?:pattern)
匹配 pattern 但不捕获该匹配的子表达式，即它是一个非捕获匹配，不存储供以后使用的匹配。这对于用“or”字符 (|) 组合模式部件的情况很有用。例如，'industr(?:y|ies) 是比 'industry|industries' 更经济的表达式。
(?=pattern)
执行正向预测先行搜索的子表达式，该表达式匹配处于匹配 pattern 的字符串的起始点的字符串。它是一个非捕获匹配，即不能捕获供以后使用的匹配。例如，'Windows (?=95|98|NT|2000)' 匹配“Windows 2000”中的“Windows”，但不匹配“Windows 3.1”中的“Windows”。预测先行不占用字符，即发生匹配后，下一匹配的搜索紧随上一匹配之后，而不是在组成预测先行的字符后。
(?!pattern)
执行反向预测先行搜索的子表达式，该表达式匹配不处于匹配 pattern 的字符串的起始点的搜索字符串。它是一个非捕获匹配，即不能捕获供以后使用的匹配。例如，'Windows (?!95|98|NT|2000)' 匹配“Windows 3.1”中的 “Windows”，但不匹配“Windows 2000”中的“Windows”。预测先行不占用字符，即发生匹配后，下一匹配的搜索紧随上一匹配之后，而不是在组成预测先行的字符后。
x|y
匹配 x 或 y。例如，'z|food' 匹配“z”或“food”。'(z|f)ood' 匹配“zood”或“food”。
[xyz]
字符集。匹配包含的任一字符。例如，“[abc]”匹配“plain”中的“a”。
[^xyz]
反向字符集。匹配未包含的任何字符。例如，“[^abc]”匹配“plain”中的“p”。
[a-z]
字符范围。匹配指定范围内的任何字符。例如，“[a-z]”匹配“a”到“z”范围内的任何小写字母。
[^a-z]
反向范围字符。匹配不在指定的范围内的任何字符。例如，“[^a-z]”匹配任何不在“a”到“z”范围内的任何字符。
\b
匹配一个字边界，即字与空格间的位置。例如，“er\b”匹配“never”中的“er”，但不匹配“verb”中的“er”。
\B
非字边界匹配。“er\B”匹配“verb”中的“er”，但不匹配“never”中的“er”。
\cx
匹配 x 指示的控制字符。例如，\cM 匹配 Control-M 或回车符。x 的值必须在 A-Z 或 a-z 之间。如果不是这样，则假定 c 就是“c”字符本身。
\d
数字字符匹配。等效于 [0-9]。
\D
非数字字符匹配。等效于 [^0-9]。
\f
换页符匹配。等效于 \x0c 和 \cL。
\n
换行符匹配。等效于 \x0a 和 \cJ。
\r
匹配一个回车符。等效于 \x0d 和 \cM。
\s
匹配任何空白字符，包括空格、制表符、换页符等。与 [ \f\n\r\t\v] 等效。
\S
匹配任何非空白字符。与 [^ \f\n\r\t\v] 等效。
\t
制表符匹配。与 \x09 和 \cI 等效。
\v
垂直制表符匹配。与 \x0b 和 \cK 等效。
\w
匹配任何字类字符，包括下划线。与“[A-Za-z0-9]”等效。
\W
与任何非单词字符匹配。与“[^A-Za-z0-9]”等效。
\xn
匹配 n，此处的 n 是一个十六进制转义码。十六进制转义码必须正好是两位数长。例如，“\x41”匹配“A”。“\x041”与“\x04”&“1”等效。允许在正则表达式中使用 ASCII 代码。
\num
匹配 num，此处的 num 是一个正整数。到捕获匹配的反向引用。例如，“(.)\1”匹配两个连续的相同字符。
\n
标识一个八进制转义码或反向引用。如果 \n 前面至少有 n 个捕获子表达式，那么 n 是反向引用。否则，如果 n 是八进制数 (0-7)，那么 n 是八进制转义码。
\nm
标识一个八进制转义码或反向引用。如果 \nm 前面至少有 nm 个捕获子表达式，那么 nm 是反向引用。如果 \nm 前面至少有 n 个捕获，则 n 是反向引用，后面跟有字符 m。如果两种前面的情况都不存在，则 \nm 匹配八进制值 nm，其中 n 和 m 是八进制数字 (0-7)。
\nml
当 n 是八进制数 (0-3)，m 和 l 是八进制数 (0-7) 时，匹配八进制转义码 nml。
\un
匹配 n，其中 n 是以四位十六进制数表示的 Unicode 字符。例如，\u00A9 匹配版权符号 (©)。

微信扫描二维码了解更多 ->

[运维博客]
[运维博客]（http://nginxs.blog.51cto.com/）

触发器描述列表：
count:

  count(600): 最近10分钟的值的个数
  count(600,12): 最近10分钟，值等于12的个数
  count(600,12,"gt"): 最近10分钟，值大于12的个数
  count(#10,12,"gt"): 最近的10个值中，值大于12的个数
  count(600,12,"gt",86400): 24小时之前的前10分钟数据中，值大于12的个数
  count(600,,,86400): 24小时之前的前10分钟数据的值的个数

last:

last（0） 等于（＃1）
last( ＃3） 第三最新值
该功能还支持可选的第二个time_shift参数。例如，
last（0,86400）会前一天返回最新的值。
last(1800,3600)会返回一小时前最新的半小时的最新数据

avg:

avg(#5)           #最近五次值求平均
⇒ avg(3600)  #最近一小时值求平均
⇒ avg(3600,86400)     #一天前的最近一小时平均值

iregexp 这个函数是不区分大小写的正则表达式。
regexp

　检查如果last(最近的)值匹配正则表达式。参数定义正则表达式,POSIX扩展风格。
　　第二个可选参数的秒数或分析收集到的值的数量。在这种情况下,一个以上的值将被处理。
　　这个函数是区分大小写的。[正则表达式时光门](http://new.nginxs.net/read.php/post-201603052135/)
　　返回:
　　1 -发现
　　0,否

在 “0点到6点” 的 “CPU负载大于2” 时候执行触发器
{zabbix:system.cpu.load[all,avg1].min(5m)}>2 and {zabbix:system.cpu.load[all,avg1].time()}>000000 and {zabbix:system.cpu.load[all,avg1].time()}<060000

微信扫描二维码了解更多 ->

[运维博客]
[运维博客]（http://nginxs.blog.51cto.com/）

最近开始接触mongodb，顺便用python的pymongo写了一个测试性能的脚本

[root@cloud ~]# cat /home/baishaohua/mongo_test.py 
#!/usr/bin/python
import pymongo
import time,datetime

conn=pymongo.Connection('192.168.1.8',27017)     #建立连接
db=conn.test           #进入test库
col=db.people         #进入people集合

print "Test Write==>"              #开始写测试
atime=time.time()                    #记录开始时间戳atime
doc = { "high" : 175, "six" : "true", "phone_num" : 1222222, "name" : "str(i)" }
for i in range(1,1200000):        #循环顺序写入120w次
  col.insert(doc)
btime=time.time()                    #记录结束时间戳
print "Writeexec time:"
print btime-atime                    #计算执行市场

print "Test Read==>"
atime=time.time()
doc = { "name" : "str(i)" }
for i in range(1,1200000):        #循环顺序读取120w次
  col.find(doc)
btime=time.time()
print "Read exec time:"
print btime-atime

print "Test Delete==>"
atime=time.time()
doc = { "name" : "str(i)" }
for i in range(1,1200000):        #循环顺序删除120w次
  col.remove(doc)
btime=time.time()
print "Delete exec time:"
print btime-atime

微信扫描二维码了解更多 ->

[运维博客]
[运维博客]（http://nginxs.blog.51cto.com/）

mongodb和mysql对比

mysql mongodb
database db
tables collections
row document

            数据库的存储引擎组件,负责管理存储在内存和硬盘上的数据。MongoDB支持多个存储引擎,为特定的工作指派合适的存储引擎为您的用例可以显著提高应用程序的性能。

　　MongoDB WiredTiger存储引擎是主要的组件负责管理数据。MongoDB提供各种存储引擎,允许您选择一个最适合您的应用程序。
　　
WiredTiger存储引擎是Mongodb3.0新加的，在很普通的机器上就能超过2w的写频率，并发读写比以前提高了很多，mongodb3.2默认使用这个引擎。特性：

1、只支持64位系统

并发

2、支持文档级别的并发（多用户可能同时操作同集合内不同文档）

3、对于大多数读写操作，wiredtiger优化了控制并发。它的锁包含，全局锁，数据库锁，文档级别锁。当存储引擎检查到两个操作冲突操作时，其中一个写操作会默认进行一次重试。

一些涉及到多个库的短时全局操作，任然需要一个实例级别的全局锁。例如删除一个集合，仍然需要数据库锁。

快照和检查点

   wiredtiger使用多版本并发控制（MVCC），当开始一个操作时wiredtiger会给这个事物提供一个当前时间点的数据快照，内存中的快照数据提供一个一致性视图。

    当数据写入硬盘时，wiredtiger将所有的数据以快照方式写入硬盘保证数据的一致。当前持久化的文件就是一个“检查点”，这个“检查点”需要确保和最新数据的一致性，这个“检查点”也可以唤作恢复点。

WiredTiger使用写前事务日志和检查点,以确保数据持久性。即使没有日志“检查点”也可以用于恢复数据。

     即使写入新的“检查点”，之前的“检查点”依然有效，所以当mongodb终止或者在创建新的“checkport”发生错误时，重启后依然可以保留最近一次有效的“检查点”的数据，直到新的“检查点”可访问以后mongodb才会释放“旧检查点”。

  MongoDB配置WiredTiger创建"检查点"(即写快照数据到磁盘)每隔60秒或2 g的journal data写到磁盘。这样就意味着

服务器突然宕机的话，这部分内存数据是会丢失的。

Journaljournal 是一个日志,在发生问题时候帮助你恢复数据。有几个可配置选项使你在平衡性能和可靠性之间调试适用于您的特定用例。
所有的“检查点”之间的修改都有日志的记录，可以通过这些记录恢复之前修改的数据到最近的检查点。
所以你会看到日志进程会频繁的把信息写到硬盘。
wiredtiger journal 默认使用快速压缩库写入。你可以修改“storage.wiredTiger.engineConfig.journalCompressor”设置。

**注意**

  wiredtiger的最小日志记录是128byte，如果一条日志小于等于128byte将不记录。

如果单机的情况下，不使用journal将会意味着出现问题将会丢失一部分数据。

压缩

WiredTiger引擎支持所有的集合和索引压缩存储。这是以消耗额外的CPU为代价的来节省存储空间.
WiredTiger默认使用snappy算法压缩，也可以使用zlib。
参数介绍：
“storage.wiredTiger.collectionConfig.blockCompressor”zlib算法压缩。
“storage.wiredTiger.indexConfig.prefixCompression”关闭索引压缩

内存使用

mongodb WiredTiger引擎和文件都需要在内存中缓存。
在mongodb3.2中变化较大，WiredTiger使用缓存将会更多，内存使用达到“60%-1G”或者1G。
而文件缓存则使用剩余的内存或者“WiredTiger”和其它进程释放的内存。

“storage.wiredTiger.engineConfig.cacheSizeGB"

微信扫描二维码了解更多 ->

[运维博客]

我的推荐码 : mo2lhi
有效期至：2016-03-31 23:59:59

阿里云新手优惠券：http://tb.cn/sI3Hw6x

微信扫描二维码了解更多 ->

[运维博客]
[运维博客]（http://nginxs.blog.51cto.com/）

 2016年大家期待的zabbix3.0终于出现了TLS(长时间版本)，也agent到server支持加密传输。但是总是感觉新版界面感觉白乎乎的一片。

就连之前的创建screen的地方都换到monitor这个父目录。不过多了一项screen权限管理

微信扫描二维码了解更多 ->

[运维博客]

\h：查看SQL命令的解释，比如\h select。
\?：查看psql命令列表。
\l：列出所有数据库。
\c [database_name]：连接其他数据库。
\d：列出当前数据库的所有表格。
\d [table_name]：列出某一张表格的结构。
\du：列出所有用户。
\e：打开文本编辑器。
\conninfo：列出当前数据库和连接的信息。

切换到对应用户
[root@git-node4 ~]# su - gitlab-psql
登录到postgresql
-sh-4.1$ psql -d gitlabhq_production
psql (9.2.8)
Type "help" for help.

查看所有库
    gitlabhq_production=# \l
                                            List of databases
            Name         |    Owner    | Encoding | Collate | Ctype |        Access privileges        
    ---------------------+-------------+----------+---------+-------+---------------------------------
     gitlabhq_production | gitlab      | UTF8     | C       | C     | 
     postgres            | gitlab-psql | UTF8     | C       | C     | 
     template0           | gitlab-psql | UTF8     | C       | C     | =c/"gitlab-psql"               +
                         |             |          |         |       | "gitlab-psql"=CTc/"gitlab-psql"
     template1           | gitlab-psql | UTF8     | C       | C     | =c/"gitlab-psql"               +
                         |             |          |         |       | "gitlab-psql"=CTc/"gitlab-psql"
    (4 rows)

查看所有表
gitlabhq_production=# \dt
List of relations
Schema | Name | Type | Owner

--------+----------------------+-------+--------
public | application_settings | table | gitlab
public | broadcast_messages | table | gitlab
public | deploy_keys_projects | table | gitlab
public | emails | table | gitlab
public | events | table | gitlab
public | forked_project_links | table | gitlab
public | identities | table | gitlab
public | issues | table | gitlab
public | keys | table | gitlab
public | label_links | table | gitlab
public | labels | table | gitlab
public | members | table | gitlab
public | merge_request_diffs | table | gitlab
public | merge_requests | table | gitlab
public | milestones | table | gitlab
public | namespaces | table | gitlab
public | notes | table | gitlab
public | oauth_access_grants | table | gitlab
public | oauth_access_tokens | table | gitlab
public | oauth_applications | table | gitlab
public | projects | table | gitlab
public | protected_branches | table | gitlab
public | schema_migrations | table | gitlab
public | services | table | gitlab
public | snippets | table | gitlab
public | subscriptions | table | gitlab
public | taggings | table | gitlab
public | tags | table | gitlab
public | users | table | gitlab
public | users_star_projects | table | gitlab
public | web_hooks | table | gitlab
(31 rows)

以下SQL 基本和mysql一致：SELECT,UPDATE,INSERT,DELETE,CREATE,ALTER

微信扫描二维码了解更多 ->

[运维博客]
【数据分类】

监控： zabbix Nagios

数据库： MySql Redis hadoop [SSDB] Oracle mongodb elasticsearch postgresql

Web服务：Nginx Apache Tomcat Jboss Tengine

文件系统： NFS glusterfs MFS

容器: Docker

私有云： Openstack

公有云： 阿里云 腾讯云 百度云API 青云 盛大云

版本管理 ： SVN Git

管理工具 ： SaltStack Puppt Ansible

任务流程管理 : Readmine Jira Bugzilla

微信扫描二维码了解更多 ->

[运维博客]
[运维博客]（http://nginxs.blog.51cto.com/）