理论篇-学习

2017-05-24

学习的目的是应用，不是为了学习而学习。

从书本上学知识，有三个过程。

第一个过程，我能理解了
第二个过程，我能消化了
第三个过程，我能应用了

如果只停留在第一个过程，那么学到的知识很快也就会忘记，并不能给自己带来能力上的提升，反而会让自己越来越失望，觉得学的东西怎么都忘记了呢？

展开全文 >>

理论篇-python之属性管理

2017-05-23

python提供了两大类属性管理的方法，分别是:1. 基于运算符重载 2. 基于descriptor协议

基于运算符重载的属性管理方法

__getattr__           # 拦截所有未定义属性的访问
__getattribute__      # 拦截所有属性的访问(只能在新式类中使用)
__setattr__           # 拦截所有属性的赋值
__delattr__           # 拦截所有属性的删除
getattr(object, name[, default]) -> value  # object.name

防止循环调用的方法: 1. 使用属性字典 2. 调用父类的方法 3. 调用其他对象的方法

__getattr__和__getattribute__一般用在实现委托器模式的代码中。

class Person:
    def __init__(self, name):
        self.name = name
        
    def __getattr__(self, name):
        print("__getattr__")
        return "undefined"
        
    def __setattr__(self, name, value):
        print("__setattr__")
        self.__dict__[name] = value   # important!!!   
    
    def __delattr__(self, name):
        print("__delattr__")
        del self.name
        
class Person(object):
    def __init__(self, name):
        self.name = name
    
    def __getattribute__(self, name):
        print("__getattribute__")
        return object.__getattribute__(self, name)
        
    def __setattr__(self, name, value):
        object.__setattr__(self, name, value)
        
person = Person("xxx")
print(person.name)
person.age = 20
print(person.age)
print(person.sex)

基于descriptor协议的属性管理方法

基于descriptor的属性管理方法必须在新式类中使用。

class Name(object):
    def __get__(self, instance, owner):
        print("__get__")
        return instance._name
        
    def __set__(self, instance, name):
        print("__set__")
        instance._name = name
        
    def __delete__(self):
        print("__delete__")
        del self._name
        
class Person(object):
    def __init__(self, name):
        self._name = name
        
    name = Name()
    
person = Person("xxx")
print(person.name)
person.name = "yyy"
print(person.name)
del person.name
person.age = 10
print(person.age)

基于property的属性管理方法

property是descriptor协议的一种特例，基于property的属性管理方法必须在新式类中使用。

class Person(object):
    def __init__(self, name):
        self._name = name
        
    def getName(self):
        print("getName")
        return self._name
        
    def setName(self, name):
        print("setName")
        self._name = name
    
    def delName(self):
        print("delName")
        del self._name
        
    name = property(getName, setName, delName, None)
    
person = Person("xxx")
print(person.name)
person.name = "yyy"
print(person.name)
del person.name
person.age = 10
print(person.age)

使用装饰器的property

class Person(object):
    def __init__(self, name):
        self._name = name
    
    @property
    def name(self):
        print("getName")
        return self._name
    @name.setter
    def name(self, name):
        print("setName")
        self._name = name
    @name.deleter
    def name(self):
        print("delName")
        del self._name
        
person = Person("xxx")
print(person.name)
person.name = "yyy"
print(person.name)
del person.name
person.age = 10
print(person.age)

进阶篇

getattr和getattribute需注意的点

正常的函数调用，会按照之前的规则拦截，但是对于重载函数的调用，拦截规则如下:

在3.x里，对于重载函数的隐式调用，__getattr__和__getattribute__不会拦截，显式调用会拦截
在2.6里，对于重载函数，无论显式调用还是隐式调用，若没有在类中定义，则__getattr__会拦截
在2.6里，对于重载函数的隐式调用，__getattribute__不会拦截，显式调用会拦截

2.6

类别	隐式调用	显式调用
__getattr__	若没定义则拦截	若没定义则拦截
__getattribute__	不拦截	拦截

3.0

类别	隐式调用	显式调用
__getattr__	不拦截	若没定义则拦截
__getattribute__	不拦截	拦截

property与descriptor的关系

既然property是descriptor的一种特例，那么它们之间是什么关系？

class Property(object):
    def __init__(self, fget=None, fset=None, fdel=None, fdoc=None):
        self.fget = fget
        self.fset = fset
        self.fdel = fdel
        self.__doc__ = fdoc
        
    def __get__(self, instance, instanceType=None):
        if instance is None:
            return self
        if (self.fget is None):
            raise AttributeError("can't get attribute")
        return self.fget(instance)
        
    def __set__(self, instance, value):
        if (self.fset is None):
            raise AttributeError("can't set attribute")
        self.fset(instance, value)
        
    def __delete__(self, instance):
        if (self.fdel is None):
            raise AttributeError("can't delete attribute")
        self.fdel(instance)
        
    def setter(self, fset):
        self.fset = fset
        return self
    
    def deleter(self, fdel):
        self.fdel = fdel
        return self
class Person(object):
    def __init__(self, name):
        self._name = name
    
    def getName(self):
        print("getName")
        return self._name
    
    def setName(self, name):
        print("setName")
        self._name = name
    
    def delName(self):
        print("delName")
        del self._name
    
    name = Property(getName, setName, delName, None)
    
person = Person("xxx")
print(person.name)
person.name = "yyy"
print(person.name)
del person.name
person.age = 10
print(person.age)
class NewPerson(object):
    def __init__(self, name):
        self._name = name
    @Property
    def name(self):
        print("getName")
        return self._name
    @name.setter
    def name(self, name):
        print("setName")
        self._name = name
    @name.deleter    
    def name(self):
        print("delName")
        del self._name
        
person = NewPerson("xxx")
print(person.name)
person.name = "yyy"
print(person.name)
del person.name
person.age = 10
print(person.age)

__slots__也是基于descriptor协议实现的。

三者之间的关系

__getattr__和__getattribute__一般用在实现委托器模式的代码中。一般用来管理内嵌对象的属性访问
property和descriptor一般用来管理某个类的特定属性。

展开全文 >>

实战篇-lua

2017-05-21

安装

展开全文 >>

理论篇-lua

2017-05-21

language

A chunk is simply a sequence of commands(or statements)

lua里面的语句分隔符没有实际意义，只是让人看上去比较清楚。

1	dofile("xxx.lua") # 执行一个lua文件

lua里面的变量名可以除数字开头的字母、数字、下划线的任意组合，但是以下划线开头后跟大写字母的变量是lua语言保留的。lua是大小写敏感的。以下关键字也是lua语言保留的。

1 2	and break do else elseif end false goto for function if in local nil not or repeat return then true until while

注释

--xxx            # 行注释
--[[xxx]]        # 块注释
# 小技巧
--[[             # 当取消该块注释时只需在前面加-
xxx
--]]

全局变量

lua里面的全局变量不需要显式声明。如果没有声明就使用，将得到nil。

当将一个变量赋值为nil时，意思是告诉lua编译器回收这个变量占用的内存。

解释器

#!/usr/bin/env lua
#!/usr/local/bin/lua    # 指定lua解释器
bogon:lua fenghui2013$ lua -h
lua: unrecognized option '-h'
usage: lua [options] [script [args]]
Available options are:
  -e stat  execute string 'stat'
  -i       enter interactive mode after executing 'script'
  -l name  require library 'name'
  -v       show version information
  -E       ignore environment variables
  --       stop handling options
  -        stop handling options and execute stdin

解释器在执行之前会寻找LUA_INIT_5_2或LUA_INIT全局变量，若内容是@filename，则执行该文件，否则执行全局变量的内容。

展开全文 >>

实战篇-linux之优化

2017-05-21

1 2	# 对tcp各个状态的连接进行统计 netstat -n \| awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

1 2	# somaxconn echo 2048 > /proc/sys/net/core/somaxconn # 临时修改最大连接数

# /etc/sysctl.conf
# core
net.core.somaxconn = 2048   # 最大连接数 listen的backlog
# tcp
# 开启syn cookies。当出现syn等待队列溢出时，启用cookies来处理，可防范少量syn攻击，默认为0
net.ipv4.tcp_syncookies=1
# 开启重用。允许将TIME-WAIT sockets重新用于新的连接，默认为0
net.ipv4.tcp_tw_reuse=1
# 开启快速回收，默认为0
net.ipv4.tcp_tw_recycle=1
# 修改系统默认的timeout
net.ipv4.tcp_fin_timeout=30
# 建议在流量非常大的服务器上开启
# tcp发送keepalive消息的频率，默认为2小时
net.ipv4.tcp_keepalive_time=1200
# 可用的建立连接的端口范围 默认为32768~61000
net.ipv4.ip_local_port_range=10000 65000
# syn队列的长度，默认为1024
net.ipv4.tcp_max_syn_backlog=8192
# time wait的最大数量，默认为18000
net.ipv4.tcp_max_tw_buckets=6000
#net.core.netdev_max_backlog = 32768
sysctl -p                   # 使配置生效

展开全文 >>

实战篇-redis

2017-05-21

安装

官方传送门

wget http://download.redis.io/releases/redis-3.2.9.tar.gz
tar xzf redis-3.2.9.tar.gz
cd redis-3.2.9
make
make install

redis-server path/to/redis.conf              # 服务启动程序
redis-sentinel path/to/sentinel.conf         # 启动一个哨兵节点
redis-cli                                    # 客户端程序
    -c # 集群模式
redis-benchmark                              # 性能测试工具
redis-trib.rb                                # ruby编写的集群管理工具

redis.conf

bind 127.0.0.1               # 监听某些接口
protected-mode yes           # 如果想让其他主机访问，则设为no
port 6379                    # 监听端口
tcp-backlog 511              # 
# 配置redis可用的最大内存数及对应的内存回收算法
maxmemory                    # 可占用的最大内存
maxmemory-policy             # 内存回收算法 volatile-lru allkeys-lru
# 服务器中数据库的数量
databases = 16
notify-keyspace-events "K$"   # 发布订阅配置
######## SNAPSHOTTING ########
# 异步RDB持久化配置  格式:save <seconds> <changes>
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes   # RDB后台保存失败后拒绝所有的写操作
rdbcompression yes                # 启用压缩功能
# AOF持久化配置
appendonly yes                    # 开启AOF持久化功能
appendfilename "appendonly.aof"   # 持久化文件名
# no: don't fsync, just let the OS flush the data when it wants. Faster.
# always: fsync after every write to the append only log. Slow, Safest.
# everysec: fsync only one time every second. Compromise.
appendfsync always                # 持久化模式
######## SECURITY ########
requirepass password              # 开启身份验证
rename-command CONFIG ""          # 重命名命令的名字 
######## REPLICATION ########
slaveof <masterip> <masterport>   # 配置该从节点的主节点
masterauth <master-password>      # 从节点向主节点发起验证
slave-serve-stale-data yes        # 
slave-read-only yes               # 从节点只读
# 当使用diskless同步策略时，在转换开始后，新到达的从节点将会被排队并等待下一次新的转换，为了提高传输的效率(同时向多个从节点传输)，主节点在开始传输之前会等待一段时间，期望获得更多的从节点
repl-diskless-sync no             # 主从同步的RDB文件是否写到磁盘上
repl-diskless-sync-delay 5        # 主节点开始传输之前等待的时间(秒)
# repl-ping-slave-period 10
# repl-timeout 60
repl-disable-tcp-nodelay no       # tcpnodelay 40毫秒延迟
repl-backlog-size 1mb             # 主从部分同步中积压缓冲区的大小
# repl-backlog-ttl 3600           # 最后一个从节点断开后多长时间后积压缓冲区被释放
slave-priority 100                # 从节点优先级 选举为主节点时使用
min-slaves-to-write 3             # 可用的slave最小数量
min-slaves-max-lag 10             # slave最大的交互时间间隔
# slave-announce-ip 5.5.5.5       
# slave-announce-port 1234        # 防止端口转发和NAT
######## REDIS CLUSER ########
# cluster-enabled yes             # 是否开启集群模式
# cluster-node-timeout 15000      # 节点超时时间
######## ADVANCED CONFIG ########
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60    # 客户端输出缓冲区的限制
hz 10                             # serverCron函数 每秒执行次数

sentinel.conf

# bind 127.0.0.1 192.168.1.1
# protected-mode no            # 默认设置下只能对内访问，通过以上两个选项可设置
port 26379                                       # 端口
# sentinel announce-ip <ip>
# sentinel announce-port <port>                  # 防止端口转发和NAT
dir /tmp                                         # 工作目录
sentinel monitor mymaster 127.0.0.1 6379 2       # 客观下线的判断标准
# sentinel auth-pass <master-name> <password>    # 验证
sentinel down-after-milliseconds mymaster 30000  # 主观下线的判断标准
sentinel parallel-syncs mymaster 1               # 
sentinel failover-timeout mymaster 180000        # 
# sentinel notification-script mymaster /var/redis/notify.sh
# sentinel client-reconfig-script mymaster /var/redis/reconfig.sh # 自动化脚本配置

展开全文 >>

理论篇-数据结构之跳跃表

2017-05-20

跳跃表

跳跃表是一种有序链表，其中的每个节点包含数量可变的链接，并且节点中的第i个链接单独实现链表，它跳过少于i个链接的节点。

跳跃表支持平均O(lgN)，最坏O(N)的时间复杂度。大部分情况下，跳跃表的性能可以和平衡树相媲美，又因为跳跃表的实现比平衡树简单，所以很多程序使用跳跃表来代替平衡树。

技术要点

插入节点时，首要任务是确定该节点有多少个链接。确定方法: 每$t^{j}$个节点中一个至少有j+1个链接。

跳跃表层数的期望值约为$log^{N}_{t}$。

实现时可以使用以1/$t^{j}$为概率返回j+1的函数来随机化节点的层数。

展开全文 >>

理论篇-redis之各种命令

2017-05-20

命令

redis总共200个命令，其中字符串对象相关命令24个、列表对象相关命令17个、哈希对象相关命令15个、集合对象相关命令15个、有序集合对象相关命令21个。

字符串对象相关命令

命令	解释	时间复杂度	特别说明
SET key value [EX seconds] [PX milliseconds] [NX \| XX]		O(1)	覆写之前的值，若有过期时间，则删除
SETEX key seconds value		O(1)	原子操作
SETNX key value		O(1)
GET key		O(1)
APPEND key value		O(1)
STRLEN key	返回key指定的字符串的长度
SETRANGE key offset value	覆写字符串的一部分	O(1)
GETRANGE key start end	获取字符串的一部分	O(N)
INC key		O(1)
INCBY key increment		O(1)
INCBYFLOAT key increment		O(1)
DECR key		O(1)
DECRBY key decrement		O(1)

Pattern: Rate limiter

Pattern: Time series

Design pattern: Locking with SETNX

列表对象相关命令

命令	解释	时间复杂度	特别说明
BLPOP key [key …] timeout	LPOP的阻塞版本	O(1)
BRPOP key [key …] timeout	RPOP的阻塞版本	O(1)
BRPOPLPUSH source destination	RPOPLPUSH的阻塞版本	O(1)
LINDEX key index	返回指定索引处的值	O(N)	表头从0开始表尾从-1开始
LINSERT key BEFORE \| AFTER pivot value	在列表某一项之前或之后添加元素	O(N)
LLEN key	获取一个key指定的列表的长度	O(1)
LPOP	移除并返回列表的第一个元素	O(1)
LPUSH key value [value …]	插入一个或多个值到表头	O(1)	若key指定的列表不存在，则创建一个空的列表
LPUSHX key value	插入一个值到表头	O(1)	若key指定的列表不存在，则什么也不做
LRANGE key start stop	获取key指定的列表里的指定范围的元素
LREM key count value	删除列表中的元素	O(N)	count>0 从表开始 count<0从表尾开始 count=0 删除所有
LSET key index value	设置索引处的值
LTRIM key start stop	截断列表	O(N)
RPOP	移除并返回列表的最后一个元素	O(1)
RPOPLPUSH source destination	移除并返回source指定的列表的最后一个节点并且将该节点放入destination指定的列表的表头	O(1)	原子操作
RPUSH key value [value …]	插入一个或多个值到表尾	O(1)	若key指定的列表不存在，则创建一个空的列表
RPUSHX key value	追加一个值到列表	O(1)	若key指定的列表不存在，则什么也不做

Pattern: Reliable queue

哈希对象相关命令

命令	解释	时间复杂度	特别说明
HDEL key field [field …]	删除指定的field	O(N)
HEXISTS key field	检查field是否存在	O(1)
HGET key field	获取值	O(1)
HGETALL key	获取key指定的哈希表中所有的field和value	O(N)
HINCBY key field increment	递增值	O(1)	若没有则创建
HINCBYFLOAT key field increment	递增值	O(1)	若没有则创建
HKEYS key	返回哈希对象中的所有键	O(N)
HLEN key	获取key指定的哈希表中field的数量	O(1)
HMGET key field [field …]	返回多个指定的field的值	O(N)
HMSET key field value [field value …]	设置多个指定的键值对	O(N)
HSCAN key cursor [MATCH pattern] [COUNT count]
HSET key field value	存储键值对	O(1)
HSETNX key field value	设置键值对	O(1)	若存在则什么也不做
HSTRLEN key field	返回field指定的值的长度	O(1)
HVALS key	获取哈希对象中的所有值	O(N)

集合对象相关命令

命令	解释	时间复杂度	特别说明
SADD key member [member …]	增加多个成员到集合中	O(1)
SCARD key	返回集合中的元素数量	O(1)
SDIFF key [key …]	返回第一个key指定的集合里有的而其他key指定的集合里没有的所有元素	O(N)	差集
SDIFFSTORE destination key [key …]	将第一个key指定的集合里有的而其他key指定的集合里没有的所有元素存入destination指定的集合	O(N)
SINTER key [key …]	返回所有key指定的集合的交集	O(N*M)	交集
SINTERSTORE destination key [key …]	将所有key指定的集合的交集存到destination集合	O(N*M)
SISMEMBER key member	检查member是否是在key指定的集合里	O(1)
SMEMBERS key	返回所有成员	O(N)
SMOVE source destination member	从source指定的集合移动member到destination指定的集合	O(1)
SPOP key [count]	移除并返回一个或多个随机元素	O(1)
SRANDMEMBER key [count]		O(1)	当count>0时返回count个不同的元素，当count<0时，可以返回多个相同的元素
SREM key member [member …]		O(N)
SSCAN key cursor [MATCH pattern] [COUNT count]
SUNION key [key …]	返回所有key指定的所有不同的元素	O(N)	并集
SUNIONSTORE destination key [key …]	将所有key指定的所有不同的元素添加到destination	O(N)

有序集合对象相关命令

命令	解释	时间复杂度	特别说明
ZADD key [NX \| XX] [CH] [INCR] score member [score member …]	向key指定的有序集合中添加带有分值的字段	O(lg(N))
ZCARD key	获取key指定的有序集合里的元素数量	O(1)
ZCOUNT key min max	返回分值在min和max之间的元素的数量	O(lgN)
ZINCBY key increment member	增加指定成员的分值	O(lnN)
ZINTERSCORE destination numkeys key [key …] [WEIGHTS weight [weight …]] [AGGREGATE SUM \| MIN \| MAX]	交集	O(NK)+O(MlgM) N是最小的有序集合的数量 K是有序集合的个数 M是结果有序集合的数量
ZLEXCOUNT key min max	返回值在min到max之间的元素的数量	O(lgN)
ZRANGE key start stop [WITHSCORES]	获取key指定的有序集合里的指定范围的元素	O(lg(N)+M)
ZRANGEBYLEX key min max [LIMIT offset count]	返回值在min和max之间的元素	O(lg(N)+M)	元素的分值必须相等
ZRANGEBYSTORE key min max [WITHSCORES] [LIMIT offset count]	返回分值在min和max之间的元素	O(lg(N)+M)
ZRANK key member	返回元素的排名	O(lgN)
ZREM key member [member …]	删除指定的元素	O(M*lgN) N是有序集合元素的数量 M是要删除的元素的数量
ZREMRANGEBYLEX key min max	按照值删除指定范围的元素	O(lg(N)+M)
ZREMRANGEBYRANK key start stop	按照排名删除指定范围的元素	O(lg(N)+M) N是有序集合元素的数量 M是要删除的元素的数量
ZREMRANGEBYSCORE key min max	按照分值删除指定范围的元素	O(lg(N)+M)
ZREVRANGE key start stop [WITHSCORES]	以相反的顺序返回指定范围的元素	O(lg(N)+M) N是有序集合元素的数量 M是要返回的元素的数量
ZREVRANGEBYLEX key max min [LIMIT offset count]	按照值以相反的顺序返回指定范围的元素	O(lg(N)+M) N有序集合元素的数量 M是返回的元素的数量	所有元素分值必须相等
ZREVRANGEBYSCORE key max min [WITHSCORES] [LIMIT offset count]	按照分值以相反的顺序返回指定范围的元素	O(lg(N)+M)
ZREVRANK key member	以相反的顺序返回元素的排名	O(lgN)
ZSCAN key cursor [MATCH pattern] [COUNT count]
ZSCORE key member	返回元素的分值	O(1)
ZUNIONSTORE destination numkeys key [key …] [WEIGHTS weight [weight …]] [AGGREGATE SUM \| MIN \| MAX]	并集	O(N)+O(MlgM) N是所有有序集合的元素之和 M是结果有序集合的元素总数

超时时间相关命令

命令	解释	时间复杂度	特别说明
EXPIRE key seconds	设置key的超时时间	O(1)	对key指定的值得修改操作不会影响到超时时间
PEXPIRE key milliseconds	设置key的超时时间	O(1)	毫秒单位
EXPIREAT key timestamp	设置key的超时时间	O(1)	设置秒级时间戳
PEXPIREAT key milliseconds-timestamp	设置key的超时时间	O(1)	设置毫秒级时间戳
PERSISIT key	删除key上的超时时间	O(1)
TTL key	返回有超时时间的关键字的剩余时间	O(1)	单位为秒
PTTL key	返回有超时时间的关键字的剩余时间	O(1)	单位为毫秒
TIME	返回服务器当前时间	O(1)	秒级时间戳+毫秒数

数据库相关命令

命令	解释	时间复杂度	特别说明
SELECT index	选择某个数据库		默认从0开始
DEL key [key …]	删除指定的键	O(N)
RANDOMKEY	从当前数据库中随机选择一个key	O(1)
EXISTS key [key …]	判断是否存在关键字	O(1)
DBSIZE	返回当前数据库关键字的数量
FLUSHALL [ASYNC]	清空所有数据库	O(N)
FLUSHDB [ASYNC]	清空当前数据库	O(N)

持久化命令

命令	解释	特别说明
SAVE	以RDB文件的形式同步持久化数据库	该命令会阻塞所有其他客户端的操作
BGSAVE	以RDB文件的形式异步持久化数据库
LASTSAVE	返回上次数据库执行保存的时间戳	客户端可以通过该命令来判断BGSAVE是否执行成功
BGREWRITEAOF	启动一个AOF重写进程

客户端相关的命令

命令	解释	时间复杂度	特别说明
CLIENT KILL [ip:port] [ID client-id] [TYPE noral \| master \| slave \| pubsub] [ADDR ip:port] [SKIPME yes/no]	关闭客户端连接
CLIENT LIST	返回客户端的信息	O(N)
CLIENT PAUSE timeout	暂定所有的客户端(内部交互客户端除外)		单位为毫秒
CLIENT REPLY ON \| OFF \| SKIP	服务器是否响应客户端
CLIENT SETNAME	设置当前连接的名字	O(1)
CLIENT GETNAME	返回当前连接的名字	O(1)

事务相关命令

命令	解释	时间复杂度	特别说明
DISCARD
EXEC	开始执行命令
MULTI	事务的开始
UNWATCH
WATCH	事务开始的另一种方式

主从复制相关命令

命令	解释	时间复杂度	特别说明
SLAVEOF host port	使该服务器成为host:port服务器的从节点

内部相关命令

命令	解释	时间复杂度	特别说明
SYNC	从节点从主节点同步数据
PSYNC runid offset	从节点从主节点同步数据

集群相关命令

命令	解释	时间复杂度	特别说明
CLUSTER ADDSLOTS
CLUSTER COUNT-FAILURE-REPORTS node-id
CLUSTER COUNTKEYSINSLOT slot
CLUSTER DELSLOTS slot [slot …]
CLUSTER FAILOVER [FORCE \| TAKEOVER]
CLUSTER FORGET node-id
CLUSTER GETKEYSINSLOT slot count	返回count个指定槽里的关键字的数量
CLUSTER INFO
CLUSTER KEYSLOT key	返回key对应的槽值	O(N)
CLUSTER MEET ip port	将其它节点加入到集群中	O(1)
CLUSTER NODES
CLUSTER REPLICATE node-id	设置从节点
CLUSTER RESET [HARD \| SOFT]
CLUSTER SAVECONFIG
CLUSTER SET-CONFIG-EPOCH config-epoch
CLUSTER SETSLOT slot IMPORTING \| MIGRATING \| STABLE \| NODE [node-id]	用于重新分片
CLUSTER SLAVES node-id
CLUSTER SLOTS
MIGRATE host port key \| “” destination-db timeout [COPY] [REPLACE] [KEYS key [key …]]	原子操作将key从一个数据库转移到另一个数据库	O(N)	在源数据库上执行DUMP+DEL 在目标数据库上执行RESTORE

性能优化相关

命令	解释	时间复杂度	特别说明
INFO [section]	返回服务器的信息

发布订阅

命令	解释	时间复杂度
PSUBSCRIBE pattern [pattern …]	使客户端订阅一个或多个模式	O(N)
PUBLISH channel message	在某个频道上发布一条消息	O(N+M)
PUBSUB	自省命令，监测发布订阅系统的状态
PUNSUBSCRIBE [pattern [pattern …]]	使客户端退订一个或多个模式	O(N+M)
SUBSCRIBE channel [channel …]	使客户端订阅一个或多个频道	O(N)
UNSUBSCRIBE [channel [channel …]]	使客户端退订一个或多个频道	O(N)

其它命令

命令	解释	时间复杂度
DUMP key	序列化关键字指定的值
RESTORE key ttl serialized-value [REPLACE]	使用序列化的值创建key
SORT key [BY pattern] [LIMIT offset count] [GET pattern [GET pattern]] [ASC \| DESC] [ALPHA] [STORE destination]	排序
TYPE key	返回key指定的值的类型，可能是string, list, set, zset, hash	O(1)
OBJECT sumcommand [arguments [arguments …]]	查看与key相关的redis对象的内部	O(1)

展开全文 >>

源码篇-innodb之数据页结构解析

2017-05-19

index_page_overview

数据页开始的地方:16KB*3=0xc000
file header(38):
47 71 e9 33               # 该页的checksum值
00 00 00 03               # 该页的偏移量，从0开始
ff ff ff ff               # 前一页，因为只有当前页所有为0xffffffff
ff ff ff ff               # 后一页，因为只有当前页所以为0xffffffff
00 00 00 00 00 01 d7 42   # 该页的LSN
45 bf                     # 页类型，该页为数据页
00 00 00 00 00 00 00 00   #
00 00 00 05               # 表空间的space id
index header(36):
00 02                     # page directory 占用2个槽，每个槽占用2个字节
01 9c                     # 空闲空间开始位置的偏移量 0xc000+0x019c=0xc19c
80 09                     # 初始值为0x8002，0x8009-0x8002=0x0007 代表共有7条记录
00 00                     # 删除的记录数
00 00                     # 删除记录的字节数总和
01 79                     # 最后插入位置的偏移量
00 02                     # 插入方向
00 06                     # 一个方向连续插入的记录数
00 07                     # 该页的行记录数
00 00 00 00 00 00 00 00
00 00                     # 该页在B+树中的层数
00 00 00 00 00 00  00 17  # 索引id
FSEG header(20):
00 00 00 05 00 00 00 02 00 f2
00 00 00 05 00 00 00 02 00 32
system records:
0xc05e~0xc077
01 00 02 00 1e            # record header
69 6e 66 69 6d 75 6d 00   # infimum   0xc063+0x001e=0xc081 第一条记录开始的位置
08 00 0b 00 00            # record header
73 75 70 72 65 6d 75 6d   # supremum
user records:
page directory:(逆序存放)
00 70 00 63
0x0063是第一条记录的相对位置
0x0070是最后一条记录的相对位置
file trailer(8):
35 bb de bd               # checksum值，该值通过checksum函数和file header部分的checksum值进行比较
00 01 d7 42               # 注意到该值与file header页中的后lsn后四位相等

展开全文 >>

源码篇-innodb之行记录格式解析

2017-05-18

故事背景

最近在学mysql，看的是《Mysql技术内幕: InnoDB存储引擎》，在读到行记录格式时，发现一个让自己无法理解的事情。于是就揪出了innodb的源码仔细研究一番，最后发现书中的语言确实会将人带入一种认识的误区，也可能是个人理解能力有问题，不说这个了，我们直接说问题。

测试用例

create table mytest (
    t1 varchar(10),
    t2 varchar(10),
    t3 char(10),
    t4 varchar(10)
) engine=innodb charset=latin1 row_format=compact;
insert into mytest values("a", "bb", "bb", "ccc");
insert into mytest values(NULL, "bb", "bb", "ccc");
insert into mytest values("a", "bb", "bb", "ccc");
insert into mytest values(NULL, NULL, "bb", "ccc");
insert into mytest values("a", "bb", "bb", "ccc");
insert into mytest values(NULL, "bb", NULL, NULL);
insert into mytest values("a", "bb", "bb", "ccc");

物理文件中的内容如下:

0000bff0  00 00 00 00 00 00 00 00  95 17 2a 17 00 01 d3 70  |..........*....p|
0000c000  47 71 e9 33 00 00 00 03  ff ff ff ff ff ff ff ff  |Gq.3............|
0000c010  00 00 00 00 00 01 d7 42  45 bf 00 00 00 00 00 00  |.......BE.......|
0000c020  00 00 00 00 00 05 00 02  01 9c 80 09 00 00 00 00  |................|
0000c030  01 79 00 02 00 06 00 07  00 00 00 00 00 00 00 00  |.y..............|
0000c040  00 00 00 00 00 00 00 00  00 17 00 00 00 05 00 00  |................|
0000c050  00 02 00 f2 00 00 00 05  00 00 00 02 00 32 01 00  |.............2..|
0000c060  02 00 1e 69 6e 66 69 6d  75 6d 00 08 00 0b 00 00  |...infimum......|
0000c070  73 75 70 72 65 6d 75 6d  03 02 01 00 00 00 10 00  |supremum........|
0000c080  2b 00 00 00 00 08 05 00  00 00 00 11 0c 80 00 00  |+...............|
0000c090  00 2d 01 10 61 62 62 62  62 20 20 20 20 20 20 20  |.-..abbbb       |
0000c0a0  20 63 63 63 03 02 01 00  00 18 00 2b 00 00 00 00  | ccc.......+....|
0000c0b0  08 06 00 00 00 00 11 0d  80 00 00 00 2d 01 10 62  |............-..b|
0000c0c0  62 62 62 20 20 20 20 20  20 20 20 63 63 63 03 02  |bbb        ccc..|
0000c0d0  01 00 00 00 20 00 2a 00  00 00 00 08 07 00 00 00  |.... .*.........|
0000c0e0  00 11 0e 80 00 00 00 2d  01 10 61 62 62 62 62 20  |.......-..abbbb |
0000c0f0  20 20 20 20 20 20 20 63  63 63 03 03 00 00 28 00  |       ccc....(.|
0000c100  29 00 00 00 00 08 08 00  00 00 00 11 0f 80 00 00  |)...............|
0000c110  00 2d 01 10 62 62 20 20  20 20 20 20 20 20 63 63  |.-..bb        cc|
0000c120  63 03 02 01 00 00 00 30  00 29 00 00 00 00 08 09  |c......0.)......|
0000c130  00 00 00 00 11 10 80 00  00 00 2d 01 10 61 62 62  |..........-..abb|
0000c140  62 62 20 20 20 20 20 20  20 20 63 63 63 0b 00 00  |bb        ccc...|
0000c150  38 00 26 00 00 00 00 08  0a 00 00 00 00 11 11 80  |8.&.............|
0000c160  00 00 00 2d 01 10 62 62  20 20 20 20 20 20 20 20  |...-..bb        |
0000c170  03 02 01 00 00 00 40 fe  f7 00 00 00 00 08 0b 00  |......@.........|
0000c180  00 00 00 11 12 80 00 00  00 2d 01 10 61 62 62 62  |.........-..abbb|
0000c190  62 20 20 20 20 20 20 20  20 63 63 63 00 00 00 00  |b        ccc....|

按照书中所说，我们按照协议格式解析第一条及第二条记录如下:

第一条记录从0xc078开始: "a", "bb", "bb", "ccc"
03 02 01                       # 变长字段长度列表，逆序，分别代表ccc bb a的实际长度为3 2 1
00                             # NULL标志位
00 00 10 00 2b                 # 头信息，固定长度 5字节 0x002b代表下一个记录的偏移量
00 00 00 00 08 05              # rowId
00 00 00 00 11 0c              # transactionId
80 00 00 00 2d 01 10           # rollback pointer
61                             # 'a'
62 62                          # 'bb'
62 62 20 20 20 20 20 20 20 20  # 'bb'  固定长度其后用20补充
63 63 63                       # 'ccc'
第二条记录从0xc0a4开始: NULL, "bb", "bb", "ccc"
03 02                          # 变长字段长度列表，逆序，分别代表ccc bb a的实际长度为3 2 1
01                             # NULL标志位, 0000 0001，表示第一个字段为NULL
00 00 18 00 2b                 # 头信息，固定长度 5字节 0x002b代表下一个记录的偏移量
00 00 00 00 08 06              # rowId
00 00 00 00 11 0d              # transactionId
80 00 00 00 2d 01 10           # rollback pointer
62 62                          # 'bb'
62 62 20 20 20 20 20 20 20 20  # 'bb'  固定长度其后用20补充
63 63 63                       # 'ccc'

源码解析

但是，问题来了，0xc078+0x002b=0xc0a3，与实际的开始地址0xc0a4不符，怎么回事呢？通过看代码，原来每行记录的开始地址是从第一列数据开始，通过下面的代码依次获得后面的记录。

#为了简单，将许多无关的代码删除掉了
#define UNIV_PAGE_SIZE      0x4000  # 16KB
#define REC_NEXT          2
# 第一条记录的开始地址是0xc081，返回值0xc0ac
page_rec_get_next(rec)
{
    return((rec_t*) page_rec_get_next_low(rec, page_rec_is_comp(rec)));
}
page_rec_get_next_low(rec)
{
    page = page_align(rec);  # page: 0xc000
    offs = rec_get_next_offs(rec);  # offs: 0xac
    return(page + offs);
}
page_align(rec)
{
    return((page_t*) ut_align_down(ptr, UNIV_PAGE_SIZE));
}
ut_align_down(rec)
{
    return((void*)((((ulint) ptr)) & ~(align_no - 1)));
}
rec_get_next_offs(rec)  # return: 0x00ac
{
    field_value = mach_read_from_2(rec - REC_NEXT);  # field_value: 0x002b
    return(ut_align_offset(rec + field_value, UNIV_PAGE_SIZE));
}
ut_align_offset(ptr, align_no)
{
    return(((ulint) ptr) & (align_no - 1)); # ptr: 0xc0ac align_no: 0x4000 return:0x00ac
}
mach_read_from_2(b)  # b: 0xc07f b[0]:00 b[1]: 2b return: 0x002b
{
    return(((ulint)(b[0]) << 8) | (ulint)(b[1]));
}

通过上面的分析，原来第一条记录的开始地址是0xc081，第二条记录的开始地址是0xc0ac。

b+_simplified_leaf_page

innodb通过一个单链表将页内的所有记录串联起来，如上图所示。

展开全文 >>

基于运算符重载的属性管理方法

基于descriptor协议的属性管理方法

基于property的属性管理方法

进阶篇

__getattr__和__getattribute__需注意的点

property与descriptor的关系

三者之间的关系

安装

language

安装

跳跃表

技术要点

命令

字符串对象相关命令

列表对象相关命令

哈希对象相关命令

集合对象相关命令

有序集合对象相关命令

超时时间相关命令

数据库相关命令

持久化命令

客户端相关的命令

事务相关命令

主从复制相关命令

内部相关命令

集群相关命令

性能优化相关

发布订阅

其它命令

故事背景

测试用例

源码解析

getattr和getattribute需注意的点