实践篇-java开发的环境配置

2017-03-30

java版本管理工具

mac环境设置

jenv add /Library/Java/JavaVirtualMachines/jdk1.8.0_121.jdk/Contents/Home/

展开全文 >>

理论篇-GNU/Linux操作系统的历史

2017-03-28

AT&T是一家美国电信公司，贝尔实验室是该公司旗下的一个实验室。实验室里有两名牛逼的哥们。他们使用B语言开发了第一个版unix。后来，其中一个哥们在B语言的基础上设计了C语言。然后，unix用C语言又重写了一遍。

BSD是unix的一个衍生分支。在这个分支上，发明了很多新技术，比如socket, ipc, vi, termcap等。

GNU是由一个哥们创建的组织。该组织的目的是要制作一个类似unix的操作系统。它拥有各种工具，编译器，各种应用，但就是缺少一个内核。Linux是另一个哥们写的类似unix的操作系统内核，但是缺少周边工具来让它发挥更大的作用。

linux_timeline

unix_gnu_linux_timeline

GNU/Linux是二者的组合，也就是我们平时使用的操作系统。其中，内核是Linux。shell, 编译工具链，各种实用程序和工具都是GNU软件。内核仅占整个操作系统极少的部分，大约3%。

GNU’s not UNIX. Linux’s not UNIX. GNU/Linux is UNIX.

gnu_linux

Debian也是一个致力于创建自由操作系统的组织，但是它是在GNU/Linux的基础之上。RedHat是一家开源解决方案供应商，基于GNU/Linux.

Ubuntu是基于Debian的以桌面为主的操作系统。CentOS是基于RedHat的以服务器为主的操作系统。

以下是上面故事中的哥们，向他们致敬，如果没有他们，也就没有我们这群快乐的屌丝:

参考

GNU.Linux.Application.Programming

展开全文 >>

理论篇-linux之包管理的历史

2017-03-27

包管理的历史

最初的软件包是tar.gz，人们将自己的程序打包，然后供别人免费下载使用。使用的人下载源码之后，解压，编译，使用。随着软件的发展，可用的软件越来越多，简单的打包已经不能满足人们对软件的管理，于是出现了包管理机制。

由于linux有两大阵营，所以出现了两个包管理工具:rpm和dpkg。

RedHat阵营

rpm

rpm(RedHat Package Manager)是以RedHat为中心的包管理工具。

rpm -ivh package.rpm  # 安装
rpm -Uvh package.rpm  # 升级
rpm -ev  package      # 卸载
rpm -qlp package.rpm  # 查询包中的所有文件列表
rpm -qip package.rpm  # 查询包中的内容信息
rpm -qa               # 查询系统中所有已安装的rpm包

yum

由于rpm不支持依赖管理，所以每次使用rpm安装软件时，如果依赖其他包，需要我们手动下载安装依赖，显而易见，这样是很不方便的，于是yum(Yellowdog Updater Modified)出现了。yum在rpm的基础之上增加了自动更新和依赖关系管理。

yum search name     # 在软件包详细信息中搜索指定字符串
yum install name    # 向系统中安装一个或多个软件包
yum update name     # 更新系统中的一个或多个软件包
yum remove name     # 从系统中移除一个或多个软件包
yum erase name      # 从系统中移除一个或多个软件包
yum clean name      # 删除缓存的数据

rpm与yum

1 2	rpm --import key yum install package.rpm

参考

学习 Linux，101: RPM 和 YUM 包管理

展开全文 >>

实战篇-rabbitmq

2017-03-27

安装

1 2	yum install epel-release # 安装epel源 yum install rabbitmq

epel是Fedora小组维护的软件仓库，为CentOS提供默认不提供的软件包。

启动与停止

rabbitmq-server                        # 启动服务
rabbitmq-server -detached              # 以守护进程的方式启动服务
rabbitmqctl stop                       # 关闭应用和节点
rabbitmqctl stop-app                   # 只关闭应用
rabbitmqctl stop -n rabbit@[hostname]  # 关闭应用和节点

配置文件

配置文件目录:/etc/rabbitmq/rabbitmq.config。配置文件内容格式如下:

[
	{mnesia, [{dump_log_write_threshold, 1000}]},
	{rabbit, [{vm_memory_high_watermark, 0.4}]}
]

配置	值类型	默认值
dump_log_write_threshold	int	100
tcp_listeners	[{“ip”, port}]	[{“0.0.0.0”, 5672}]
ssl_listeners	[{“ip”, port}]	空
ssl_options	[{key, value}]	空
vm_memory_high_watermark	十进制百分数	0.4
msg_store_file_size_limit	int 字节	16777216
queue_index_max_journal_entries	int	262144

管理命令

通过运行rabbitmqctl -h可获得命名的具体使用方法。

1	rabbitmqctl -h

安装之后需执行的命令

rabbitmqctl [-n node_name] add_user username password
rabbitmqctl [-n node_name] set_user_tags username administrator
rabbitmqctl [-n node_name] set_permissions -p / username ".*" ".*" ".*"
rabbitmq-plugins [-n node_name] enable rabbitmq_management              # 开启web管理插件

展开全文 >>

实战篇-linux之常用命令

2017-03-26

配置相关

1	chkconfig service on/off

网络相关

查看网络连接

netstat -natp

参数含义

参数	含义
-n	显示数字地址
-a	显示所有监听和非监听的连接
-t	tcp协议
-p	显示进程

抓包工具

tcpdump -i eth0 host 127.0.0.1 and port 80 -s0 -w run.log

参数含义

参数	含义
-i	监听的接口
host	主机
port	端口
-s	设置快照的大小，默认为65535字节，0代表默认
-w	写到文件

展开全文 >>

实战篇-mysql的基本操作

2017-03-26

服务启动

Ubuntu环境

/etc/init.d/mysql status
/etc/init.d/mysql start
/etc/init.d/mysql stop
/setc/init.d/mysql restart

CentOS环境

1 2	yum install mysql-server.x86_64 /etc/init.d/mysqld start

用户相关

mysql库 user表

select user, host from user;
create user username identified by 'password';     #创建用户
rename user username1 to username2;                #重命名用户
drop user username;                                #删除用户
use mysql;
update user set password=password("新密码") where user="root"; #更新用户密码
show grants for username;                          #查看用户的权限
GRANT ALL ON *.* TO 'username'@'%'
grant select on blog.* to username;                #赋予用户权限
grant all on *.* to username@'%';                      #大招
revoke select on blog.* from username;             #收回用户权限
revoke all on *.* from username;                   #大招
flush privileges;                                  #立即生效

user表中host的含义

host	说明
%	匹配所有主机
localhost	通过unix socket连接
127.0.0.1	通过tcp/ip, 且只能在本地连接
::1	支持ipv6, 同127.0.0.1

权限表

权限	说明
all	所有权限
alter
alter routine
create
create routine
create temporary tables
create user
create view
delete
drop
execute
file
grant option
index
insert	可以使用create index和drop index
lock tables
process
reload	使用flush
replication client
replication slave
select
show databases
show view
shutdown
super
update
usage	无访问权限

数据库相关

建库建表

create database blog;         #创建数据库
create table ab (
    a int unsigned not null,
    b int unsigend not null
) engine=innodb default charset=utf8 auto_increment=1;  # 建表

表相关操作

desc table_name;                                        # 查看表结构
alter table ab add c int unsigned not null;             # 新增一列
ALTER TABLE tbl_name
| ADD {INDEX|KEY} [index_name]
[index_type] (index_col_name, ...) [index_option] ...   # 创建索引
CREATE [UNIQUE] INDEX index_name
[index_type]
ON tbl_name (index_col_name, ...)                       # 创建索引
alter table ab add key idx_c (c);                       # 新建一个索引
alter table ab add key idx_c (c(10));                   # 使用列值的一部分新建一个索引
ALTER TABLE tbl_name
DROP PRIMARY KEY
| DROP {INDEX|KEY} index_name                           # 删除索引
DROP INDEX index_name ON tbl_name;                      # 删除索引
ALTER TABLE t1 ADD COLUMN addr varchar(20) not null AFTER user1; # 增加一列

索引相关操作

1
2
3

ALTER TABLE ab ADD INDEX index_name (column);  # 添加普通索引
ALTER TABLE ab ADD INDEX index_name (column1, column2);  # 添加联合索引
DROP INDEX index_name on ab;                             # 删除索引

系统配置相关

ubuntu环境，系统配置文件/etc/mysql/my.conf

1 2	show global variables; #查看所有系统全局变量 show global variables like "%timeout%" #查看所有与超时相关的全局变量

开放3306端口

修改/etc/mysql/mysql.conf.d/mysqld.cnf

1	#bind-address=127.0.0.1 #注释掉该行

新数据库设置

服务配置

#启动服务后
mysql
use mysql;
update user set password=password("新密码") where user="root"; # 5.7.18不可用
create user username identified by 'password';
grant all on *.* to username@'%';
#配置防火墙 /etc/sysconfig/iptables
-A INPUT -m state --state NEW -m tcp -p tcp --dport 3306 -j ACCEPT
service iptables restart

5.7设置传送门

建库建表

create database index_test;
create table ab (
    a int unsigned not null,
    b int unsigned not null
) engine=innodb default charset=utf8 auto_increment=1;

查询

select col_name, ...
from table_name1, ...({left join | right join | inner join on ...})
where condition1, ...
order_by col_name
limit offset count
group by col_name
having condition1, ...

优化

show engine innodb status \G      # 查看innodb引擎状态
show variables like "xxx" \G      # 查看配置参数
explain sql                       # 查看执行计划
show index from tbl_name \G       # 查看索引
analyze table tbl_name;           # 优化表

问题排查

ERROR 1819

展开全文 >>

理论篇-数据结构之B树

2017-03-26

B树的背景

B树主要是为了提高硬盘的访问速度。首先，我们看下硬盘的结构:

硬盘的结构

硬盘主要由中心轴(spindle)，盘片(platter)、读写臂(arms)和读写头(read/write head)组成。读写臂可以在盘片上移动，当读写臂固定盘片转动时，读写头下面的部分称为磁道(track)。多个盘片只能增加磁盘的容量。

磁盘的访问是一种机械运动，主要包括盘片的旋转和读写臂的移动。磁盘的旋转速度一般在5400~15000RPM。盘片转动一圈需要的时间在8~11毫秒之间。然而，内存的访问速度是50纳秒。换言之，在我们等待某个数据转到读写头下的时间内，我们已经可以访问内存100000次了。

为了最小化机械运动的等待时间，一次硬盘访问不止读取一条数据，而是很多条。信息被分割为等大小的数据块，每块数据被称为一页。每页的数据在磁道内是连续的。每次硬盘读写一个或多个页。典型的配置是一页的数据包含$2^{11}$到$2^{14}$个字节。

由于访问硬盘数据的时间基本花费在读取磁盘的过程中，因此我们在关注程序执行时间的时候，主要关注两个指标:磁盘的访问次数和CPU的执行时间。硬盘的访问次数与每次访问磁盘时访问的页数量相关。

在典型的B树应用里，数据量太大以至于不能一次全部存储在内存里。B树算法从硬盘向内存拷贝需要的数据，拷贝内存中改变的数据到硬盘。在任何时间，B树只保存一定数量的页在内存中。因此，内存的大小不会限制B树能处理的数据的大小。

x = a pointer of some object
disk_read(x)
operations that access and/or modify the attributes of x
disk_write(x)
other operations that access but do not modify attributes of x

以上是对内存中对象的典型访问方式。

B树算法的运行时间主要依赖于硬盘的读写次数。因此，我们希望每次硬盘读写尽量操作更多的数据，这样可以减少硬盘的读写次数。因此，一棵B树节点的大小通常是一个完整的硬盘页的大小。一个B树节点通常包含很多关键字，B树节点的大小和关键字的大小共同限制了B树节点能拥有的子节点的数量(即分裂因子)。分裂因子越大，树的高度越低，硬盘的访问数量越少。分裂因子一般在50~2000之间。

B树结构

如上图所示，一个分裂因子为1001高度为2的B树能存储十亿个关键字。由于树的根节点一直保存在内存中，因此在这课树中访问任何一个节点至多需要两次硬盘访问。

B树的定义

通常情况下，节点由关键字及与该关键字相关的其他信息页的指针组成。

B树的变种

B+树

B+树存储所有的相关信息在叶子节点，非叶子节点只存储关键字，这样使非叶子节点的分裂因子最大，降低树的高度，提高了访问速度。

B树的应用

B树被广泛应用在数据库的索引中，比如Mysql、MongoDB。

后续会对这些具体的应用进行分析，敬请期待！

展开全文 >>

实战篇-新Mac之程序员的配置

2017-03-26

iterm

终端调色

包管理工具 homebrew

命令行工具 coreutils

1	brew install coreutils

git 配置

markdown

由于Mou暂时不支持10.12，暂时使用 macdown

展开全文 >>

实战篇-hexo和github搭建个人博客

2017-03-25

安装node.js 此时会安装node和npm(js的包管理工具)

安装hexo

1	npm install -g hexo

使用hexo

1
2
3

hexo init myblog #初始化博客目录
hexo generate    #生成静态页面
hexo server      #启动服务

此时访问http://127.0.0.1:4000 如果访问成功，恭喜安装成功

与github关联

修改_confim.yml文件, 注意: 冒号后必须有空格

deploy:
  type: git
  repository: https://github.com/leopardpan/leopardpan.github.io.git
  branch: master

配置后执行如下命令

1 2	npm install hexo-deployer-git --save #保存配置 hexo deploy #发布

常用命令

部署命令
hexo clean
hexo generate
hexo deploy
其他一些命令
hexo new "blog_name"      #新建一篇博客
hexo new page "page_name" #新建页面
hexo generate             #生成静态页面至public目录
hexo server               #启动本地服务调试
hexo deploy               #部署到github

好看的主题

Cover
Oishi
TKL
Tinnypp
Writing
Yilia 强烈推荐
 Pacman

Yilia主题相关

支持latex

1 2	npm install hexo-math --save hexo math install

展开全文 >>