为什么会需要消息队列(MQ)？

一、消息队列概述
消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ

二、消息队列应用场景
以下介绍消息队列在实际应用中常用的使用场景。异步处理，应用解耦，流量削锋和消息通讯四个场景。

2.1异步处理
场景说明：用户注册后，需要发注册邮件和注册短信。传统的做法有两种 1.串行的方式；2.并行方式
a、串行方式：将注册信息写入数据库成功后，发送注册邮件，再发送注册短信。以上三个任务全部完成后，返回给客户端。

b、并行方式：将注册信息写入数据库成功后，发送注册邮件的同时，发送注册短信。以上三个任务完成后，返回给客户端。与串行的差别是，并行的方式可以提高处理的时间

假设三个业务节点每个使用50毫秒钟，不考虑网络等其他开销，则串行方式的时间是150毫秒，并行的时间可能是100毫秒。
因为CPU在单位时间内处理的请求数是一定的，假设CPU1秒内吞吐量是100次。则串行方式1秒内CPU可处理的请求量是7次（1000/150）。并行方式处理的请求量是10次（1000/100）

小结：如以上案例描述，传统的方式系统的性能（并发量，吞吐量，响应时间）会有瓶颈。如何解决这个问题呢？

引入消息队列，将不是必须的业务逻辑，异步处理。改造后的架构如下：

 2.2应用解耦
例子1：

传统模式的缺点：

• 系统间耦合性太强，如上图所示，系统A在代码中直接调用系统B和系统C的代码，
  如果将来D系统接入，系统A还需要修改代码，过于麻烦！

中间件模式的的优点：

• 将消息写入消息队列，需要消息的系统自己从消息队列中订阅，从而系统A不需要做任何修改。

 例子2：

 2.3流量削锋
流量削锋也是消息队列中的常用场景，一般在秒杀或团抢活动中使用广泛。
应用场景：秒杀活动，一般会因为流量过大，导致流量暴增，应用挂掉。为解决这个问题，一般需要在应用前端加入消息队列。
a、可以控制活动的人数
b、可以缓解短时间内高流量压垮应用

用户的请求，服务器接收后，首先写入消息队列。假如消息队列长度超过最大数量，则直接抛弃用户请求或跳转到错误页面。
秒杀业务根据消息队列中的请求信息，再做后续处理

2.4日志处理
日志处理是指将消息队列用在日志处理中，比如Kafka的应用，解决大量日志传输的问题。架构简化如下

 日志采集客户端，负责日志数据采集，定时写受写入Kafka队列
Kafka消息队列，负责日志数据的接收，存储和转发
日志处理应用：订阅并消费kafka队列中的日志数据

2.5消息通讯
消息通讯是指，消息队列一般都内置了高效的通信机制，因此也可以用在纯的消息通讯。
比如实现点对点消息队列，或者聊天室等
点对点通讯： 

客户端A，客户端B，客户端N订阅同一主题，进行消息发布和接收。实现类似聊天室效果。

以上实际是消息队列的两种消息模式，点对点或发布订阅模式。模型为示意图，供参考。

 三、使用了消息队列会有什么缺点?

分析:一个使用了MQ的项目，如果连这个问题都没有考虑过，就把MQ引进去了，那就给自己的项目带来了风险。我们引入一个技术，要对这个技术的弊端有充分的认识，才能做好预防。要记住，不要给公司挖坑！
回答:回答也很容易，从以下两个个角度来答

• 系统可用性降低:你想啊，本来其他系统只要运行好好的，那你的系统就是正常的。现在你非要加个消息队列进去，那消息队列挂了，你的系统不是呵呵了。因此，系统可用性降低
• 系统复杂性增加:要多考虑很多方面的问题，比如一致性问题、如何保证消息不被重复消费，如何保证保证消息可靠传输。因此，需要考虑的东西更多，系统复杂性增大。

但是，我们该用还是要用的。

四、消息中间件示例 

消息队列采用高可用，可持久化的消息中间件。比如Active MQ，Rabbit MQ，Rocket Mq。
（1）应用将主干逻辑处理完成后，写入消息队列。消息发送是否成功可以开启消息的确认模式。（消息队列返回消息接收成功状态后，应用再返回，这样保障消息的完整性）
（2）扩展流程（发短信，配送处理）订阅队列消息。采用推或拉的方式获取消息并处理。
（3）消息将应用解耦的同时，带来了数据一致性问题，可以采用最终一致性方式解决。比如主数据写入数据库，扩展应用根据消息队列，并结合数据库方式实现基于消息队列的后续处理。

3.2日志收集系统

分为Zookeeper注册中心，日志收集客户端，Kafka集群和Storm集群（OtherApp）四部分组成。
Zookeeper注册中心，提出负载均衡和地址查找服务
日志收集客户端，用于采集应用系统的日志，并将数据推送到kafka队列
Kafka集群：接收，路由，存储，转发等消息处理
Storm集群：与OtherApp处于同一级别，采用拉的方式消费队列中的数据

五、常见消息队列

六、安装 RabbitMQ

总结：

需要先安装erlang语言 socat 再安装 rabbitMQ erlang下载列表：https://github.com/rabbitmq/erlang-rpm/releases
rabbitMQ下载列表：https://github.com/rabbitmq/rabbitmq-server/releases

rpm -ivh erlang-20.3.8.20-1.el7.x86_64.rpm
yum install socat.x86_64
rpm -ivh rabbitmq-server-3.7.12-1.el7.noarch.rpm

安装笔记：

 安装yum epel仓库     yum install epel
 安装 erlang语言        yum install erlang.x86_64
官网下载rpm包，安装 rabbitMQ     rpm -ivh rabbitmq-server-3.7.12-1.el7.noarch.rpm
 报错：

# rpm -ivh rabbitmq-server-3.7.12-1.el7.noarch.rpm 
warning: rabbitmq-server-3.7.12-1.el7.noarch.rpm: Header V4 RSA/SHA256 Signature, key ID 6026dfca: NOKEY
error: Failed dependencies:
    erlang >= 20.3 is needed by rabbitmq-server-3.7.12-1.el7.noarch
    socat is needed by rabbitmq-server-3.7.12-1.el7.noarch

先解决第二个错误   yum -y install socat

第一个错误是用epel仓库安装的erlang版本太低，是

# yum list |grep erlang
erlang.x86_64                           R16B-03.18.el7                 @epel  

这里需要用20.3以上版本的

到官网下载新版本的erlang

 erlang-20.3.8.20-1.el7.x86_64

安装新版本：rpm -ivh erlang-20.3.8.20-1.el7.x86_64.rpm

 报错：提示与以前版本冲突

]# rpm -ivh erlang-20.3.8.20-1.el7.x86_64.rpm 
warning: erlang-20.3.8.20-1.el7.x86_64.rpm: Header V4 RSA/SHA1 Signature, key ID 6026dfca: NOKEY
Preparing...                          ################################# [100%]
    file /usr/lib64/erlang/bin/epmd from install of erlang-20.3.8.20-1.el7.x86_64 conflicts with file from package erlang-erts-R16B-03.18.el7.x86_64
    file /usr/lib64/erlang/bin/erl from install of erlang-20.3.8.20-1.el7.x86_64 conflicts with file from package erlang-erts-R16B-03.18.el7.x86_64

卸载以前版本：yum remove erlang-erts-R16B-03.18.el7.x86_64

再次安装：

# rpm -ivh erlang-20.3.8.20-1.el7.x86_64.rpm 
warning: erlang-20.3.8.20-1.el7.x86_64.rpm: Header V4 RSA/SHA1 Signature, key ID 6026dfca: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:erlang-20.3.8.20-1.el7           ################################# [100%]

 查看erlang版本，并安装rabbitMQ

# erl
Erlang/OTP 20 [erts-9.3.3.9] [source] [64-bit] [smp:4:4] [ds:4:4:10] [async-threads:10] [hipe] [kernel-poll:false]

Eshell V9.3.3.9  (abort with ^G)
1>  
BREAK: (a)bort (c)ontinue (p)roc info (i)nfo (l)oaded
       (v)ersion (k)ill (D)b-tables (d)istribution

[root@localhost rabbitmq]# rpm -ivh rabbitmq-server-3.7.12-1.el7.noarch.rpm 
warning: rabbitmq-server-3.7.12-1.el7.noarch.rpm: Header V4 RSA/SHA256 Signature, key ID 6026dfca: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:rabbitmq-server-3.7.12-1.el7     ################################# [100%]

安装成功！

七、使用管理  rabbitMQ

启动rabbitmq，并验证启动情况 
rabbitmq-server --detached &ps aux |grep rabbitmq

以服务的方式启动
service rabbitmq-server start

检查端口5672是否打开
/sbin/iptables -I INPUT -p tcp --dport 5672 -j ACCEPT
/etc/rc.d/init.d/iptables save
/etc/init.d/iptables restart     
/etc/init.d/iptables status

启用维护插件 15672端口
rabbitmq-plugins enable rabbitmq_management    

重启rabbitmq
service rabbitmq-server restart

登录
http://192.168.110.60:15672/ 用户名密码 guest

无法登陆

登录遇到问题：User can only log in via localhost

解决问题：

找到这个文件rabbit.app
/usr/lib/rabbitmq/lib/rabbitmq_server-3.7.7/ebin/rabbit.app

将：{loopback_users, [<<”guest”>>]}，
改为：{loopback_users, []}，
原因：rabbitmq从3.3.0开始禁止使用guest/guest权限通过除localhost外的访问

重启服务就OK了      systemctl restart rabbitmq-server.service

 user:guest
 pwd:guest

----------------------------------------------------------------------------分割线----------------------------------------------------------------------------

1、服务器启动与关闭
启动:service rabbitmq-server start
关闭:service rabbitmq-server stop
重启:service rabbitmq-server restart

2、用户管理
新增 rabbitmqctl add_user admin admin
删除 rabbitmqctl delete_user admin
修改 rabbitmqctl change_password admin admin123

用户列表 rabbitmqctl  list_users
设置角色 rabbitmqctl set_user_tags admin administrator monitoring policymaker management

设置用户权限 rabbitmqctl  set_permissions  -p  VHostPath  admin  ConfP  WriteP  ReadP
查询所有权限 rabbitmqctl  list_permissions  [-p  VHostPath]
指定用户权限 rabbitmqctl  list_user_permissions  admin
清除用户权限 rabbitmqctl  clear_permissions  [-p VHostPath]  admin