Memcached 缓存数据库应用实践

1.1 数据库对比

缓存: 将数据存储到内存中,只有当磁盘胜任不了的时候,才会启用缓存

   缺点:断电数据丢失(双电),用缓存存储数据的目的只是为了应付大并发的业务。

数据库: mysql(关系型数据库,能够保证数据一致性,保证数据不丢失,当因为功能太多,导致性能不高) ===数据参考

缓存数据库: memcache redis(非关系型数据库,性能极高,但不保证数据完整性) === 业务的数据提供者

     memcachedb 会将内存的数据写入到磁盘中

       redis 主要工作场所是内存中,但是定期备份内存数据到硬盘

1.1.1 数据库的选择

  数据存储,数据仓库选择mysql这种磁盘的数据库

  高并发,业务大的应用选择memcache这种内存数据库

1.1.2 数据库分类

  关系型数据库 mysql

  非关系型数据库(NOSQL) memcached redis MongoDB

1.2 memcached介绍

Memcached是一款开源的、高性能的纯内存缓存服务软件。Mem是内存的意思,cache是缓存的意思,d是daemon的意思。

  memcache 是项目名称,也是一款软件,其架构是C/S****架构

​ memcached官网:http://memcached.org/

1.2.1 memcache优点

① 对于用户来讲,用户访问网站更快了,体验更好了。

②对网站来说,数据库压力降低了。只有当内存没有数据时才会去请求数据库。第一次写入的数据也会请求数据库。一般公司没有预热,只有当用户读取过数据库才会放到Memcached中。

② 提升了网站的并发访问,减少服务器数量。

1.3 Memcached在企业中使用场景

1.3.1 作为数据库的前端缓存应用

   当数据库(mysql)承受不了大并发的请求时,可以将数据缓存到内存中(缓存数据库),然后就可以解决

 作为数据库的前端缓存最大目的:减少数据库被大量访问的压力

1.3.2 作为集群后端的session会话保持

  session存储在文件,数据库,memcache,或内存等的服务端上,

   cookie 存放在客户端浏览器上。

   session是一个存在服务器上的类似于一个散列表格的文件。里面存有我们需要的信息,在我们需要用的时候可以从里面取出来。

   session依赖cookie存在,请求客户端到达服务端后,服务端会随机生成一个字符串,作为该用户的标识,该字符串通过cookie返回给客户端,客户端浏览器会以该字符串为key放到session id里面,随机字符串的key里面可以先没有值。如果用户再次提交,请求信息中的用户名密码等用户信息保存在随机字符串的value中,请求到达服务端,用户名密码正确,随机字符串会被授权,提一个标记给到sessionid中的随机字符串的value中,证明该用户已经是登录状态,客户端再次带着该随机字符串访问服务端,服务端会知道该用户已经登录不需验证,直接返回请求的信息。

session和cookie区别

  1、cookie数据存放在用户的浏览器上,session数据存储在服务器上

  2、cookie在本地的浏览器中,可以被提取分析,安全性差。为了安全,登录账户等信息可以缓存在session中。

  3、session会在一定时间内保存在服务器上,访问量增大会给服务器带来压力,可以使用缓存工具,如memcache等

1.3.3 网站开发如何判断用户信息

  最开始的技术方法:服务器在你的浏览器中写一个cookies,这个cookies就包含了你的用户名及登录信息。因为cookies是存储在本地浏览器中,所以第三方工具很容易盗取cookies信息。

最开始:

cookies cookies名字:内容(用户名,登录信息)

改进后:

本地浏览器存放:

cookies cookies名字:内容(session id 编号)

服务器存放:

session session id:内容(用户名,登录信息)

主流使用场景:cookies + session

1.3.4 session共享的不同解决方案

   1、session文件提供NFS共享

  2、session文件提供rsync scp共享

   3、将session的内容存放在数据库(mysql)中,所有的机器都可以通过ip:port读取

  4、将session的内容存放在缓存数据库中,所有的机器都可以通过ip:port读取

   好处:利用断电、重启丢失数据的特性。定时清理数据;提高并发

1.3.5 memcache原理优点

  启动Memcached吋,根据指定的内存大小参数,会被分配一个内存个间。当我们读取数据库的各类业务数据后,数据会同吋放入Memcached缓存中,,下一次用户请求同样的数据,程序直接去Memcached取数据返回给用户。

优点:

  ① 对于用户来讲,用户访问网站更快了,体验更好了。#

  ② 对网站来说,数据库压力降低了。只有当内存没有数据时才会去请求数据库。第一次写入的数据 也会请求数据库。一般公司没有预热,只有,用户读取过数据库才会放到Memcached中。

  ③ 提升了网站的并发访问,减少服务器数最。

img

原理图

1.4 Memcached分布式缓存集群

  memcached天生不支持分布式集群,需要通过程序支持分布式存储

1.4.1 Memcached分布式缓存集群的特点

   1. 所有MC服务器内存的内容都是不一样的。这些服务器内容加起来接近数据库的容量。比如1T的数据库,一台缓存数据库的内存没有那么大,因此分成10台缓存服务器。

  2. 通过在客户端(Web)程序或者MC的负载均衡器上用HASH算法,让同一内容都分配到一个MC服务器。

   3. 普通的HASH算法对于节点宕机会带来大量的数据流动(失效),可能会引起雪崩效应。

  4. 一致性HASH可以让节点宕机对节点的数据流动(失效)降到最低。

***普通的hash****算法*

img

  首先将key处理为一个32位字符串,取前8位,在经过hash计算处理成整数并返回,然后映射到其中一台服务器这样得到其中一台服务器的配置,利用这个配置完成分布式部署。在服务器数量不发生变化的情况下,普通hash分布可以很好的运作,当服务器的数量发生变化,问题就来了。试想,增加一台服务器,同一个key经过hash之后,与服务器取模的结果和没增加之前的结果肯定不一样,这就导致了,之前保存的数据丢失。

***一致性hash****算法*

img

一致性哈希算法

  优点:在分布式的cache缓存中,其中一台宕机,迁移key效率最高

  将服务器列表进行排序,根据mHash($key) 匹配相邻服务器

一致性hash****算法 将数据流动降到最低

参考资料

1http://blog.csdn.net/cywosp/article/details/23397179 2http://blog.csdn.net/zhangskd/article/details/50256111

第2章 memcached使用

2.1 安装memcached

2.1.1 环境说明

1[root@cache01 ~]# cat /etc/redhat-release 2CentOS Linux release 7.4.1708 (Core) 3[root@cache01 ~]# uname -r 43.10.0-693.el7.x86_64 5[root@cache01 ~]# getenforce 6Disabled 7[root@cache01 ~]# systemctl status firewalld.service 8● firewalld.service - firewalld - dynamic firewall daemon 9 Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled) 10 Active: inactive (dead) 11 Docs: man:firewalld(1) 12[root@cache01 ~]# hostname -I 1310.0.0.21 172.16.1.21

2.1.2 安装memcached

[root@cache01 ~]# yum -y install memcached

2.1.3 查看配置

1[root@cache01 ~]# cat /etc/sysconfig/memcached 2PORT="11211" 3USER="memcached" 4MAXCONN="1024" 5CACHESIZE="64" 6OPTIONS=""

2.1.4 查看启动脚本

1[root@cache01 ~]# cat /usr/lib/systemd/system/memcached.service 2[Unit] 3Description=Memcached 4Before=httpd.service 5After=network.target 6 7[Service] 8Type=simple 9EnvironmentFile=-/etc/sysconfig/memcached 10ExecStart=/usr/bin/memcached -u $USER -p $PORT -m $CACHESIZE -c $MAXCONN $OPTIONS 11 12[Install] 13WantedBy=multi-user.target

2.1.5 启动服务

[root@cache01 ~]# systemctl start memcached.service

2.2 管理memcached

2.2.1 memcached数据库语法格式

1set key 0 0 10 2 3<command name> <key> <flags> <exptime> <bytes>\r\n

\n 换行且光标移至行首

\r 光标移至行首,但不换行

参数

说明

<flags>

是在取回内容时,与数据和发送块一同保存服务器上的任意16位无符号整形(用十进制来书写)。客户端可以用它作为“位域”来存储一些特定的信息;它对服务器是不透明的。

<exptime>

是终止时间。如果为0,该项永不过期(虽然它可能被删除,以便为其他缓存项目腾出位置)。如果非0(Unix时间戳或当前时刻的秒偏移),到达终止时间后,客户端无法再获得这项内容

<bytes>

是随后的数据区块的字节长度,不包括用于分页的“\r\n”。它可以是0(这时后面跟随一个空的数据区块)。

<data block>\r\n

<data block> 是大段的8位数据,其长度由前面的命令行中的<bytes>指定。

2.2.2 数据库使用

写入读取数据

1[root@cache01 ~]# printf "set key008 0 0 10\r\noldboy0987\r\n"|nc 10.0.0.21 11211 2STORED 3[root@cache01 ~]# printf "get key008\r\n"|nc 10.0.0.21 11211 4VALUE key008 0 10 5oldboy0987 6END

写入数据长度不符合,定义过大

1[root@cache01 ~]# printf "set key009 0 0 11\r\noldboy0987\r\n"|nc 10.0.0.21 11211 2[root@cache01 ~]# printf "get key009\r\n"|nc 10.0.0.21 11211 3END

写入数据长度不符合,定义过小

1[root@cache01 ~]# printf "set key010 0 0 9\r\noldboy0987\r\n"|nc 10.0.0.21 11211 2CLIENT_ERROR bad data chunk 3ERROR 4[root@cache01 ~]# printf "get key010\r\n"|nc 10.0.0.21 11211 5END

时效性

1[root@cache01 ~]# printf "set key011 0 10 10\r\noldboy0987\r\n"|nc 10.0.0.21 11211 2STORED 3[root@cache01 ~]# printf "get key011\r\n"|nc 10.0.0.21 11211 4VALUE key011 0 10 5oldboy0987 6END 7[root@cache01 ~]# printf "get key011\r\n"|nc 10.0.0.21 11211 8END

删除数据

1[root@cache01 ~]# printf "delete key008\r\n"|nc 10.0.0.21 11211 2DELETED 3[root@cache01 ~]# printf "get key008\r\n"|nc 10.0.0.21 11211 4END

2.3 memcache php版本客户端安装使用

命令集

1#编译进去php_mem 2tar zxvf memcache-2.2.5.tgz 3cd memcache-2.2.5 4/application/php/bin/phpize 5./configure --enable-memcache --with-php-config=/application/php/bin/php-config --with-zlib-dir 6make 7make install 8# 激活php_memcached 9sed -i '$a extension=memcache.so' /application/php/lib/php.ini 10pkill php 11/application/php/sbin/php-fpm -t 12/application/php/sbin/php-fpm 13/application/php/bin/php -m|grep memcache

检查当前环境

查看php的模块

img View Code 查看php的模块

*执行过程*

编译安装

1[root@web06 memcache-2.2.5]# make install 2Installing shared extensions: /application/php-5.5.32/lib/php/extensions/no-debug-non-zts-20121212/ 3[root@web06 memcache-2.2.5]# ls /application/php/lib/php/extensions/no-debug-non-zts-20121212/ 4memcache.so 5[root@web06 memcache-2.2.5]# sed -i '$a extension=memcache.so' /application/php/lib/php.ini 6[root@web06 memcache-2.2.5]# pkill php 7[root@web06 memcache-2.2.5]# /application/php/sbin/php-fpm -t 8[17-Nov-2017 11:39:13] NOTICE: configuration file /application/php-5.5.32/etc/php-fpm.conf test is successful 9 10[root@web06 memcache-2.2.5]# /application/php/sbin/php-fpm 11[root@web06 memcache-2.2.5]# /application/php/bin/php -m|grep memcache 12memcache

2.3.1 编写测试文件

1[root@web01 blog]# cat /application/nginx/html/blog/mc.php 2<?php 3 $memcache = new Memcache; 4 $memcache->connect('10.0.0.21', 11211) or die ("Could not connect"); 5 $memcache->set('key20171117', 'hello,world'); 6 $get_value = $memcache->get('key20171117'); 7 echo $get_value; 8?>

浏览器访问

img

数据库读取测试

1[root@cache01 ~]# printf "get key20171117 \r\n"|nc 10.0.0.21 11211 2VALUE key20171117 0 11 3hello,world 4END

2.4 web管理memcached

  使用的软件memadmin

  官网:http://www.junopen.com/memadmin/

将程序包放如站点目录,浏览器进行访问即可

[root@web06 tools]# tar xf memadmin-1.0.12.tar.gz -C /application/nginx/html/blog/

默认用户名密码为admin

img

添加一个新的memcached服务器

img

web界面管理全中文,较为简单

img

2.5 memcached数据缓存

通过程序实现

2.5.1 blog站点实现memcached存储

[root@web06 ~]# cat /application/nginx/html/blog/wp-content/object-cache.php

img

2.6 memcached session共享

方法1:

  通过程序实现,web01只需要往memcahce写session,web02从memcahce读session**(更具有通用性)**

方法2:

  通过php的配置文件,让php默认将session存储在文件中,修改为存储在memcached中

sed -i 's#session.save_handler = files#session.save_handler = memcache#;$a session.save_path = "tcp://10.0.0.21:11211"' /application/php/lib/php.ini

  使用这个功能,需要使用php的session函数

作者:惨绿少年 出处:http://clsn.io

欢迎关注公众号 【码农开花】一起学习成长 我会一直分享Java干货,也会分享免费的学习资料课程和面试宝典 回复:【计算机】【设计模式】【面试】有惊喜哦

点赞
收藏

评论区

加载中...

相关推荐

MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1

文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s

Oracle 分组与拼接字符串同时使用

SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(

MySQL部分从库上面因为大量的临时表tmp_table造成慢查询

背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_

皕杰报表之UUID

​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为

手写Java HashMap源码

HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22

2020年前端实用代码段,为你的工作保驾护航

有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )

Memcached 缓存数据库应用实践 - HelloWorld