怎么制作网站api接口域名可以免费注册码

当前位置： 首页 > news >正文

怎么制作网站api接口,域名可以免费注册码,岳阳企业网络平台,策划平台什么是缓存 缓存(cache)是计算机中的一个经典的概念在很多场景中都会涉及到。 核心思路就是把一些常用的数据放到触手可及(访问速度更快)的地方#xff0c;方便随时读取。 这里所说的“触手可及”是个相对的概念 我们知道#xff0c;对于硬件的访问速度来说#xff0c;通常…什么是缓存 缓存(cache)是计算机中的一个经典的概念在很多场景中都会涉及到。 核心思路就是把一些常用的数据放到触手可及(访问速度更快)的地方方便随时读取。 这里所说的“触手可及”是个相对的概念 我们知道对于硬件的访问速度来说通常情况下 CPU 寄存器 内存 硬盘 网络 那么硬盘相对于网络是“触手可及的就可以使用硬盘作为网络的缓存 内存相对于硬盘是触手可及的”就可以使用内存作为硬盘的缓存 CPU 寄存器相对于内存是触手可及的就可以使用 CPU 寄存器作为内存的缓存 对于计算机硬件来说往往访问速度越快的设备成本越高存储空间越小 缓存是更快但是空间上往往是不足的。因此大部分的时候缓存只放一些热点数据(访问频繁的数据)就非常有用了。 关于二八定律20% 的热点数据能够应对 80% 的访问场景因此只需要把这少量的热点数据缓存起来就可以应对大多数场景从而在整体上有明显的性能提升。 使用 Redis 作为缓存 在一个网站中我们经常会使用关系型数据库(比如MySQL)来存储数据。 关系型数据库虽然功能强大但是有一个很大的缺陷就是性能不高。(换而言之,进行一次查询操作消耗的系统资源较多) 为什么说关系型数据库性能不高? 数据库把数据存储在硬盘上硬盘的 IO 速度并不快尤其是随机访问如果查询不能命中索引就需要进行表的遍历这就会大大增加硬盘 IO 次数关系型数据库对于 SOL 的执行会做一系列的解析校验优化工作如果是一些复杂查询比如联合查询需要进行笛卡尔积操作效率更是降低很多 因此如果访问数据库的并发量比较高对于数据库的压力是很大的很容易就会使数据库服务器宕机。 为什么并发量高了就会宕机? 服务器每次处理一个请求都是需要消耗一定的硬件资源的。所谓的硬件资源包括不限于 CPU内存硬盘网络带宽… 一个服务器的硬件资源本身是有限的一个请求消耗一份资源请求多了自然把资源就耗尽了。后续的请求没有资源可用自然就无法正确处理。更严重的还会导致服务器程序的代码出现崩溃。 如何让数据库能够承担更大的并发量呢? 核心思路主要是两个 开源引入更多的机器部署更多的数据库实例构成数据库集群(主从复制,分库分表等…)节流引入缓存使用其他的方式保存经常访问的热点数据从而降低直接访问数据库的请求数量 实际开发中这两种方案往往是会搭配使用的。 Redis 就是一个用来作为数据库缓存的常见方案 Redis 访问速度比 MySOL 快很多。或者说处理同一个访问请求Redis 消耗的系统资源比 MySQL 少很多。因此 Redis 能支持的并发量更大。 Redis 数据在内存中访问内存比硬盘快很多Redis 只是支持简单的 key-value 存储不涉及复杂查询的那么多限制规则 客户端访问业务服务器发起查询请求业务服务器先查询 Redis看想要的数据是否在 Redis 中存在 如果已经在 Redis 中存在了就直接返回此时不必访问 MySQL 了如果在 Redis 中不存在再查询 MySQL
按照二八定律只需要在 Redis 中放 20% 的热点数据就可以使 80% 的请求不再真正查询数据库了 绝大多数情况下使用缓存都能够大大提升整体的访问效率降低数据库的压力 注意缓存是用来加快读操作”的速度的如果是写操作还是要老老实实写数据库缓存并不能提高性能。 缓存的更新策略 接下来还有一个重要的问题到底哪些数据才是“热点数据”呢 定期生成 每隔一定的周期(比如一天/一周/一个月)对于访问的数据频次进行统计。挑选出访问频次最高的前 N% 的数据。 以搜索引擎为例 用户在搜索引擎中会输入一个“查询词”有些词是属于高频的大家都爱搜(鲜花蛋糕同城交友…)。有些词就属于低频的大家很少搜 搜索引擎的服务器会把哪个用户什么时间搜了啥词都通过日志的方式记录的明明白白。然后每隔一段时间对这期间的搜索结果进行统计(日志的数量可能非常巨大这个统计的过程可能需要使用 hadoop 或者 spark 等方式完成)从而就可以得到“高频词表”。 这种做法实时性较低对于⼀些突然情况应对的并不好。 比如春节期间“春晚这样的词就会成为非常高频的词而平时则很少会有人搜索春晚”。 实时生成 先给缓存设定容量上限(可以通过 Redis 配置文件的 maxmemory 参数设定)。 接下来把用户每次查询 如果在 Redis 查到了就直接返回如果 Redis 中不存在就从数据库查把查到的结果同时也写入 Redis 如果缓存已经满了(达到上限)就触发缓存淘汰策略把一些相对不那么热门”的数据淘汰掉。 按照上述过程持续一段时间之后 Redis 内部的数据自然就是“热门数据”了 通用的淘汰策略主要有以下几种 下列策略并非局限于 Redis其他缓存也可以按这些策略展开 FIFOFirst In First Out先进先出 把缓存中存在时间最久的也就是先来的数据淘汰掉 LRU Least Recently Used淘汰最久未使用的 记录每个 key 的最近访问时间。把最近访问时间最老的 key 淘汰掉 LFULeast Frequently Used淘汰访问次数最少的 记录每个 key 最近一段时间的访问次数。把访问次数最少的淘汰掉 Random 随机淘汰 从所有的 key 中抽取幸运儿被随机淘汰掉 Redis 内置的淘汰策略如下 volatile-lru 当内存不足以容纳新写入数据时从设置了过期时间的 key 中使用 LRU 最近最少使用算法进行淘汰allkeys-lru 当内存不足以容纳新写入数据时从所有 key 中使用LRU 最近最少使用算法进行淘汰volatile-lfu 4.0版本新增当内存不足以容纳新写入数据时在过期的 key 中使用 LFU 算法进行删除 keyallkeys-lfu 4.0版本新增当内存不足以容纳新写入数据时从所有 key 中使用 LFU 算法进行淘汰.volatile-random 当内存不足以容纳新写入数据时从设置了过期时间的 key 中随机淘汰数allkeys-random 当内存不足以容纳新写入数据时从所有 key 中随机淘汰数据volatile-ttl 在设置了过期时间的 key 中根据过期时间进行淘汰越早过期的优先被淘汰相当于 FIFO只不过是局限于过期的 key)noeviction 默认策略当内存不足以容纳新写入数据时新写入操作会报错 整体来说 Redis 提供的策略和我们上述介绍的通用策略是基本一致的只不过 Redis 这里会针对过期“key和“全部 key做分别处理 缓存预热,缓存穿透,缓存雪崩和缓存击穿 缓存预热(Cache preheating) 什么是缓存预热 使用 Redis 作为 MySQL 的缓存的时候当 Redis 刚刚启动或者 Redis 大批 key 失效之后此时由于 Redis 自身相当于是空着的没啥缓存数据那么 MySQL 就可能直接被访问到从而造成较大的压力。 因此就需要提前把热点数据准备好直接写到 Redis 中使 Redis 可以尽快为 MySOL 撑起保护伞 热点数据可以基于之前介绍的统计的方式生成即可这份热点数据不一定非得那么准确”只要能帮助 MySQL 抵挡大部分请求即可。随着程序运行为推移缓存的热点数据会逐渐自动调整来更适应当前情况。 缓存穿透(Cache penetration) 什么是缓存穿透 访问的 key 在 Redis 和 MySQL 中都不存在此时这样的 key 不会被放到缓存上后续如果仍然在访问该 key依然会访问到数据库 这就会导致数据库承担的请求太多压力很大这种情况称为缓存穿透 为何产生 原因可能有几种 业务设计不合理比如缺少必要的参数校验环节导致非法的 key 也被进行查询了开发/运维误操作不小心把部分数据从数据库上误删了黑客恶意攻击 如何解决 针对要查询的参数进行严格的合法性校验比如要查询的 key 是用户的手机号那么就需要校验当前 key 是否满足一个合法的手机号的格式。针对数据库上也不存在的 key也存储到 Redis 中比如 value 就随便设成一个”“避免后续频繁访问数据库。使用布隆过滤器先判定 key 是否存在再真正查询 布隆过滤器是结合了 hashbitmap 的思想,能够用较少的空间判定某个元素是否存在 缓存雪崩(Cache avalanche 什么是缓存雪崩 短时间内大量的 key 在缓存上失效导致数据库压力骤增甚至直接宕机。 本来 Redis 是 MySQL 的一个护盾帮 MySQL 抵挡了很多外部的压力。一旦护盾突然失效了MySQL 自身承担的压力骤增就可能直接崩溃。 为何产生 大规模 key 失效可能性主要有两种 Redis 挂了Redis 上的大量的 key 同时过期 为啥会出现大量的 key 同时过期 这种很可能是短时间内在 Redis 上缓存了大量的 key并且设定了相同的过期时间 如何解决 部署高可用的 Redis 集群并且完善监控报警体系不给 key 设置过期时间或者设置过期时间的时候添加随机时间因子 缓存击穿(Cache breakdown) 什么是缓存击穿 相当于缓存雪崩的特殊情况针对热点 key突然过期了导致大量的请求直接访问到数据库上甚至引起数据库宕机. 如何解决 基于统计的方式发现热点 key并设置永不过期 何解决** 部署高可用的 Redis 集群并且完善监控报警体系 不给 key 设置过期时间或者设置过期时间的时候添加随机时间因子
缓存击穿(Cache breakdown) 什么是缓存击穿 相当于缓存雪崩的特殊情况针对热点 key突然过期了导致大量的请求直接访问到数据库上甚至引起数据库宕机. 如何解决 基于统计的方式发现热点 key并设置永不过期进行必要的服务降级例如访问数据库的时候使用分布式锁。限制同时请求数据库的并发数