内容简介:判断一个网站值不值钱的一个重要标准就是看pv/uv,那么你知道pv,uv是怎么统计的么?当然现在有第三方做的比较完善的可以直接使用,但如果让我们自己来实现这么一个功能,应该怎么做呢?本篇内容较长,源码如右 :arrow_right:为了看看我的博客是不是我一个人的单机游戏,所以就想着统计一下总的访问量,每日的访问人数,哪些博文又是大家感兴趣的,点击得多的;
判断一个网站值不值钱的一个重要标准就是看pv/uv,那么你知道pv,uv是怎么统计的么?当然现在有第三方做的比较完善的可以直接使用,但如果让我们自己来实现这么一个功能,应该怎么做呢?
本篇内容较长,源码如右 :arrow_right: https://github.com/liuyueyi/spring-boot-demo/tree/master/spring-case/124-redis-sitecount
I. 背景及需求
为了看看我的博客是不是我一个人的单机游戏,所以就想着统计一下总的访问量,每日的访问人数,哪些博文又是大家感兴趣的,点击得多的;
因此就萌发了自己撸一个pv/uv统计的服务,当然我这个也不需要特别完善高大上,能满足我自己的基本需要就可以了
- 希望统计站点(域名)总访问次数
- 希望统计站点总的访问人数,当前访问者在访问人数中的排名(即这个ip是所有访问ip中的第多少位访问的这个站点)
- 每个子页面都有访问次数,访问总人数,当前ip访问的排名统计
- 同一个ip,同一天内访问同一个子页面,pv次数只加1次;隔天之后,再次访问pv+1
II. 方案设计
前面的背景和需求,可以说大致说明了我们要做个什么东西,以及需要注意哪些事项,再进行方案设计的过程中,则需要对需求进行详细拆解
1. 术语说明
前面提到了pv,uv,在我们的实际实现中,会发现这个服务中对于pv,uv的定义和标准定义并不是完全一致的,下面进行说明
a. pv
page viste
, 每个页面的访问次数,在本服务中,我们的pv指的是总量,即从开始接入时,到现在总的访问次数
但是这里有个限制: 一个合法的ip,一天之内pv统计次数只能+1次
- 根据ip进行区分,因此需要获取访问者ip
- 同一天内,这个ip访问相同的URI,只能算一次有效pv;第二天之后,再次访问,则可以再算一次有效pv
b. hot
前面的pv针对ip进行了限制,一个ip同一天的访问,只能计算一次,大部分情况下这种统计并没有什么问题,但是如果一个文章写得特别有参考意义,导致有人重复的看,仔细的看,换着花样的刷新看,这个时候统计下总的访问次数是不是也挺好的
因此在这个服务中,引入了hot(热度)的概念,对于一个uri而言,只要一次点击,hot+1
c. uv
unique visitor
, 这个就是统计URI的访问ip数
2. 流程图
通过前面三个术语的定义,我们的操作流程就相对清晰了,我们的服务接收一个IP和URI,然后操作对应的pv,uv,hot并返回
- 首先判断这个ip是否为第一次访问这个URI
- 是,则pv+1, uv+1, hot+1
- 否,表示之前访问过,uv就不能变了
- 判断是否今天第一次访问
- 是,今天访问过,那么pv不变,hot+1
- 否,之前访问过,今天没有,pv可以+1, hot+1
对应的流程图如下
3. 数据结构
流程清晰之后,接下来就需要看下pv,uv,hot三个数据怎么存了
a. pv
pv保存的就是访问次数,与ip无关,所以kv存储就可以满足我们的需求了,这里的key为uri,value则保存pv的值
b. hot
hot和pv类似,同样用kv可以满足要求
c. uv
uv这里有两个数据,一个是uv总数,要给是这个ip的访问排名,redis中有个zset数据结构正好就可以做这个
zset数据结构中,我们定义value为ip,score为ip的排名,那么uv就是最大的score了
d. 结构图
4. 方案设计
流程清晰,结构设计出来之后,就可以进入具体的方案设计环节了,在这个环节中,我们引入一个app的维度,这样我们的服务就可以通用了;
每个使用者都申请一个app,那么这个使用者的请求的所有站点统计数据,都关联到这个app上,这样也有利于后续统计了
a. 接口API
引入了app之后,结合前面的两个参数ip + URI,我们的请求参数就清晰了
@Data public class VisitReqDTO { /** * 应用区分 */ private String app; /** * 访问者ip */ private String ip; /** * 访问的URI */ private String uri; }
然后我们返回的数据,pv + uv + rank + hot,所以返回的基础VO如下
/** * Created by @author yihui in 16:19 19/5/12. */ @Data @AllArgsConstructor public class VisitVO implements Serializable { /** * pv,与传统的有点区别,这里表示这个url的总访问次数;每个ip,一天次数只+1 */ private Long pv; /** * uv 页面总的ip访问数 */ private Long uv; /** * 当前ip,第一次访问本url的排名 */ private Long rank; /** * 热度,每次访问计数都+1 */ private Long hot; public VisitVO() { } public VisitVO(VisitVO visitVO) { this.pv = visitVO.pv; this.uv = visitVO.uv; this.rank = visitVO.rank; this.hot = visitVO.hot; } }
此外需要注意一点的是,发起一个子页面的请求时,这个时候我们基于域名的站点总数统计也应该被触发(简单来说,访问 http://spring.hhui.top/spring-blog/
时,不仅这个uri的统计需要更新, spring.hhui.top
这个域名的pv,uv,hot也需要随之统计)
因此我们最终的返回对象应该是
@Data @NoArgsConstructor @AllArgsConstructor public class SiteVisitDTO { /** * 站点访问统计 */ private VisitVO siteVO; /** * 页面访问统计 */ private VisitVO uriVO; }
有输出,又返回,那么访问api就简单了
SiteVisitDTO visit(VisitReqDTO reqDTO);
b. hot相关api
hot数据结构为hash,每次请求过来,都是次数+1,因此直接使用redis的 hIncrBy
,实现计数+1,并返回最终的计数
"hot_cnt_" + app
/** * 应用的热度统计计数 * * @param app * @return */ private String buildHotKey(String app) { return "hot_cnt_" + app; } /** * 热度,每访问一次,计数都+1 * * @param key * @param uri * @return */ public Long addHot(String key, String uri);
c. pv相关api
pv与hot不一样的是并不是每次都需要计数+1,所以它需要有一个查询pv的接口,和一个计数+1的接口
"site_cnt_" + app
/** * 应用的pv统计计数 * * @param app * @return */ private String buildPvKey(String app) { return "site_cnt_" + app; } /** * 获取pv * * pv存储结果为hash,一个应用一个key; field 为uri; value为pv * * @return null表示首次有人访问;这个时候需要+1 */ public Long getPv(String key, String uri); /** * pv 次数+1 * * @param key * @param uri */ public void addPv(String key, String uri)
d. uv相关api
前面说到uv采用的是zset数据结构,其中ip作为value,排名作为score;所以uv就是最大的score
- key: 根据app和uri来确定uv的key
- value: 存储访问者ip(ipv4格式的)
- score: 排名,整型
因为uv需要返回两个结构,所以我们的返回需要注意
/** * app+uri 对应的uv * * @param app * @param uri * @return */ private String buildUvKey(String app, String uri) { return "uri_rank_" + app + "_" + uri; } /** * 获取uri对应的uv,以及当前访问ip的历史访问排名 * 使用zset来存储,key为uri唯一标识;value为ip;score为访问的排名 * * @param key : 由app与URI来生成,即一个uri维护一个uv集 * @param ip: 访问者ip * @return 返回uv/rank, 如果对应的值为0,表示没有访问过 */ public ImmutablePair</** uv */Long, /** rank */Long> getUv(String key, String ip) /** * uv +1 * * @param key * @param ip * @param rank */ public void addUv(String key, String ip, Long rank)
e. 今日是否访问
前面的都还算比较简单,接下来有个非常有意思的地方了,如何判断这个ip,今天访问没访问?
方案一
要实现这个功能,一个自然而然的想法就出来了,直接kv就行了
uri_年月日_ip
如果value存在,表示今天访问过,如果不存在,则没有访问过
方案二
前面那个倒是没啥问题,如果我希望统计今天某个uri的ip访问数,上面的就不太好处理,很容易想到用hash来替换
uri_年月日 ip
同样value存在,则表示今天访问过;否则没有访问过
如果需要统计今天访问的总数,hlen一把就可以;还可以获取今天所有访问过的ip
方案三
前面的方案看似挺好的,但是有个缺陷,如果我这个站点特别火,每天几百万的uv,这个存储量就有点夸张了
# 简单的算一下 10w uv的存储开销 field: ip # 一个ip(255.255.255.255) 字符串存储算 16B; value: 1 # 算 1B 10w uv = 10w * 17B = 1.7MB # 假设这个站点有100个10w uv的子页面,每天存储需要 170MB
通过上面简单的计算可以看出这存储开销对于比较火的站点而言,有点吓人;然后可以找其他的存储方式了,所以bitmap可以隆重登场了
我们将位数组分成四节,分别于ip的四段对应,因为ipv4每一段取值是(0-2^8),所以我们的位数组,也只需要(4 * 8b = 4B),相比较前面的方案来说,存储空间大大减少
看到上面这个结构,会有一个疑问,为什么分成四节?将ip转成整形,作为下标,一个就可以了
- 答:将ip转为整型,取值将是 (0 - 2^32),需要的bitmap空间为
4Gb
,显然不如上面优雅
方案确定
上面三个方案中,我们选择了第三个,对应的api设计也比较简单了
// 获取今天的日期,格式为 20190512 public static String getToday() { LocalDate date = LocalDate.now(); int year = date.getYear(); int month = date.getMonthValue(); int day = date.getDayOfMonth(); StringBuilder buf = new StringBuilder(8); return buf.append(year).append(month < 10 ? "0" : "").append(month).append(day < 10 ? "0" : "").append(day) .toString(); } /** * 每日访问统计 * * @param app * @param uri * @return */ private String buildUriTagKey(String app, String uri) { return "uri_tag_" + DateUtil.getToday() + "_" + app + "_" + uri; } /** * 标记ip访问过这个key * * @param key * @param ip */ public void tagVisit(String key, String ip)
III. 服务实现
前面接口设计出来,按照既定思路实现就属于比较轻松的环节了
1. pv接口实现
pv两个接口,一个访问,一个计数+1,都可以直接使用redisTemplate的基础操作完成
/** * 获取pv * * pv存储结果为hash,一个应用一个key; field 为uri; value为pv * * @return null表示首次有人访问;这个时候需要+1 */ public Long getPv(String key, String uri) { return redisTemplate.execute(new RedisCallback<Long>() { @Override public Long doInRedis(RedisConnection connection) throws DataAccessException { byte[] ans = connection.hGet(key.getBytes(), uri.getBytes()); if (ans == null || ans.length == 0) { return null; } return Long.parseLong(new String(ans)); } }); } /** * pv 次数+1 * * @param key * @param uri */ public void addPv(String key, String uri) { redisTemplate.execute(new RedisCallback<Void>() { @Override public Void doInRedis(RedisConnection connection) throws DataAccessException { connection.hIncrBy(key.getBytes(), uri.getBytes(), 1); return null; } }); }
2. hot接口实现
只有一个计数+1的接口
/** * 热度,每访问一次,计数都+1 * * @param key * @param uri * @return */ public Long addHot(String key, String uri) { return redisTemplate.execute(new RedisCallback<Long>() { @Override public Long doInRedis(RedisConnection connection) throws DataAccessException { return connection.hIncrBy(key.getBytes(), uri.getBytes(), 1); } }); }
3. uv接口实现
uv的获取会麻烦一点,首先获取uv值,然后获取ip对应的排名;如果uv为0,排名也就不需要再获取了
/** * 获取uri对应的uv,以及当前访问ip的历史访问排名 * 使用zset来存储,key为uri唯一标识;value为ip;score为访问的排名 * * @param key : 由app与URI来生成,即一个uri维护一个uv集 * @param ip: 访问者ip * @return 返回uv/rank, 如果对应的值为0,表示没有访问过 */ public ImmutablePair</** uv */Long, /** rank */Long> getUv(String key, String ip) { // 获取总uv数,也就是最大的score Long uv = redisTemplate.execute(new RedisCallback<Long>() { @Override public Long doInRedis(RedisConnection connection) throws DataAccessException { Set<RedisZSetCommands.Tuple> set = connection.zRangeWithScores(key.getBytes(), -1, -1); if (CollectionUtils.isEmpty(set)) { return 0L; } Double score = set.stream().findFirst().get().getScore(); return score.longValue(); } }); if (uv == null || uv == 0L) { // 表示还没有人访问过 return ImmutablePair.of(0L, 0L); } // 获取ip对应的访问排名 Long rank = redisTemplate.execute(new RedisCallback<Long>() { @Override public Long doInRedis(RedisConnection connection) throws DataAccessException { Double score = connection.zScore(key.getBytes(), ip.getBytes()); return score == null ? 0L : score.longValue(); } }); return ImmutablePair.of(uv, rank); } /** * uv +1 * * @param key * @param ip * @param rank */ public void addUv(String key, String ip, Long rank) { redisTemplate.execute(new RedisCallback<Void>() { @Override public Void doInRedis(RedisConnection connection) throws DataAccessException { connection.zAdd(key.getBytes(), rank, ip.getBytes()); return null; } }); }
4. 今天是否访问过
前面选择位数组方式来记录是否访问过,这里的实现选择了简单的实现方式,利用四个bitmap来分别对应ip的四段;(实际上一个也可以实现,可以想一想应该怎么做)
/** * 判断ip今天是否访问过 * 采用bitset来判断ip是否有访问,key由app与uri唯一确定 * * @return true 表示今天访问过/ false 表示今天没有访问过 */ public boolean visitToday(String key, String ip) { // ip地址进行分段 127.0.0.1 String[] segments = StringUtils.split(ip, "."); for (int i = 0; i < segments.length; i++) { if (!contain(key + "_" + i, Integer.valueOf(segments[i]))) { return false; } } return true; } private boolean contain(String key, Integer val) { return redisTemplate.execute(new RedisCallback<Boolean>() { @Override public Boolean doInRedis(RedisConnection connection) throws DataAccessException { return connection.getBit(key.getBytes(), val); } }); } /** * 标记ip访问过这个key * * @param key * @param ip */ public void tagVisit(String key, String ip) { String[] segments = StringUtils.split(ip, "."); for (int i = 0; i < segments.length; i++) { int finalI = i; redisTemplate.execute(new RedisCallback<Void>() { @Override public Void doInRedis(RedisConnection connection) throws DataAccessException { connection.setBit((key + "_" + finalI).getBytes(), Integer.valueOf(segments[finalI]), true); return null; } }); } }
4. api接口实现
前面基本的接口实现之后,api就是流程图的翻译了,也没有什么特别值得说到的地方,唯一需要注意的就是URI的解析,域名作为站点;uri由path + segment构成
public static ImmutablePair</**host*/String, /**uri*/String> foramtUri(String uri) { URI u = URI.create(uri); String host = u.getHost(); if (u.getPort() > 0 && u.getPort() != 80) { host = host + ":80"; } String baseUri = u.getPath(); if (u.getFragment() != null) { baseUri = baseUri + "#" + u.getFragment(); } if (StringUtils.isNotBlank(baseUri)) { baseUri = host + baseUri; } else { baseUri = host; } return ImmutablePair.of(host, baseUri); } /** * uri 访问统计 * * @param reqDTO * @return */ public SiteVisitDTO visit(VisitReqDTO reqDTO) { ImmutablePair<String, String> uri = URIUtil.foramtUri(reqDTO.getUri()); // 获取站点的访问记录 VisitVO uriVisit = doVisit(reqDTO.getApp(), uri.getRight(), reqDTO.getIp()); VisitVO siteVisit; if (uri.getLeft().equals(uri.getRight())) { siteVisit = new VisitVO(uriVisit); } else { siteVisit = doVisit(reqDTO.getApp(), uri.getLeft(), reqDTO.getIp()); } return new SiteVisitDTO(siteVisit, uriVisit); } private VisitVO doVisit(String app, String uri, String ip) { String pvKey = buildPvKey(app); String hotKey = buildHotKey(app); String uvKey = buildUvKey(app, uri); String todayVisitKey = buildUriTagKey(app, uri); Long hot = visitService.addHot(hotKey, uri); // 获取pv数据 Long pv = visitService.getPv(pvKey, uri); if (pv == null || pv == 0) { // 历史没有访问过,则pv + 1, uv +1 visitService.addPv(pvKey, uri); visitService.addUv(uvKey, ip, 1L); visitService.tagVisit(todayVisitKey, ip); return new VisitVO(1L, 1L, 1L, hot); } // 判断ip今天是否访问过 boolean visit = visitService.visitToday(todayVisitKey, ip); // 获取uv及排名 ImmutablePair</**uv*/Long, /**rank*/Long> uv = visitService.getUv(uvKey, ip); if (visit) { // 今天访问过,则不需要修改pv/uv;可以直接返回所需数据 return new VisitVO(pv, uv.getLeft(), uv.getRight(), hot); } // 今天没访问过 if (uv.left == 0L) { // 首次有人访问, pv + 1; uv +1 visitService.addPv(pvKey, uri); visitService.addUv(uvKey, ip, 1L); visitService.tagVisit(todayVisitKey, ip); return new VisitVO(pv + 1, 1L, 1L, hot); } else if (uv.right == 0L) { // 这个ip首次访问, pv +1; uv + 1 visitService.addPv(pvKey, uri); visitService.addUv(uvKey, ip, uv.left + 1); visitService.tagVisit(todayVisitKey, ip); return new VisitVO(pv + 1, uv.left + 1, uv.left + 1, hot); } else { // 这个ip的今天第一次访问, pv + 1 ; uv 不变 visitService.addPv(pvKey, uri); visitService.tagVisit(todayVisitKey, ip); return new VisitVO(pv + 1, uv.left, uv.right, hot); } }
IV. 测试与小结
1. 测试
搭建一个简单的web服务,开始测试
/** * Created by @author yihui in 18:58 19/5/12. */ @Controller public class VisitController { @Autowired private SiteVisitFacade siteVisitFacade; @RequestMapping(path = "visit") @ResponseBody public SiteVisitDTO visit(VisitReqDTO reqDTO) { return siteVisitFacade.visit(reqDTO); } }
a. 首次访问
# 首次访问,返回的全是1 http://localhost:8080/visit?app=demo&ip=192.168.0.1&uri=http://hhui.top/home
b. 再次访问
# 再次访问,因为同样是今天访问,除了hot为2;其他的都是1 http://localhost:8080/visit?app=demo&ip=192.168.0.1&uri=http://hhui.top/home
c. 同ip,不同URI
# 同一ip,换个uri;除站点返回hot为3,其他的全是1 http://localhost:8080/visit?app=demo&ip=192.168.0.1&uri=http://hhui.top/index
d. 不同ip,接上一个URI
# 换个ip,这个uri;主站点hot=4, pv,uv,rank=2; uriVO全是2 http://localhost:8080/visit?app=demo&ip=192.168.0.2&uri=http://hhui.top/index
e. 上一个ip,换第一个uri
# 换个ip,这个uri;主站点hot=5, pv,uv,rank=2; uriVO hot为3,其他全是2 http://localhost:8080/visit?app=demo&ip=192.168.0.2&uri=http://hhui.top/home
f. 第二天访问
真要第二天操作有点麻烦,为了验证,直接干掉今天的占位标记
# 模拟第二天访问, pv + 1, uv不变, hot+1 http://localhost:8080/visit?app=demo&ip=192.168.0.2&uri=http://hhui.top/home
2. 小结
本文可以说是redis学习之后,一个挺好的应用场景,涉及到了我们常用和不常用的几个数据结构,包括hash,zset,bitmap, 其中关于bitmap的使用个人感觉还是非常有意思的;
对于redis操作不太熟的,可以参考下前面几篇博文
- 181029-SpringBoot高级篇Redis之基本配置
- 181101-SpringBoot高级篇Redis之Jedis配置
- 181108-SpringBoot高级篇Redis之String数据结构的读写
- 181109-SpringBoot高级篇Redis之List数据结构使用姿势
- 181202-SpringBoot高级篇Redis之Hash数据结构使用姿势
- 181211-SpringBoot高级篇Redis之Set数据结构使用姿势
- 181212-SpringBoot高级篇Redis之ZSet数据结构使用姿势
- 181225-SpringBoot应用篇之借助Redis实现排行榜功能
注意
上面这个服务,在实际使用中,需要考虑并发问题,很明显我们上的设计并不是多线程安全的,也就是说,在并发量大的时候,获取的数据极有可能和预期的不一致
扩展
上文的设计中,每个uri都有一组位图,我们可以通过遍历,获取value为1的下标,来统计这个页面今天的pv数,以及更相信的今天哪些ip访问过;同样也可以分析站点的今日UV数,以及对应的访问ip
0. 项目
- 工程: https://github.com/liuyueyi/spring-boot-demo
- 源码: https://github.com/liuyueyi/spring-boot-demo/tree/master/spring-case/124-redis-sitecount
1. 一灰灰Blog
- 一灰灰Blog个人博客 https://blog.hhui.top
- 一灰灰Blog-Spring专题博客 http://spring.hhui.top
一灰灰的个人博客,记录所有学习和工作中的博文,欢迎大家前去逛逛
2. 声明
尽信书则不如,以上内容,纯属一家之言,因个人能力有限,难免有疏漏和错误之处,如发现bug或者有更好的建议,欢迎批评指正,不吝感激
- 微博地址:小灰灰Blog
- QQ: 一灰灰/3302797840
3. 扫描关注
一灰灰blog
知识星球
打赏 如果觉得我的文章对您有帮助,请随意打赏。
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
猜你喜欢:- 「实战篇」开源项目docker化运维部署-借助dockerSwarm搭建集群部署(九)
- 借助北斗导航可以远程放羊
- 借助Spark调度MPI作业
- 借助 Swift 的枚举来简化登录
- 如何借助Molecule测试Ansible角色
- iOS后台模式借助位置更新实现
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
你必须知道的495个C语言问题
Steve Summit / 孙云、朱群英 / 人民邮电出版社 / 2009-2 / 45.00元
“本书是Summit以及C FAQ在线列表的许多参与者多年心血的结晶,是C语言界最为珍贵的财富之一。我向所有C语言程序员推荐本书。” ——Francis Glassborow,著名C/C++专家,ACCU(C/C++用户协会)前主席 “本书清晰阐明了Kernighan与Ritchie《The C programming Language》一书中许多简略的地方,而且精彩地总结了C语言编程......一起来看看 《你必须知道的495个C语言问题》 这本书的介绍吧!