算法

微信、陌陌的架构方案分析（LBS之二）

优质文章学习记录

— 8 min read
微信、陌陌的架构方案分析（LBS之二）

目标

解决大型应用（微信、陌陌级别）中，用户经纬度在不断更新，用户查找频繁的问题。（每分钟1000W级）

方案A

本方案前，请先阅读 （LBS的球面距离计算以及Geohash方案探讨(LBS之一)）

由上文，简单可得；
1、仅需每分钟将用户的经纬度，上报到数据库；
2、然后每次用户查找附近好友时，通过 LIKE ‘wm3yr3%’，即可获取

缺点：稍有一定数据量，对数据库的鸭梨可想而知

方案B

策略

假象把中国分成，若干个一平方公里的单元格，
1、用户位置的变更，理解为一个单元格移动到另外一个单元格（或者不移动）
2、用户查找附近，理解为查找，自己所在方块的的所有人

数据结构

1、用户基本信息 纬度、经度、GeoHash值（经纬度，仅用于后期距离计算）
2、单元格 集合（用户1，用户2，…）

存储工具

1、redis string（key->value） 结构，存储用户基本信息
2、redis set（集合） 结构，以GeoHash值，前6位作为key（约表示一平方千米），存储单元格的用户群

算法流程

1、更新用户信息，先删除用户原所在集合，再更新当前用户信息，最后更新当前用户所在集合
2、查找附近，直接查找，所在单元格集合所有用户ID

具体实现

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
<?php
 
 /**
  * LBS核心类
  *
  * @author name <[email protected]>
  * @site 
  */
 
include_once('geohash.class.php');
 
classlbs
{
 
    //索引长度 6位
    protected$index_len= 6;
 
    protected$redis;
 
    protected$geohash;
 
    publicfunction__construct()
    {
        //redis
        $this->redis = newRedis();
        $this->redis->pconnect('127.0.0.1','6379');
 
        //geohash
        $this->geohash = newGeohash();
    }
 
    /**
    * 更新用户信息
    *
    * @param mixed $latitude 纬度
    * @param mixed $longitude 经度
    */
    publicfunctionupinfo($user_id,$latitude,$longitude)
    {
 
        //原数据处理
 
        //获取原Geohash
        $o_hashdata= $this->redis->hGet($user_id,'geo');
 
        if(!empty($o_hashdata))
        {
            //原索引
            $o_index_key= substr($o_hashdata, 0, $this->index_len);
 
            //删除
            $this->redis->sRem($o_index_key,$user_id);
        }
 
        //新数据处理
 
        //纬度
        $this->redis->hSet($user_id,'la',$latitude);
 
        //经度
        $this->redis->hSet($user_id,'lo',$longitude);
 
        //Geohash
        $hashdata= $this->geohash->encode($latitude,$longitude);
        $this->redis->hSet($user_id,'geo',$hashdata);
 
        //索引
        $index_key= substr($hashdata, 0, $this->index_len);
 
        //存入
        $this->redis->sAdd($index_key,$user_id);
 
        returntrue;
    }
 
    /**
    * 获取附近用户
    *
    * @param mixed $latitude 纬度
    * @param mixed $longitude 经度
    */
    publicfunctionserach($latitude,$longitude)
    {
        //Geohash
        $hashdata= $this->geohash->encode($latitude,$longitude);
 
        //索引
        $index_key= substr($hashdata, 0, $this->index_len);
 
        //取得
        $user_id_array= $this->redis->sMembers($index_key);
 
        return$user_id_array;
    }
 
}
 
?>

性能测试

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
<?php
 
 /**
  * 模拟数据上报
  *
  * @author name <[email protected]>
  * @site 
  */
 
include_once('lbs.class.php');
 
$b_time= microtime(true);
 
$n= 0;
 
while(1)
{
    //user_id 1~1000000
    $user_id= rand(1,1000000);
 
    //latitude 30.59773~30.726786
    $rand_latitude= rand(30597730,30726786);
    $latitude= $rand_latitude/1000000;
 
    //longitude 103.983192 ~104.16069
    $rand_longitude= rand(103983192,104160690);
    $longitude= $rand_longitude/1000000;
 
    $lbs= newlbs();
 
    $lbs->upinfo($user_id,$latitude,$longitude);
 
    $n++;
    mylog($n);
 
    $e_time= microtime(true);
 
    if(($e_time-$b_time)>=60)
    {
        exit;
    }
}
 
functionmylog($content)
{
    file_put_contents('upinfo.log',$content."\r\n",FILE_APPEND);
}
 
?>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
<?php
 
 /**
  * 模拟查找附近
  *
  * @author name <[email protected]>
  * @site 
  */
 
include_once('lbs.class.php');
 
$b_time= microtime(true);
 
$n= 0;
 
while(1)
{
    //latitude 30.59773~30.726786
    $rand_latitude= rand(30597730,30726786);
    $latitude= $rand_latitude/1000000;
 
    //longitude 103.983192 ~104.16069
    $rand_longitude= rand(103983192,104160690);
    $longitude= $rand_longitude/1000000;
 
    $lbs= newlbs();
 
    $re= $lbs->serach($latitude,$longitude);
 
    $n++;
    mylog($n);
 
    $e_time= microtime(true);
 
    if(($e_time-$b_time)>=60)
    {
        exit;
    }
}
 
functionmylog($content)
{
    file_put_contents('search.log',$content."\r\n",FILE_APPEND);
}
 
?>

测试环境

虚拟机，内存256M，主频2.93GHz

性能结果

模拟了100W活跃用户行为，不断更新，不断查找附近好友

//60 seconds insert
88544

//60 seconds search
117660

//成都 100W人，数据占用内存
11.97M

总结

从测试结果来看，完全能满足，微信、陌陌之类的性能要求；

尚可改进之处：

1、Geohash，可写成PHP C扩展；或者其他Geohash实现方式
2、Redis，内存消耗较大，可考虑redis集群方案
3、本文仅查出本单元格用户，提高精度，可查出周围八个单元个，求交集
4、求出结果，如需按照由远到近排序；读出Redis经纬度，利用距离公式排序方可。（可参照上一篇文字）

附redis安装方法
=================================================================================================
//redis

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
wget http://redis.googlecode.com/files/redis-2.4.14.tar.gz
make
make install
 
//配置
cp redis.conf /etc/
 
vi /etc/redis.conf
#后台
daemonize yes
#日志
logfile /dev/null
#存储
dir ./
 
//小内存，内核参数
echo1 > /proc/sys/vm/overcommit_memory
 
//防火墙
vi /etc/sysconfig/iptables
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 6379 -j ACCEPT
service iptables restart
 
//启动
redis-server /etc/redis.conf
 
//测试
redis-cli set foo bar
OK
redis-cli get foo
bar

//php redis 扩展

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
//源码
 
http://pecl.php.net/package/redis
 
//手册
 
http://redis.readthedocs.org/en/latest/
 
//安装
/opt/server/php/bin/phpize
./configure --with-php-config=/opt/server/php/bin/php-config
make
make install
 
//配置
vi php.ini
[redis]
extension = redis.so

转载请注明： »

Read more

前端防范 XSS（跨站脚本攻击）

目录 一、防范措施 1.layui util  核心转义的特殊字符 示例 2.js-xss.js库 安装 1. Node.js 环境（npm/yarn） 2. 浏览器环境 核心 API 基础使用 1. 基础过滤（默认规则） 2. 自定义过滤规则 （1）允许特定标签 （2）允许特定属性 （3）自定义标签处理 （4）自定义属性处理 （5）转义特定字符 常见场景示例 1. 过滤用户输入的评论内容 2. 允许特定富文本标签（如富文本编辑器内容） 注意事项 更多配置 XSS（跨站脚本攻击）是一种常见的网络攻击手段，它允许攻击者将恶意脚本注入到其他用户的浏览器中。
详细教程：如何从前端查看调用接口、传参及返回结果（附带图片案例）

详细教程：如何从前端查看调用接口、传参及返回结果（附带图片案例）

目录 1. 打开浏览器开发者工具 2. 使用 Network 面板 3. 查看具体的API请求 a. Headers b. Payload c. Response d. Preview e. Timing 4. 实际操作步骤 5. 常见问题及解决方法 a. 无法看到API请求 b. 请求失败 c. 跨域问题（CORS） 作为一名后端工程师，理解前端如何调用接口、传递参数以及接收返回值是非常重要的。下面将详细介绍如何通过浏览器开发者工具（F12）查看和分析这些信息，并附带图片案例帮助你更好地理解。 1. 打开浏览器开发者工具 按下 F12 或右键点击页面选择“检查”可以打开浏览器的开发者工具。常用的浏览器如Chrome、Firefox等都内置了开发者工具。下面是我选择我的一篇文章，打开开发者工具进行演示。 2. 使用

Cursor+Codex隐藏技巧：用截图秒修前端Bug的保姆级教程（React/Chakra UI案例）

Cursor+Codex隐藏技巧：用截图秒修前端Bug的保姆级教程（React/Chakra UI案例） 前端开发中最令人头疼的莫过于那些难以定位的UI问题——元素错位、样式冲突、响应式失效...传统调试方式往往需要反复修改代码、刷新页面、检查元素。现在，通过Cursor编辑器集成的Codex功能，你可以直接用截图交互快速定位和修复这些问题。本文将带你从零开始，掌握这套革命性的调试工作流。 1. 环境准备与基础配置 在开始之前，确保你已经具备以下环境： * Cursor编辑器最新版（v2.5+） * Node.js 18.x及以上版本 * React 18项目（本文以Chakra UI 2.x为例） 首先在Cursor中安装Codex插件： 1. 点击左侧扩展图标 2. 搜索"Codex"并安装 3. 登录你的OpenAI账户（需要ChatGPT Plus订阅） 关键配置项： // 在项目根目录创建.