让我们深入探讨redis内网访问的各个方面,包括高级配置、性能优化、安全考虑和常见问题的深入解决方案。

# redis 高级配置 (redis.conf)
bind 192.168.1.100
port 6379
requirepass "your_very_strong_password"
maxmemory 1gb
maxmemory-policy volatile-lru
appendonly yes
appendfsync everysec
save 900 1
save 300 10
save 60 10000
slowlog-log-slower-than 10000
slowlog-max-len 128
notify-keyspace-events "ex"

# 启用 tls/ssl
tls-port 6380
tls-cert-file /path/to/redis.crt
tls-key-file /path/to/redis.key
tls-ca-cert-file /path/to/ca.crt

# redis sentinel 配置 (sentinel.conf)
port 26379
sentinel monitor mymaster 192.168.1.100 6379 2
sentinel down-after-milliseconds mymaster 5000
sentinel failover-timeout mymaster 60000
sentinel auth-pass mymaster "your_very_strong_password"

# 启动 redis 服务器和 sentinel
redis-server /path/to/redis.conf
redis-sentinel /path/to/sentinel.conf

# python 高级示例
import redis
from redis.sentinel import sentinel

# 使用 sentinel 连接
sentinel = sentinel([('192.168.1.101', 26379), ('192.168.1.102', 26379), ('192.168.1.103', 26379)],
socket_timeout=0.1)
master = sentinel.master_for('mymaster', socket_timeout=0.1, password='your_very_strong_password')
slave = sentinel.slave_for('mymaster', socket_timeout=0.1, password='your_very_strong_password')

# 使用 redis cluster
from rediscluster import rediscluster

startup_nodes = [{"host": "192.168.1.100", "port": "7000"},
{"host": "192.168.1.101", "port": "7001"},
{"host": "192.168.1.102", "port": "7002"}]
rc = rediscluster(startup_nodes=startup_nodes, decode_responses=true, password='your_very_strong_password')

# 使用 lua 脚本
lua_script = """
local current = redis.call('get', keys[1])
if current == argv[1] then
redis.call('set', keys[1], argv[2])
return true
else
return false
end
"""
script = r.register_script(lua_script)
result = script(keys=['my_key'], args=['old_value', 'new_value'])

# 使用 redis stream
r.xadd('mystream', {'sensor_id': 1, 'temperature': 25.5})
messages = r.xread({'mystream': '0-0'}, count=1, block=0)

# 使用 redis 事务
with r.pipeline(transaction=true) as pipe:
pipe.set('foo', 'bar')
pipe.incr('visitors')
pipe.ｅxecute()

现在,让我们深入探讨redis内网访问的各个方面:

1. 高级配置详解 a. 内存管理
   • maxmemory: 设置redis可以使用的最大内存。例如,maxmemory 1gb限制redis使用1gb内存。
   • maxmemory-policy: 定义内存达到限制时的淘汰策略。
     • volatile-lru: 只对设置了过期时间的key使用lru算法淘汰
     • allkeys-lru: 对所有key使用lru算法淘汰
     • volatile-random: 随机淘汰设置了过期时间的key
     • allkeys-random: 随机淘汰任意key
     • volatile-ttl: 淘汰即将过期的key
     • noeviction: 不淘汰,返回错误
   b. 持久化配置
   • appendonly yes: 启用aof持久化
   • appendfsync everysec: 每秒同步一次aof文件
   • save 900 1: 在900秒内有至少1个key变更,则触发rdb快照
   c. 慢查询日志
   • slowlog-log-slower-than 10000: 记录执行时间超过10毫秒的查询
   • slowlog-max-len 128: 保留最近128条慢查询记录
   d. 键空间通知
   • notify-keyspace-events "ex": 启用键过期事件通知
2. 安全加固 a. 网络安全
   • 使用防火墙限制可以访问redis端口的ip
   • 启用tls/ssl加密:
      

     copy

     tls-port 6380
     tls-cert-file /path/to/redis.crt
     tls-key-file /path/to/redis.key
     tls-ca-cert-file /path/to/ca.crt

   b. 访问控制
   • 使用强密码: requirepass "your_very_strong_password"
   • 定期更改密码
   • 禁用或重命名危险命令: rename-command flushall ""
   c. 数据安全
   • 定期备份数据
   • 使用redis auth命令进行身份验证
   • 在客户端实现重试机制,处理网络故障
3. 高可用性配置 a. redis sentinel
   • 配置多个sentinel节点监控redis主节点
   • 自动故障检测和主从切换
   • 示例配置:
      

     copy

     sentinel monitor mymaster 192.168.1.100 6379 2
     sentinel down-after-milliseconds mymaster 5000
     sentinel failover-timeout mymaster 60000

   b. redis cluster
   • 实现数据分片和自动故障转移
   • 使用hash slots分配数据
   • 至少需要3个主节点和3个从节点
4. 性能优化深度解析 a. 连接池
   • 使用连接池减少连接创建开销
   • 根据并发需求调整连接池大小
   b. 管道和事务
   • 使用管道(pipelining)批量执行命令,减少网络往返
   • 使用multi/ｅxec命令实现事务,保证操作的原子性
   c. lua脚本
   • 使用lua脚本将复杂操作原子化,减少网络交互
   • 示例:
     python

     copy

     lua_script = """
     local current = redis.call('get', keys[1])
     if current == argv[1] then
     redis.call('set', keys[1], argv[2])
     return true
     else
     return false
     end
     """
     script = r.register_script(lua_script)
     result = script(keys=['my_key'], args=['old_value', 'new_value'])

   d. 合理的数据结构选择
   • 字符串(string): 适用于简单键值对
   • 哈希(hash): 适用于存储对象
   • 列表(list): 适用于队列或栈
   • 集合(set): 适用于唯一元素集合
   • 有序集合(sorted set): 适用于排行榜
   e. 使用redis stream进行高效的消息队列
   python

   copy

   r.xadd('mystream', {'sensor_id': 1, 'temperature': 25.5})
   messages = r.xread({'mystream': '0-0'}, count=1, block=0)

5. 监控和诊断 a. info命令
   • 使用info命令获取redis服务器的各种统计信息
   • 定期检查内存使用、客户端连接数、命令执行统计等
   b. 监控指标
   • 内存使用率
   • 命令执行速率
   • 网络带宽使用
   • 复制延迟(对于主从架构)
   c. 使用第三方监控工具
   • redis exporter + prometheus + grafana: 全面的监控和警报系统
   • redis commander: web界面管理工具
6. 常见问题深入解析 a. 内存碎片 问题: 实际内存使用远超过redis报告的使用量 解决:
   • 使用memory purge命令(redis 4.0+)
   • 定期重启redis服务(在低峰期)
   • 调整vm.overcommit_memory系统参数
   b. 复制积压缓冲区溢出 问题: 主从复制中,从节点无法及时同步导致完全重新同步 解决:
   • 增加repl-backlog-size值
   • 优化网络连接,减少延迟
   • 考虑使用redis cluster分担负载
   c. 热点key问题 问题: 某些key访问频率过高,导致单个redis实例成为瓶颈 解决:
   • 使用redis cluster分散热点key
   • 实现客户端侧缓存
   • 使用本地缓存+过期策略
   d. 大key问题 问题: 单个key的值过大,影响性能 解决:
   • 使用scan命令+memory usage找出大key
   • 将大key拆分(例如,使用hash代替string)
   • 使用unlink命令(redis 4.0+)异步删除大key
7. 进阶技巧 a. 使用redis模块扩展功能
   • redisjson: 原生支持json数据类型
   • redisearch: 全文搜索引擎
   • redistimeseries: 时间序列数据库
   b. 实现分布式锁
   python

   copy

   def acquire_lock(conn, lockname, acquire_timeout=10):
   identifier = str(uuid.uuid4())
   end = time.time() + acquire_timeout
   while time.time() < end:
   if conn.setnx(lockname, identifier):
   return identifier
   time.sleep(0.001)
   return false

   def release_lock(conn, lockname, identifier):
   pipe = conn.pipeline(true)
   while true:
   try:
   pipe.watch(lockname)
   if pipe.get(lockname) == identifier:
   pipe.multi()
   pipe.ｄelete(lockname)
   pipe.ｅxecute()
   return true
   pipe.unwatch()
   break
   except redis.exceptions.watcherror:
   pass
   return false

   c. 使用redis实现限流器
   python

   copy

   def is_action_allowed(user_id, action_key, period, max_count):
   key = f'hist:{user_id}:{action_key}'
   now = int(time.time() * 1000) # 当前时间戳(毫秒)
   with r.pipeline() as pipe:
   pipe.zadd(key, {now: now}) # 记录行为
   pipe.zremrangebyscore(key, 0, now - period * 1000) # 移除时间窗口之前的行为记录
   pipe.zcard(key) # 获取窗口内的行为数量
   pipe.expire(key, period + 1) # 设置 zset 过期时间, 避免冗余数据
   _, _, current_count, _ = pipe.ｅxecute()
   return current_count <= max_count

这些深入的解释和示例应该能够帮助你更全面地理解和使用redis在内网环境中。记住,redis是一个强大而灵活的工具,正确的配置和使用可以显著提升你的应用性能。同时,安全性和可靠性也是至关重要的,特别是在处理敏感数据时。

感谢提供：05互联