环境：安卓手机

手机品牌：vivo x9s 4G运行内存

手机软件:utermux

环境安装:

1.java环境的安装

2.redis环境的安装

apt install redis

3.elasticsearch环境的安装

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.4.tar.gz

1.安装列表

1. MySQL 5.7.11
2. Java 1.8

Scrapy是一个比较好用的Python爬虫框架，你只需要编写几个组件就可以实现网页数据的爬取。但是当我们要爬取的页面非常多的时候，单个服务器的处理能力就不能满足我们的需求了（无论是处理速度还是网络请求的并发数），这时候分布式爬虫的优势就显现出来。

备注：以下操作均由本人实际操作并得到验证，喜欢的同学可尝试操作安装。

步骤一

1.1 环境准备（使用系统：ubuntu 18.04）

1.1.1 安装redis

ubuntu下安装（参考借鉴：
https://www.runoob.com/redis/redis-install.html

1，准备一台虚拟机，debian12或者ubuntu sever22.04.3

可以用virtualbox/qemu，或者你的超融合服务器

安装一些常用工具和依赖库

我这里选择server模式安装，用tabby远程管理，用vscode远程开发

2，安装web环境

布隆过滤器是一种空间效率非常高的概率性数据结构，主要的作用是用来测试某个元素是否属于一个集合，能够实现用较少的空间来实现大数据量的存储，并且实现了快速查找操作。但是布隆过滤器可能会产生误报，也就是说通过布隆过滤器可以告诉你某个元素存在，但这个存在可能是一个误报。如果布隆过滤器告诉你某个元素不在集合中，那么就可以百分之百确定元素不在集合中。但可以确定的布隆过滤器是一定不会出现漏报的情况。

作者丨Shritama Saha

编译丨诺亚

介绍

Redis（Remote Dictionary Server）是一种高性能的开源内存数据库，它支持多种数据结构，如字符串、哈希、列表、集合、有序集合等，并提供了丰富的操作命令。Redis具有快速、可靠和灵活的特点，广泛应用于缓存、消息队列、会话存储、计数器等场景。本文将从入门到精通地介绍Python中操作Redis数据库的方法，带你掌握使用Redis进行数据存储和读取的技巧。

1、安装依赖包

redis==3.5.2

redis-py-cluster==2.1.3

2、配置集群

settings中新增节点信息（在三主三从集群中，写入主节点信息即可）：

#头条创作挑战赛#