modify scripts

javhd/src/utils.py

@@ -0,0 +1,35 @@
+import re
+import os
+import json
+import time
+import csv
+from datetime import datetime
+from urllib.parse import urlparse
+import logging
+import config
+from urllib.parse import urlparse, urlunparse, parse_qs, urlencode
+
+def replace_lang_param(url: str) -> str:
+    """
+    将URL中的lang参数统一替换为'en'，支持路径中包含lang的情况
+    """
+    parsed = urlparse(url)
+    
+    # 处理路径中的lang参数（如 /ja/model/... 或 /en/model/...）
+    path_parts = parsed.path.split('/')
+    if len(path_parts) >= 2 and path_parts[1] in ['en', 'ja', 'zh']:
+        path_parts[1] = 'en'  # 替换第二个路径段为'en'
+        new_path = '/'.join(path_parts)
+    else:
+        new_path = parsed.path
+    
+    # 处理查询参数中的lang（如有）
+    query = parse_qs(parsed.query)
+    
+    # 构建新URL
+    new_parsed = parsed._replace(
+        path=new_path,
+        query=urlencode(query, doseq=True)
+    )
+    return urlunparse(new_parsed)
+