Files
MaaAssistantArknights/tools/AutoLocalization/src/auto_localization/cli.py
Lucien Shaw 14194d1118 chore: 完善容器配置及依赖安装 (#14208)
格式化工具部分:
1. pre-commit 引入 python 的格式化工具,包括 black(代码格式化)和 isort(对“包导入顺序”的规范)
2. 允许 prettier 对文档站的 markdown 文件格式化
3. 不允许 prettier 对 markdown 文件中的代码块的代码本身进行格式化
4. 升级了 pre-commit 的各个 hook 的版本
5. 优化了 pre-commit 的日志文本显示

容器总览部分:
1. 由原来的单一轻量环境转为区分空环境、轻量环境和全量环境
2. 空环境是裸 Linux 镜像(Ubuntu),为默认环境
3. 轻量环境适合开发文档站前端
4. 全量环境适合开发 MaaCore
5. 目前,全量环境完整包含了轻量环境,轻量环境完整包含了空环境
6. 在仓库 README.md 中更新了三个环境的描述,并将链接分别设置为对应环境的创建链接
   **注意:没有修改文档站中的对应文件**
7. 在各个语言的开发指南的最后,移除了 Codespace 部分的“安装额外依赖”相关描述,且将链接设置为全量环境的创建链接
   **注意:没有添加“开发文档站”的指南和对应 codespace 的使用方式**

容器的轻量环境和全量环境共有部分:
1. 安装 black 和 isort 包
2. 调整 VS Code 设置,取消先前(对 markdown 文件单独指定 markdownlint 扩展作为格式化工具)的错误设置,现在 markdown 文件仍然使用默认的 prettier 扩展作为格式化工具
3. 引入 markdown-all-in-one 扩展作为语法提示工具
4. 将 node_modules 和 3rdparty 排除在 VS Code 的文本的搜索路径之外

容器的全量环境部分:
1. 为 tools 下的所有 python 脚本安装依赖
2. 使用 tools/maadeps-download.py 下载 maadeps,且将必要二进制文件软链接到 /usr/local/bin/
3. 使用 apt 安装 cmake 和 clangd-20,将后者通过 update-alternatives 设置为系统 clangd 的默认版本
4. 使用 cmake tools 扩展,并按照 Linux 编译方法进行配置
5. 使用 clang-format 作为 c/cpp 的格式化工具,clang-format 程序主体来自 maadeps(已经软链接到 /usr/local/bin/)
6. 使用 clangd 作为 c/cpp 的语法提示工具
7. 将 MaaDeps、install 和 build 排除在 VS Code 的文本搜索路径之外

其它手动调整:
1. 更新文档站的 package.json,指定 pnpm 包管理器的版本
2. 手动保证 markdown 文件中的列表前后有空行(注意到 MarkdownLint 官方规则不一定能精准定位所有“列表前后空行”的问题,详见:https://github.com/DavidAnson/markdownlint/blob/main/doc/Rules.md#md032---lists-should-be-surrounded-by-blank-lines )
3. 修改了部分 markdown 文件中的 json 代码块的语法问题
   **注意:相同的问题并未全部发现,仅修改了两处**
4. 在 tools 目录中,一处 python 脚本的包名误用(本地包名和某个 pip 包重名),这里修改了相应代码
5. 在 tools 目录中,一处 python 脚本使用了弃用的包 cchardet 的问题,这里更换了推荐使用的功能相近的包并修改了相应代码

自动化脚本提交的修改:
1. 自动格式化了大量 tools 中的 python 脚本
2. 自动格式化了大量 docs 中的 markdown 文件

Commits:

* chore: pre-commit引入black和isort规范py文件

* chore: Auto update by pre-commit hooks [skip changelog]

* chore: devcontainer添加isort扩展,排序python导入

* chore: pre-commit任务命名及更名

* style: isort fix

* chore: Auto update by pre-commit hooks [skip changelog]

* chore: 更新pre-commit的hook版本

* fix: 模块名与第三方库重名,大忌

* chore: 容器构建时额外安装isort

* docs: md -> markdown

* chore: 容器安装python包和maadeps

* fix: 修复过时python包

* chore: 指定pnpm版本

* chore: container支持选择轻量环境

* chore: 去掉rust

* chore: add plain env

* chore: 使用clangd语言服务器

* chore: 无需单独设置markdown的格式化工具

* chore: 更新安装的clangd版本

* docs: 简易文档适配

* docs: 在仓库README中重新编排codespaces相关指引

* chore: Auto update by pre-commit hooks [skip changelog]

* style: 调整缩进

* chore: 格式化工具不用特意排除被gitignore忽略的文件

* chore: sh文件在gitattributes中单列一类

* chore: 格式化docs下的markdown文件

* chore: 暂时不修改md文件中的代码块

* style: 人为明确markdown中的部分列表相关格式

* docs: 补上部分markdown的json代码块中缺失的逗号

* chore: Auto update by pre-commit hooks [skip changelog]

* chore: Auto update by pre-commit hooks [skip changelog]

* fix: 补上tools的服务器排序相关代码中缺失的逗号

Co-authored-by: Copilot <175728472+Copilot@users.noreply.github.com>

* chore: 使用maadeps的clangd

* build: 更新maadeps工具链版本

* style: prettier fix

* revert: 还原maadeps版本

* revert: 取消使用maadeps的clangd依赖,改用系统apt安装

---------

Co-authored-by: pre-commit-ci[bot] <66853113+pre-commit-ci[bot]@users.noreply.github.com>
Co-authored-by: Copilot <175728472+Copilot@users.noreply.github.com>
2025-09-30 19:39:48 +08:00

242 lines
8.0 KiB
Python
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
import argparse
import logging
import os
from pathlib import Path
from shutil import copy
from dotenv import load_dotenv
from .git import get_latest_file_content
from .xaml_load import XamlParser
logging.basicConfig(
level=logging.INFO, format="%(asctime)s - %(levelname)s - %(message)s"
)
logging.debug(os.path.abspath(".env"))
solution_dir = Path.cwd()
for i in range(10):
cases = (
(solution_dir / "docs").exists(),
solution_dir / ".env" in solution_dir.iterdir(),
)
match cases:
case (_, True): # find .env by find itself
load_dotenv(dotenv_path=solution_dir / ".env")
break
case (True, _): # find .env by finding resource dir
env_path = solution_dir / "tools/AutoLocalization/.env"
if env_path.exists():
load_dotenv(dotenv_path=env_path)
break
case _: # if not found go up one level
solution_dir = solution_dir.parent
else:
logging.error("未找到.env文件")
exit(1)
root_path = solution_dir / os.getenv("LOCALIZATION_PATH")
assert root_path, "LOCALIZATION_PATH is not set"
zh_cn_path = os.path.join(root_path, "zh-cn.xaml")
en_us_path = os.path.join(root_path, "en-us.xaml")
zh_tw_path = os.path.join(root_path, "zh-tw.xaml")
ja_jp_path = os.path.join(root_path, "ja-jp.xaml")
ko_kr_path = os.path.join(root_path, "ko-kr.xaml")
def initiate(args):
logging.info("initiate project")
copy("./copy.env", ".env")
with open("./copy.env", "r") as f:
content = f.read()
api_key = input("please input openai api key:")
content = content.replace(
"OPENAI_API_KEY=YOUR_API_KEY\n", f"OPENAI_API_KEY={api_key}\n"
)
with open(".env", "w") as f:
f.write(content)
def create(args):
logging.info(f"create project{args}")
if args.language:
generate_by_language(args.test, args.force, root_path, args.language)
return
if args.force:
logging.info("force create")
translate_force(args.test)
else:
logging.info("no force create")
translate_compare(args.test)
def update(args):
logging.info("update project")
if args.language:
update_by_language(args.test, root_path, args.language)
return
translate_update(args.test)
def translate_force(test):
zh_cn_parser = XamlParser(zh_cn_path)
en_us_parser = XamlParser(en_us_path)
# 生成中文翻译
zh_cn_parser.translate_force(zh_tw_path, skip_translate=test)
zh_cn_parser.translate_compare(en_us_parser, skip_translate=test)
en_us_parser = XamlParser(en_us_path)
en_us_parser.translate_force(ja_jp_path, skip_translate=test)
en_us_parser.translate_force(ko_kr_path, skip_translate=test)
logging.info("generate force done")
def translate_compare(test):
zh_cn_parser = XamlParser(zh_cn_path)
en_us_parser = XamlParser(en_us_path)
zh_tw_parser = XamlParser(zh_tw_path)
ja_jp_parser = XamlParser(ja_jp_path)
ko_kr_parser = XamlParser(ko_kr_path)
zh_tw_parser.translate_compare(zh_cn_parser, skip_translate=test)
en_us_parser.translate_compare(zh_cn_parser, skip_translate=test)
en_us_parser = XamlParser(en_us_path)
ja_jp_parser.translate_compare(en_us_parser, skip_translate=test)
ko_kr_parser.translate_compare(en_us_parser, skip_translate=test)
logging.info("generate compare done")
def generate_by_language(test, force, path, language):
zh_cn_parser = XamlParser(zh_cn_path)
if force:
assert language in [
"en-us",
"zh-tw",
"ja-jp",
"ko-kr",
], f"language {language} is not supported"
language_path = os.path.join(path, f"{language}.xaml")
zh_cn_parser.translate_force(language_path, skip_translate=test)
return
en_us_parser = XamlParser(en_us_path)
match language:
case s if s in ["en-us", "zh-tw"]:
file_path = os.path.join(path, f"{language}.xaml")
parser = XamlParser(file_path)
parser.translate_compare(zh_cn_parser, skip_translate=test)
case s if s in ["ja-jp", "ko-kr"]:
file_path = os.path.join(path, f"{language}.xaml")
parser = XamlParser(file_path)
parser.translate_compare(en_us_parser, skip_translate=test)
case _:
raise ValueError(f"language {language} is not supported")
def translate_update(test):
zh_cn_new_parser = XamlParser(zh_cn_path)
zh_cn_old_content = get_latest_file_content(
file_path=zh_cn_path, encoding=zh_cn_new_parser.encoding
)
zh_cn_old_parser = XamlParser(
parse_type=1,
xaml_string=zh_cn_old_content,
language=zh_cn_new_parser.language,
encoding=zh_cn_new_parser.encoding,
)
en_us_new_parser = XamlParser(en_us_path)
en_us_old_content = get_latest_file_content(
file_path=en_us_path, encoding=en_us_new_parser.encoding
)
en_us_old_parser = XamlParser(
parse_type=1,
xaml_string=en_us_old_content,
language=en_us_new_parser.language,
encoding=en_us_new_parser.encoding,
)
zh_tw_parser = XamlParser(zh_tw_path)
ja_jp_parser = XamlParser(ja_jp_path)
ko_kr_parser = XamlParser(ko_kr_path)
zh_tw_parser.update_translate(
zh_cn_old_parser, zh_cn_new_parser, skip_translate=test
)
# TODO: 英文更新翻译逻辑?
en_us_new_parser.translate_compare(zh_cn_new_parser, skip_translate=test)
en_us_new_parser = XamlParser(en_us_path)
ja_jp_parser.update_translate(
en_us_old_parser, en_us_new_parser, skip_translate=test
)
ko_kr_parser.update_translate(
en_us_old_parser, en_us_new_parser, skip_translate=test
)
logging.info("update done")
def update_by_language(test, path, language):
match language:
case s if s in ["en-us", "zh-tw"]:
compare_file_path = zh_cn_path
case s if s in ["ja-jp", "ko-kr"]:
compare_file_path = en_us_path
case _:
raise ValueError(f"language {language} is not supported")
compare_new_parser = XamlParser(compare_file_path)
compare_old_content = get_latest_file_content(
file_path=compare_file_path, encoding=compare_new_parser.encoding
)
compare_old_parser = XamlParser(
parse_type=1,
xaml_string=compare_old_content,
language=compare_new_parser.language,
encoding=compare_new_parser.encoding,
)
file_path = os.path.join(path, f"{language}.xaml")
parser = XamlParser(file_path)
parser.update_translate(compare_old_parser, compare_new_parser, skip_translate=test)
def cli_ui(test=None):
parser = argparse.ArgumentParser(
description="一个用于自动翻译本地化目录下不同语言文档的命令行工具。"
)
subparsers = parser.add_subparsers()
parser_init = subparsers.add_parser("init", help="初始化工具")
parser_init.set_defaults(func=initiate)
parser_create = subparsers.add_parser(
"create", help="初始化其他语言的文档,可选参数:-f --force, -t --test"
)
parser_create.set_defaults(func=create)
parser_create.add_argument(
"-f", "--force", action="store_true", help="强制覆盖已有的部分"
)
parser_create.add_argument(
"-t", "--test", action="store_true", help="测试更新情况跳过chatgpt"
)
parser_create.add_argument(
"-l", "--language", help="指定语言可选参数en-us, zh-tw, ja-jp, ko-kr"
)
parser_update = subparsers.add_parser(
"update", help="更新本地化翻译,可选参数:-t --test"
)
parser_update.set_defaults(func=update)
parser_update.add_argument(
"-t", "--test", action="store_true", help="测试更新情况跳过chatgpt"
)
parser_update.add_argument(
"-l", "--language", help="指定语言可选参数en-us, zh-tw, ja-jp, ko-kr"
)
if test:
args = parser.parse_args(test)
else:
args = parser.parse_args()
args.func(args)
def main():
cli_ui()
if __name__ == "__main__":
cli_ui(["init"])
print()