interest 01
图论与组合
我的本行:边染色、匹配、图的结构。我喜欢答案可以被机械验证的问题。
~/svah-x · 滑铁卢 · 数学系本科
我在滑铁卢大学读数学,主修组合数学与优化。课程之外主要在做机器学习研究, 方向是数学推理,以及模型内部到底发生了什么。
研究 / blk 01
interest 01
我的本行:边染色、匹配、图的结构。我喜欢答案可以被机械验证的问题。
interest 02
transformer 的计算方式,是让一个隐状态穿过一摞层,每一层从中读、再写回去。 我感兴趣的是信息在这摞层里究竟怎么移动,以及怎么在训好的模型上把它量出来。
interest 03
推理不一定要写成文字。有一族模型靠反复套用同一个小网络、 细化一个隐状态来工作。我跟这条线跟得比较紧,也复现其中的论文, 一般用难度容易控制的谜题来做。
项目 / blk 02
研究原型、训练基础设施,和一个黑客松作品。 代码都在 GitHub。
一个 AdamW 变体,用 GUDHI 算出的损失曲面拓扑摘要来调整步长; 几何估计不可靠时,保险锁会限制调整幅度。在 CIFAR-10 上与原版 AdamW 做了对比。
一个 DreamerV3 风格的智能体,从像素学玩 Geometry Dash。大部分工作量在工程上: 自定义 Gymnasium 环境,加一座 Windows 到 WSL 的桥, 让观测、动作和日志在每秒 60 帧下保持对齐。
给 Dream-7B 和 GPT-OSS-20B 搭的数学语料微调管线:4-bit QLoRA、梯度检查点、DeepSpeed。 在我用的基准上,数学准确率提升约 20%,显存占用降了一半以上,单张 16 GB 显卡就能跑。
LA Hacks 的黑客松作品。回答七个问题,生成二十年后的你: 变老的肖像、一段人生旁白,和一个可以对话的角色。
浏览器里实时运行的 CFD 实验室:格子玻尔兹曼(D2Q9)求解器 + 动量交换法测力,并用经典圆柱算例校核。把标准假人、汽车、火箭—— 或任何你画出/上传的形状——放进试验段,调节风速、气温与表面摩擦, 从天平读出实测阻力系数,看卡门涡街脱落。
课程 / blk 03
学习时写下的笔记,整理成了两门课。免费,以代码为主。
背景 / blk 04
我是数学竞赛出身(Euclid,BC 省第一),从数学这一侧进入机器学习。
在滑铁卢读组合数学与优化。机器学习里相当多的问题, 拆开看就是图和优化问题,专业和研究正好对得上。
更早的时候主要做强化学习和训练效率,上面列的项目多数来自那个阶段。
教育与奖项
工具箱