EN5425 / EV4240 · Capstone

Fine-tune, Evaluate, Release a Foundation ModelFoundation Model을 fine-tuning하고, 평가하고, release하기

The capstone is an evaluation project wearing a modeling project's clothes. You will adapt a public Earth-observation or weather foundation model to a real task, test it against baselines that are actually trying to win, and release everything publicly — adapters, evaluation report, and model card. A rigorously demonstrated negative result scores full marks.Capstone은 모델링 프로젝트의 옷을 입은 평가 프로젝트예요. 공개된 Earth observation 또는 기상 foundation model을 실제 task에 적응시키고, 정말로 이기려고 하는 baseline들과 겨루게 하고, 모든 것을 공개적으로 release해요 — adapter, 평가 보고서, model card까지. 엄밀하게 입증된 부정적 결과도 만점을 받아요.

The central question핵심 질문

The PANGAEA benchmark asked it bluntly: does the foundation model really beat a well-tuned supervised baseline on your task? Sometimes yes, often no, and the field needs honest answers. Your capstone answers that question for one model on one task, with an evaluation airtight enough that either answer is publishable.PANGAEA benchmark는 이 질문을 직설적으로 던졌어요: foundation model이 잘 튜닝된 supervised baseline을 여러분의 task에서 정말로 이길까요? 어떤 때는 그렇고, 많은 경우 아니에요 — 그리고 이 분야에는 정직한 답이 필요해요. 여러분의 capstone은 하나의 모델, 하나의 task에 대해 이 질문에 답해요. 어느 쪽 답이 나와도 발표할 수 있을 만큼 빈틈없는 평가와 함께요.

Structure — three tiers구조 — 세 개의 tier

Tier 1 · default — everyoneTier 1 · 기본 — 전원

Fine-tune & rigorously evaluate a public FM공개 FM을 fine-tuning하고 엄밀하게 평가하기

Solo (EN5425) or pairs with a contribution statement (EV4240).개인 (EN5425) 또는 기여 명세와 함께 pair (EV4240).

Geospatial direction. Adapt Prithvi-EO-2.0 (via TerraTorch), OlmoEarth-Nano, or Presto to one downstream task:Geospatial 방향. Prithvi-EO-2.0 (TerraTorch 이용), OlmoEarth-Nano, 또는 Presto를 downstream task 하나에 적응시켜요: Sen1Floods11 flood mapping crop-type from pixel time series SMAP soil-moisture regression

Weather/climate direction. Adapt ClimaX or Prithvi-WxC checkpoints to:Weather/climate 방향. ClimaX 또는 Prithvi-WxC checkpoint를 다음에 적응시켜요: Korea-region downscaling multi-step forecasting at longer leads

Release = LoRA adapters + evaluation report + model card on the Hugging Face Hub, plus a tagged GitHub repo whose README quickstart runs in under five minutes.Release = Hugging Face Hub의 LoRA adapter + 평가 보고서 + model card, 그리고 README quickstart가 5분 안에 실행되는 tag된 GitHub repo.

Tier 2 · built into the labsTier 2 · lab에 내장

Everyone experiences pretraining모두가 pretraining을 경험해요

You do not need to pretrain for the capstone to know what pretraining feels like: the Week 7 lab has you pretrain a small masked autoencoder yourself, and the Week 9 lab has you fit scaling behavior on real runs. Those experiences are what make your capstone's evaluation judgments credible — you will know what the checkpoint you are fine-tuning actually went through.pretraining이 어떤 것인지 알기 위해 capstone에서 직접 pretraining할 필요는 없어요: 7주차 lab에서 소형 masked autoencoder를 직접 pretraining하고, 9주차 lab에서 실제 run으로 scaling 거동을 적합해 봐요. 이 경험들이 여러분의 capstone 평가 판단에 신뢰를 부여해요 — 여러분이 fine-tuning하는 checkpoint가 실제로 무엇을 거쳐 왔는지 알게 되니까요.

Tier 3 · from-scratch stretchTier 3 · from-scratch 도전

Hydro-FM — joint pretraining projectHydro-FM — 공동 pretraining 프로젝트

One team of 4 members from the HydroAI lab may opt into pretraining a small hydrology-focused foundation model from scratch as a joint project. Same milestones and same rubric as everyone else, with two additions that keep individual accountability real: individual vivas (each member defends the whole pipeline alone) and commit audits (contribution is verified in the git history, not the author list).HydroAI lab 소속 4인 1팀은 소형 수문 특화 foundation model을 처음부터 pretraining하는 공동 프로젝트를 선택할 수 있어요. milestone과 루브릭은 모두와 동일하고, 개인 책임을 실질적으로 유지하는 두 가지가 추가돼요: individual viva (각 구성원이 전체 pipeline을 혼자 방어) 그리고 commit audit (기여를 저자 목록이 아니라 git 히스토리로 검증).

The four baselines꼭 비교해야 하는 baseline 네 가지

Every capstone reports all four of these on the same frozen evaluation split. Skipping one is the single fastest way to lose points — the quartet is what makes your headline number mean something.모든 capstone은 동일한 고정 평가 split에서 이 네 가지를 모두 보고해요. 하나라도 빼먹는 것이 점수를 잃는 가장 빠른 길이에요 — 이 4중주가 여러분의 대표 수치에 의미를 부여해요.

  1. Random-init control — your fine-tuning recipe applied to an untrained copy of the same architecture. Separates "the pretraining helped" from "the architecture helped".Random-init control — 동일한 architecture의 학습되지 않은 복사본에 여러분의 fine-tuning 레시피를 적용한 것. "pretraining이 도움이 됐다"와 "architecture가 도움이 됐다"를 분리해 줘요.
  2. Supervised baseline that tries to win — the Week 4 U-Net for segmentation tasks; persistence and climatology for forecasting tasks. Tuned honestly, not sandbagged.이기려고 하는 supervised baseline — segmentation task에는 4주차 U-Net, forecasting task에는 persistence와 climatology. 봐주기 없이 정직하게 튜닝해요.
  3. Frozen probe — the FM's frozen features with only a lightweight head trained. Measures what the representation gives you for free.Frozen probe — FM의 고정된 feature에 가벼운 head만 학습한 것. representation이 공짜로 주는 것을 측정해요.
  4. Fine-tuned model — your headline system (LoRA or full fine-tune), reported with seeds and error bars.Fine-tuned model — 여러분의 대표 시스템 (LoRA 또는 full fine-tune). seed와 error bar와 함께 보고해요.
Honest-negative-result rubric. If the tuned U-Net beats your fine-tuned FM, you have not failed — you have measured something the field cares about. The rubric grades the rigor of the comparison (frozen splits, seeds, error bars, ablation, limitations stated plainly), not which row of your table is bold.정직한 부정적 결과 루브릭. 튜닝된 U-Net이 여러분의 fine-tuned FM을 이겼다면, 실패한 것이 아니에요 — 이 분야가 궁금해하는 것을 측정한 거예요. 루브릭은 비교의 엄밀함(고정된 split, seed, error bar, ablation, 분명하게 서술된 한계)을 채점하지, 표의 어느 행이 굵은 글씨인지를 채점하지 않아요.

MilestonesMilestone

When시기 Milestone Deliverables산출물
W8Proposal 2-page proposal + in-class pitch. Graded on eval-first design and budget realism, not ambition.2페이지 proposal + 수업 내 pitch. 야심이 아니라 평가 우선 설계와 예산 현실성으로 채점해요.
W13M1 — frozen & launchedM1 — 계획 확정 & 착수 Data and evaluation protocol frozen (splits committed before any results); fine-tuning runs launched; W&B project public.데이터와 평가 프로토콜 고정 (결과가 나오기 전에 split을 commit); fine-tuning run 착수; W&B 프로젝트 공개.
W14M2 — first resultM2 — 첫 결과 Working checkpoint + first downstream result against interim baselines; structured peer review exchanged.작동하는 checkpoint + 중간 baseline 대비 첫 downstream 결과; 구조화된 동료 평가 교환.
W15M3 — release candidate Full evaluation + ablation tables with seeds/error bars; complete model card; release candidate tagged on HF Hub and GitHub; draft slides.seed/error bar가 포함된 전체 평가 + ablation 표; 완성된 model card; HF Hub와 GitHub에 tag된 release candidate; 슬라이드 초안.
W16Recorded demo + release녹화 데모 + release Recorded demo video (~8 min); quickstart verified from a fresh clone; final release (adapters, model card, 6-page report, W&B report) all due Wed 12/16, 23:59 KST. No class meeting — finals week stays yours.녹화 데모 영상(~8분); fresh clone에서 quickstart 검증; 최종 release(adapter, model card, 6페이지 보고서, W&B report)는 12/16(수) 23:59 KST까지. 수업 없음 — 기말고사 주간은 다른 과목에 쓰세요.

Compute envelope컴퓨팅 범위

Free tiers are sufficient for the default track — that is a design constraint, not an apology. LoRA fine-tuning of small public checkpoints fits comfortably in:기본 트랙은 무료 tier로 충분해요 — 이건 변명이 아니라 설계 제약이에요. 소형 공개 checkpoint의 LoRA fine-tuning은 다음 안에 여유 있게 들어가요:

Kaggle
~30 GPU-hours/week free (T4/P100). Enough for every fine-tuning experiment in this course.주당 약 30 GPU-hours 무료 (T4/P100). 이 강의의 모든 fine-tuning 실험에 충분해요.
Colab
Free-tier sessions with checkpoint-resume discipline — save-and-restore is itself a Week 12 engineering skill.checkpoint-resume 습관과 함께 쓰는 무료 tier 세션 — 저장하고 복원하는 것 자체가 12주차의 엔지니어링 기술이에요.
Rule of thumb경험 법칙
If your plan needs more than a free tier, shrink the plan, not the evaluation. The Hydro-FM team budgets separately with the instructor.계획에 무료 tier 이상이 필요하다면, 평가가 아니라 계획을 줄이세요. Hydro-FM 팀은 담당교수와 별도로 예산을 잡아요.

Where the grade comes from성적은 어디서 오나요

The capstone drives the 60% project grade: lab portfolio 20% (best 10 of 11 weekly lab notes — the labs are the skill acquisition), proposal 5%, milestones M1–M3 15% (graded on process: eval frozen before results, honest interim tables), final deliverable 20% (release quality, report + model card, demo). See the syllabus for the full breakdown and the AI-agent policy that applies to every line of capstone code.Capstone이 프로젝트 성적 60%를 이끌어요: lab 포트폴리오 20% (주간 lab note 11개 중 상위 10개 — lab이 곧 기술 습득이에요), proposal 5%, milestone M1–M3 15% (과정으로 채점: 결과 전에 평가 고정, 정직한 중간 결과표), 최종 산출물 20% (release 품질, 보고서 + model card, demo). 전체 세부 내역과 capstone 코드의 모든 줄에 적용되는 AI 에이전트 정책은 강의계획에서 확인하세요.