예비 대학원생의 논문 리뷰 뽀개기

1) 어떤 문제를 해결하고 싶은가Machine Unlearning(MU)에서 목표는 학습된 모델에서 특정 데이터(Forget set, \(D_f\))의 영향을 제거하는 것이다. 이는 “right to be forgotten” 같은 privacy 요구나, 오염된/잘못 수집된 데이터를 사후에 제거해야 하는 상황을 포함한다.이 논문이 집중하는 설정은 Strong unlearning이다.Strong unlearning은 unlearning을 적용한 모델 \(\theta_u\)가 “forget 데이터를 제거하고 처음부터 다시 학습한 모델(retrain, \(\theta_r\))”과 구별 불가능(indistinguishable)해야 한다는 목표를 둔다.논문이 문제로 삼는 핵심은 평가(evaluation) 쪽이다.기..

이 논문이 해결하려는 문제문제의식: instance/panoptic segmentation에서 가장 큰 병목은 instance-level annotation(mask/box/point)의 비용·확장성·일관성 문제이다.현실적 실패 모드: annotation-free/weakly-supervised 파이프라인은 대개 backbone feature가 semantic similarity에 강한 대신,붙어있는 같은 클래스 객체가 하나로 합쳐지는(merge) 문제가 자주 발생하고,단일 객체가 여러 조각으로 쪼개지는(fragmentation) 문제도 잦다.핵심 질문: text-to-image diffusion model 내부(특히 denoising 과정의 self-attention)에 존재하는 신호를 활용해 라벨 없..

이 논문이 해결하려는 문제문제: 배포 환경에서 널리 쓰이는 LLM-as-a-judge(자동 평가자)는 테스트 케이스를 연속적으로 처리하면서도, 보통매 케이스를 독립(i.i.d.)적으로 평가하고(=경험 축적이 없음),단일 static prompt에 의존해 케이스별로 달라져야 하는 평가 기준을 충분히 반영하지 못한다.핵심 질문: evaluator가 test-time에 스스로 개선(improve)되고, 그 개선이 이후 케이스에 누적적으로 재사용될 수 있는가?실용적 제약: 배포 시점에서추가 training,별도 validation set,추가 모델 앙상블 없이 적용 가능한 방법이 필요하다고 본다.직관적 의미사람 채점자는 사건/문항을 반복해서 보며 “채점 기준”이 더 정교해지고 일관성이 높아진다.이 논문은 eva..

📋핵심이 논문은 “각 사용자(클라이언트)가 서로 다른 멀티모달 작업을 하고(데이터가 다름), 심지어 서로 다른 모델을 쓰는(모델 구조/크기가 다름) 현실적인 연합학습 환경에서, 어떻게 서로 도와서 개인화 성능을 올릴까”를 다룬다.핵심 아이디어는 두 가지로 요약된다. 1. 아무나 섞지 말고, 나랑 비슷한 클라이언트 것만 많이 섞자각 클라이언트의 데이터(작업)가 얼마나 비슷한지 “관련도(relevance)”를 추정해서, 관련도가 높은 클라이언트의 업데이트는 크게, 낮은 클라이언트의 업데이트는 작게 반영한다. 그래서 서로 다른 작업을 무작정 평균내서 생기는 성능 하락(interference)을 줄인다. 2. 모델이 달라도 공유 가능한 ‘공통 부품’만 공유하자모델 구조가 다르면 보통 파라미터를 그대로 합칠 수..

목표는 Continual Instruction Tuning에서 스트림으로 들어오는 데이터 전부를 매번 학습하면 늦으니, 매 배치에서 진짜 중요한 샘플만 골라 빠르게 업데이트하는 것이다.핵심 아이디어는ORIS: 샘플의 “중요도”를 배치 내 순위(top-k)가 아니라, 과거까지의 통계(EMA/variance)로 정규화한 상대적 중요도(Z-score)로 보고, 그 값으로 확률적으로 선택해 배치마다 선택 개수가 유동적이게 만든다.SIREN: 이미 뽑힌 샘플과 gradient가 비슷한 샘플은 정보가 겹친다고 보고 점수를 깎아서, 중복을 줄이고 다양하게 뽑는다.결과적으로 일부(예: 25%)만 학습해도 거의 full-data 수준 성능을 내는 걸 목표로 한다.이 논문이 해결하려는 문제Continual Instruct..

📋핵심“이미지 때문에 위험해질 수 있는 질문을 빨리 감지해서, 위험할 때만 모델의 ‘거절 모드’를 살짝(또는 크게) 켜는 방법”왜 이런 걸 하냐같은 질문이라도 이미지에 뭐가 있느냐에 따라 안전/위험이 갈린다.예: “이거 만드는 법 알려줘”가 의자 사진이면 괜찮지만, 폭발물 사진이면 위험하다.기존 방법은안전 프롬프트를 항상 붙여서 괜찮은 것도 거절하거나,답을 만들어놓고 여러 번 고치면서 느리다.이 논문 방법1) “이미지가 뭐냐”를 먼저 글로 요약시켜 붙인다모델이 이미지를 제대로 안 보고 넘어가는 경우가 있어서,아예 모델에게 “사진에 뭐가 있는지 한두 문장으로 말해봐”를 먼저 하게 하고,그 요약(visual context)을 원래 질문 앞에 붙여서 다시 질문한다.효과: 모델이 “이미지에 폭발물이 있네” 같..