카메라 이미지 품질 향상 AI 경진대회

1024 patch 학습

2021.07.29 23:05 2,070 Views

모델 학습 시, patch size가 크면 클수록 inference가 빠른것은 다들 알고있으실 것 같습니다.

관련하여 1024 정도의 큰 사이즈 patch를 학습하면 NaN이 발생합니다. (smp 모델 기준)

이 경우, gradient clipping을 사용하면 해결 가능합니다.

```

torch.nn.utils.clip_grad_norm_(model.parameters(), 5)

```


로그인이 필요합니다
0 / 1000
홍의_제자
2021.07.30 00:57

삭제된 댓글입니다

3중대 3소대장
2021.07.30 13:34

엄청 큰 사이즈로도 해보셨군요
성능 향상에 도움이 됐는지 궁금하네요ㅎㅎ

JJA
2021.07.30 14:24

음 성능 자체는 학습이 느려서 많이 돌려보지않았습니다만, 기존에 진행하던 작은 패치가 더 좋았습니다.