Resources

• PyTorch Template repository
  • https://github.com/FrancescoSaverioZuppichini/PyTorch-Deep-Learning-Template
  • https://github.com/PyTorchLightning/deep-learning-project-template
  • https://github.com/victoresque/pytorch-template

Data

• Systematic data management:
  • Clear distinction between original/processed/result data
  • Easy tracking of outputs for each processing stage
• Cache system:
  • Reusability of intermediate processing results
  • Reduction of processing time
• Logging system:
  • Recording of all processing steps
  • Easy error tracking
• Flexible pipeline:
  • Selective execution of only necessary processing steps
  • Easy addition of new processing steps

 project_root/
├── data/
│   ├── raw/                # 원본 이미지/PDF 파일
│   │   ├── images/
│   │   └── pdfs/
│   ├── processed/          # 전처리된 이미지
│   │   ├── converted/      # 포맷 변환된 파일들
│   │   └── optimized/      # 최적화된 파일들
│   └── interim/            # 중간 처리 결과
│       └── ocr/            # OCR 처리 결과
│
├── outputs/
│   ├── json/              # OCR 결과 JSON
│   ├── html/              # HTML 변환 결과
│   ├── markdown/          # Markdown 변환 결과
│   └── analysis/          # OpenAI/LangChain 분석 결과
│       ├── summaries/     
│       └── reports/
│
├── logs/                  # 처리 로그
└── cache/                 # 임시 파일 및 캐시

Project

project/
├── src/
│   ├── package_name/
│   │   ├── __init__.py
│   │   ├── module1.py
│   │   ├── module2.py
│   │   └── subpackage/
│   │       ├── __init__.py
│   │       └── module3.py
│   └── main.py
├── tests/
│   ├── test_module1.py
│   └── test_module2.py
├── requirements.txt
└── README.md

Advanced

Project
│
├── config/
│   ├── config.yaml          # 기본 설정
│   └── model_configs/       # 모델별 하이퍼파라미터 설정
│       ├── rf_config.yaml
│       ├── xgb_config.yaml
│       └── lgbm_config.yaml
│
├── data/
│   ├── raw/                 # 원본 데이터
│   └── processed/           # 전처리된 데이터
│
├── src/
│   ├── preprocessing.py     # 데이터 전처리
│   ├── features.py         # 피처 엔지니어링
│   ├── models/
│   │   ├── __init__.py
│   │   ├── base_model.py   # 모델 베이스 클래스
│   │   ├── rf_model.py     # RandomForest 모델
│   │   ├── xgb_model.py    # XGBoost 모델
│   │   └── lgbm_model.py   # LightGBM 모델
│   │
│   ├── train.py           # 학습 실행 스크립트
│   ├── predict.py         # 예측 실행 스크립트
│   └── utils/
│       ├── logger.py      # 로깅
│       ├── metrics.py     # 평가 지표
│       └── visualization.py # 시각화
│
├── notebooks/
│   ├── eda.ipynb          # 탐색적 데이터 분석
│   └── experiment.ipynb   # 실험 결과 분석
│
└── requirements.txt

Pytorch Template

https://velog.io/@minchoul2/PyTorch-Project-Template-Introduce-%ED%8C%8C%EC%9D%B4%ED%86%A0%EC%B9%98

https://github.com/victoresque/pytorch-template

<aside> 💡

• 실행
  • train.py
  • test.py
• 설정
  • config.json
  • parse_config.py
• new_project.py
• base - absctract
  • base_data_loader.py
  • base_model.py
  • base_trainer.py
• data_loader
  • data_loader.py
• data
• model architecture
  • model.py
  • metric.py
  • loss.py
• trainer
  • trainer.py
• logger
  • visualization.py
  • logger.py
  • logger_config.json
• saved 저장소 - 로그, 모델
  • models
  • log
• utils
  • util.py </aside>

project/
├── src/
│   ├── package_name/
│   │   ├── __init__.py
│   │   ├── module1.py
│   │   ├── module2.py
│   │   └── subpackage/
│   │       ├── __init__.py
│   │       └── module3.py
│   └── main.py
├── tests/
│   ├── test_module1.py
│   └── test_module2.py
├── requirements.txt
└── README.md

![image.png](https://prod-files-secure.s3.us-west-2.amazonaws.com/00c8f8ca-9b9e-47d7-a22a-d972f43cd460/5ff52a9c-4763-4e08-ba86-bcc4796b17cd/image.png)

Naming conventions

File and folder naming conventions:

• Package and module names: Use lowercase and underscores (_) (module_name.py).
• Class names: Use CamelCase with the first letter of each word capitalized (CamelCase).
• Function and variable names: Use lowercase and underscores (function_name).