implementasi dasar dari transformer
video penjelasan bisa dilihat di sini
kode python tersebut mengikuti standarisasi PEP 8 - Style guid for Python Code untuk meningkatkan keterbacaan
untuk menjalakan kode kamu bisa menggunakan uv atau tidak
- menggunakan uv
uv run nama_file.py - tidak menggunakan uv
python nama_file.py
Requirement sebelum menjalankan project
- pytorch
Untuk setiap file kamu bisa lihat, implementasi dasarnya antara attention, decoder & encoder, dan juga embedding
referensi:
- Attention Is All You Need
- An Introduction to Transformers
kamu juga bisa berkontribusi di repositori ini, tapi dengan syarat kamu harus membaca panduan dan pedoman kontribusi ya.