Spaces:
Paused
Paused
Update app.py
Browse files
app.py
CHANGED
|
@@ -131,9 +131,9 @@ base_model = "EleutherAI/gpt-neo-1.3B" #load_8bit = False (in load_tokenizer_
|
|
| 131 |
#####################################################
|
| 132 |
#Tokenizer und Model laden
|
| 133 |
#tokenizer,model,device = load_tokenizer_and_model(base_model, False)
|
|
|
|
| 134 |
|
| 135 |
|
| 136 |
-
#tokenizer.add_special_tokens({'pad_token': '[PAD]'}) #not necessary with fast Toekenizers like GPT2
|
| 137 |
'''
|
| 138 |
#für Baize.... da spezieller Tokenizer geladen werden muss...
|
| 139 |
# hier werden aber Chat-Daten geladen!!!!
|
|
|
|
| 131 |
#####################################################
|
| 132 |
#Tokenizer und Model laden
|
| 133 |
#tokenizer,model,device = load_tokenizer_and_model(base_model, False)
|
| 134 |
+
#tokenizer.add_special_tokens({'pad_token': '[PAD]'}) #not necessary with fast Toekenizers like GPT2
|
| 135 |
|
| 136 |
|
|
|
|
| 137 |
'''
|
| 138 |
#für Baize.... da spezieller Tokenizer geladen werden muss...
|
| 139 |
# hier werden aber Chat-Daten geladen!!!!
|