Update app.py

app.py

@@ -42,10 +42,14 @@ def predict(text,
     else:
         prompt,inputs=inputs
         begin_length = len(prompt)
+        
     input_ids = inputs["input_ids"][:,-max_context_length_tokens:].to(device)
     torch.cuda.empty_cache()
 
+    #torch.no_grad() bedeutet, dass für die betreffenden tensoren keine Ableitungen berechnet werden bei der backpropagation 
+    #hier soll das NN ja auch nicht geändert werden 8backprop ist nicht nötig), da es um interference-prompts geht!
     with torch.no_grad():
+        #die vergangenen prompts werden alle als Tupel in history abgelegt sortiert nach 'Human' und 'AI'- dass sind daher auch die stop-words, die den jeweils nächsten Eintrag kennzeichnen        
         for x in greedy_search(input_ids,model,tokenizer,stop_words=["[|Human|]", "[|AI|]"],max_length=max_length_tokens,temperature=temperature,top_p=top_p):
             if is_stop_word_or_prefix(x,["[|Human|]", "[|AI|]"]) is False:
                 if "[|Human|]" in x:
@@ -65,9 +69,7 @@ def predict(text,
     del input_ids
     gc.collect()
     torch.cuda.empty_cache()
-    #print(text)
-    #print(x)
-    #print("="*80)
+    
     try:
         yield a,b,"Generate: Success"
     except:
@@ -75,8 +77,8 @@ def predict(text,
 
 
 def reset_chat():
-    id_new = chatbot.new_conversation()
-    chatbot.change_conversation(id_new)
+    #id_new = chatbot.new_conversation()
+    #chatbot.change_conversation(id_new)
     reset_textbox()