import streamlit as st import json from io import StringIO import requests from PyPDF2 import PdfReader from datetime import datetime, timezone, timedelta st.set_page_config(page_title="資料上傳與檢查工具", layout="wide") BACKEND_URL = st.secrets.get("BACKEND_URL", None) st.title("🌟 協助貢獻繁體中文資料") st.markdown("專案路徑： [tw-sharegpt](https://huggingface.co/datasets/lianghsun/tw-sharegpt)") st.markdown(""" 歡迎加入我們，一起建立高品質的 **繁體中文語言資料集**！你提供的每一份資料，都能幫助未來的繁中模型更準確、更理解本地語境。我們非常感謝你的協助，你的貢獻將直接推動繁體中文 AI 生態的發展！🌱 """) st.info("⚠️ 請勿上傳真實個資或敏感商業資料。") # ---- 本次上傳的共同設定（兩個 tab 共用） ---- st.markdown("### 本次上傳設定") contributor_email = st.text_input("聯絡 email（選填）", placeholder="example@email.com") share_permission = st.checkbox( "我同意將本次上傳的資料，未來在去識別化後以開源形式提供研究與模型訓練使用。", value=True, ) # 產生 UTC+8 的上傳時間（每次互動當下） tz_utc8 = timezone(timedelta(hours=8)) uploaded_at = datetime.now(tz_utc8).isoformat() tab_jsonl, tab_pdf = st.tabs(["對話資料 (.jsonl)", "預訓練 PDF"]) # ---------- Tab 1: JSONL ---------- # ---------- Tab 1: JSONL ---------- with tab_jsonl: st.subheader("上傳對話資料") sample_prompt = """ 請將我們上述對話的內容（但不包含本問題），整理成 OpenAI Messages Format，輸出格式必須是 .jsonl。 格式要求： - 每一行是一個獨立的 JSON 物件。 - 每個 JSON 物件必須包含一個 messages 欄位。 - 不要在檔案中加入註解或說明文字，每一行只能是 JSON。 範例（僅供格式參考）： [{"messages": [ {"role": "system", "content": "你是一個友善的客服人員。"}, {"role": "user", "content": "請問我要如何申請退貨？"}, {"role": "assistant", "content": "您好，若您要申請退貨，請先登入會員中心，在「訂單管理」中選擇欲退貨的訂單，點選「申請退貨」，依指示填寫原因並送出。"}, {"role": "user", "content": "..."}, {"role": "assistant", "content": "..."},] 請依照以上規格輸出一筆 .jsonl 對話資料（保持為一列，好讓我可以方便貼上），並用 markdown 表示。 """ st.markdown("##### 請將以下的 prompt 貼到你的對話生成模型中，產生符合格式的對話資料：") st.code(sample_prompt, language="markdown") st.markdown("#### 選擇輸入方式") input_mode = st.radio( "選擇要如何提供 `.jsonl` 內容", ["上傳檔案", "貼上文字"], horizontal=True, ) # 共用的檢查函式：給「檔案模式」和「貼上模式」共用 def validate_jsonl_lines(lines): """lines: list[str] (每一行一個 JSON) → 回傳 (parsed_objs, errors)""" parsed = [] errors = [] allowed_roles = {"system", "user", "assistant"} for idx, line in enumerate(lines, start=1): line = line.strip() if not line: continue # 如果使用者是從 ChatGPT 貼出來的，有可能含 ``` 之類的標記，先跳過 if line.startswith("```") and line.endswith("```"): continue if line.startswith("```") or line == "```": continue try: obj = json.loads(line) except json.JSONDecodeError as e: errors.append(f"第 {idx} 行不是合法 JSON：{e}") continue if "messages" not in obj or not isinstance(obj["messages"], list): errors.append(f"第 {idx} 行缺少 messages 欄位或型態錯誤。") continue for m_idx, msg in enumerate(obj["messages"]): if not isinstance(msg, dict): errors.append(f"第 {idx} 行第 {m_idx+1} 則訊息不是物件。") continue role = msg.get("role") msg_content = msg.get("content") if role not in allowed_roles: errors.append(f"第 {idx} 行第 {m_idx+1} 則 role 非預期：{role}") if not isinstance(msg_content, str): errors.append(f"第 {idx} 行第 {m_idx+1} 則 content 需為字串。") parsed.append(obj) return parsed, errors # ---------- 模式 A：上傳檔案 ---------- if input_mode == "上傳檔案": jsonl_file = st.file_uploader( "上傳對話資料 `.jsonl` 檔", type=["jsonl"], accept_multiple_files=False ) file_jsonl_valid = False file_parsed_lines = [] if jsonl_file is not None: st.markdown("#### 檔案檢查結果") content = jsonl_file.read().decode("utf-8") lines = content.splitlines() file_parsed_lines, errors = validate_jsonl_lines(lines) if errors: st.error("格式檢查失敗，請修正後重新上傳：") for e in errors[:20]: st.write("- " + e) if len(errors) > 20: st.write(f"... 還有 {len(errors) - 20} 筆錯誤未顯示") st.info("若多次調整仍無法通過檢查，建議先在本地編輯好 `.jsonl` 檔，再重新上傳。") else: file_jsonl_valid = True st.success(f"檢查通過！共 {len(file_parsed_lines)} 筆對話。") st.markdown("#### 範例預覽（前 2 筆）") for i, obj in enumerate(file_parsed_lines[:2], start=1): st.json(obj) if st.button("上傳對話資料（檔案）", disabled=not (BACKEND_URL and file_jsonl_valid)): if BACKEND_URL is None: st.warning("尚未設定 BACKEND_URL，無法實際送出，請在 `st.secrets` 中配置。") else: with st.spinner("正在上傳對話資料並檢查，請稍候…"): meta = { "uploaded_at": uploaded_at, # UTC+8 ISO 字串 "contributor_email": contributor_email if contributor_email.strip() else None, "share_permission": bool(share_permission), } enriched_lines = [] for obj in file_parsed_lines: obj_with_meta = {**obj, "metadata": meta} enriched_lines.append(json.dumps(obj_with_meta, ensure_ascii=False)) payload = "\n".join(enriched_lines).encode("utf-8") files = {"file": ("contrib.jsonl", payload, "application/jsonl")} try: resp = requests.post(f"{BACKEND_URL}/upload-jsonl", files=files) if resp.ok: st.success("已成功送交後端伺服器，等待後端進一步檢查與處理。") else: st.error(f"後端回傳錯誤：{resp.status_code} {resp.text}") except Exception as e: st.error(f"送出時發生錯誤：{e}") # ---------- 模式 B：貼上文字 ---------- else: st.markdown("請將 `.jsonl` 內容貼在下方，每一行必須是一個 JSON 物件：") pasted_text = st.text_area( "貼上 `.jsonl` 內容", placeholder='例如：\n{"messages": [...]}', height=240, ) pasted_jsonl_valid = False pasted_parsed_lines = [] if pasted_text.strip(): st.markdown("#### 貼上內容檢查結果") lines = pasted_text.splitlines() pasted_parsed_lines, errors = validate_jsonl_lines(lines) if errors: st.error("格式檢查失敗，請依錯誤訊息調整貼上的內容：") for e in errors[:20]: st.write("- " + e) if len(errors) > 20: st.write(f"... 還有 {len(errors) - 20} 筆錯誤未顯示") st.info("若多次調整仍無法通過檢查，建議先在本地編輯好 `.jsonl` 檔案，再使用「上傳檔案」模式上傳。") else: pasted_jsonl_valid = True st.success(f"檢查通過！共 {len(pasted_parsed_lines)} 筆對話。") st.markdown("#### 範例預覽（前 2 筆）") for i, obj in enumerate(pasted_parsed_lines[:2], start=1): st.json(obj) if st.button("上傳對話資料（貼上內容）", disabled=not (BACKEND_URL and pasted_jsonl_valid)): if BACKEND_URL is None: st.warning("尚未設定 BACKEND_URL，無法實際送出，請在 `st.secrets` 中配置。") else: with st.spinner("正在上傳貼上內容並檢查，請稍候…"): meta = { "uploaded_at": uploaded_at, # UTC+8 ISO 字串 "contributor_email": contributor_email if contributor_email.strip() else None, "share_permission": bool(share_permission), } enriched_lines = [] for obj in pasted_parsed_lines: obj_with_meta = {**obj, "metadata": meta} enriched_lines.append(json.dumps(obj_with_meta, ensure_ascii=False)) payload = "\n".join(enriched_lines).encode("utf-8") files = {"file": ("contrib_pasted.jsonl", payload, "application/jsonl")} try: resp = requests.post(f"{BACKEND_URL}/upload-jsonl", files=files) if resp.ok: st.success("已成功送交後端伺服器，等待後端進一步檢查與處理。") else: st.error(f"後端回傳錯誤：{resp.status_code} {resp.text}") except Exception as e: st.error(f"送出時發生錯誤：{e}") # ---------- Tab 2: PDF ---------- with tab_pdf: st.subheader("上傳預訓練 PDF（純文字型）") st.markdown(""" **格式說明** - 檔案副檔名：`.pdf` - 內容須為可擷取文字的 PDF（非掃描圖片）。 - 系統會抽樣頁面檢查是否能讀取到足夠文字內容。 """) pdf_files = st.file_uploader( "上傳一個或多個 PDF 檔", type=["pdf"], accept_multiple_files=True ) pdf_results = [] if pdf_files: for pdf in pdf_files: st.markdown(f"#### 檢查檔案：`{pdf.name}`") try: reader = PdfReader(pdf) num_pages = len(reader.pages) sample_pages = [0, 2, 4] # 第 1,3,5 頁（若存在） text_snippets = [] for p in sample_pages: if p < num_pages: page = reader.pages[p] text = page.extract_text() or "" text_snippets.append(text) total_text = "".join(text_snippets) text_len = len(total_text) if text_len < 100: st.warning(f"未擷取到足夠文字內容（抽樣字數 {text_len}）。此 PDF 可能是掃描型，建議先做 OCR。") else: st.success(f"檢查通過！頁數：{num_pages}，抽樣字數：{text_len}") st.markdown("**文字預覽（前 300 字）**") st.text(total_text[:300]) pdf_results.append((pdf, text_len)) except Exception as e: st.error(f"讀取 PDF 時發生錯誤：{e}") any_valid_pdf = any(tlen >= 100 for _, tlen in pdf_results) if pdf_results else False if st.button("上傳 PDF 檔案", disabled=not (pdf_files and any_valid_pdf or BACKEND_URL is None)): if BACKEND_URL is None: st.warning("尚未設定 BACKEND_URL，無法實際送出，請在 `st.secrets` 中配置。") else: if not pdf_results: st.warning("沒有可上傳的 PDF 檔案。") else: with st.spinner("正在上傳 PDF 並進行檢查，請稍候…"): files = [] for pdf, text_len in pdf_results: if text_len < 100: continue # 跳過疑似掃描檔 pdf.seek(0) files.append(("files", (pdf.name, pdf.getvalue(), "application/pdf"))) if not files: st.warning("沒有通過文字檢查的 PDF 檔案可送出。") else: # PDF 部分的 metadata 用 form data 一起送出，讓後端可以記錄 meta = { "uploaded_at": uploaded_at, "contributor_email": contributor_email if contributor_email.strip() else "", "share_permission": json.dumps(bool(share_permission)), } try: resp = requests.post(f"{BACKEND_URL}/upload-pdf", files=files, data=meta) if resp.ok: st.success("已成功送交後端伺服器，等待後端進一步檢查與處理。") else: st.error(f"後端回傳錯誤：{resp.status_code} {resp.text}") except Exception as e: st.error(f"送出時發生錯誤：{e}")