|
|
import logging
|
|
|
import os
|
|
|
from typing import Iterable, List
|
|
|
|
|
|
from dotenv import load_dotenv
|
|
|
import gradio as gr
|
|
|
import pandas as pd
|
|
|
import requests
|
|
|
|
|
|
logging.basicConfig(level=logging.INFO)
|
|
|
logger = logging.getLogger(__name__)
|
|
|
|
|
|
LATEST_DF_BASE = None
|
|
|
|
|
|
SAMPLE_RESPONSE: List[dict] = [
|
|
|
{
|
|
|
"название": "дрель-шуруповерт аккумуляторная 18 В, Li-Ion, быстрозажимной патрон 13 мм, 0-400/2000 об/мин, 91/58 Нм, 2-х скоростная, 21 уровень крутящего момента, встроенная подсветка, электрический тормоз, реверс, вес 2.3 кг, металлический редуктор, без аккумулятора и зарядного устройства DHP458Z",
|
|
|
"вид": "дрель-шуруповерт",
|
|
|
"тип": "аккумуляторная",
|
|
|
"характеристики": "18 В, Li-Ion, быстрозажимной патрон 13 мм, 0-400/2000 об/мин, 91/58 Нм, 2-х скоростная, 21 уровень крутящего момента, встроенная подсветка, электрический тормоз, реверс, вес 2.3 кг, металлический редуктор, без аккумулятора и зарядного устройства",
|
|
|
"производитель": "Makita",
|
|
|
"модель": "DHP458Z",
|
|
|
"артикул": "DHP458Z",
|
|
|
"единицы измерения": "шт",
|
|
|
"вес": 2.3,
|
|
|
"размер упаковки": "225 x 79 x 259 мм",
|
|
|
"English Name": "Makita DHP458Z Cordless Drill Driver",
|
|
|
"описание": "Аккумуляторная дрель-шуруповерт Makita DHP458Z – профессиональный инструмент с напряжением 18 В и технологией XPT для защиты от пыли и влаги. Оборудован металлическим редуктором, двухскоростной передачей (0-2000 и 0-400 об/мин), 21 уровнем крутящего момента и встроенной подсветкой. Подходит для сверления в дереве (до 76 мм), металле (до 13 мм) и бетоне (до 16 мм). Имеет реверс, электронную регулировку оборотов, боковую рукоятку, клипсу для ремня и быстрозажимной патрон. Продается без аккумулятора и зарядного устройства. Выпущена в 2019 году как преемник модели BHP458, совместима с аккумуляторами 3 и 4 Ач.",
|
|
|
"ГАУ": "Инструменты (основное средство)",
|
|
|
}
|
|
|
]
|
|
|
|
|
|
load_dotenv()
|
|
|
|
|
|
PRIORITY_COLUMNS = [
|
|
|
"название",
|
|
|
"производитель",
|
|
|
"модель",
|
|
|
"артикул",
|
|
|
"вид",
|
|
|
"тип",
|
|
|
"характеристики",
|
|
|
]
|
|
|
WEBHOOK_URL = os.getenv("WEBHOOK_URL")
|
|
|
WEBHOOK_TIMEOUT = int(os.getenv("WEBHOOK_TIMEOUT_SECONDS", "15"))
|
|
|
|
|
|
|
|
|
def _reorder_columns(columns: Iterable[str]) -> List[str]:
|
|
|
ordered = [col for col in PRIORITY_COLUMNS if col in columns]
|
|
|
remaining = [col for col in columns if col not in ordered]
|
|
|
return ordered + remaining
|
|
|
|
|
|
|
|
|
def _call_webhook(target_url: str) -> List[dict]:
|
|
|
if not WEBHOOK_URL:
|
|
|
logger.info("WEBHOOK_URL not configured. Returning sample payload.")
|
|
|
return SAMPLE_RESPONSE
|
|
|
|
|
|
try:
|
|
|
response = requests.post(
|
|
|
WEBHOOK_URL, json={"url": target_url}, timeout=WEBHOOK_TIMEOUT
|
|
|
)
|
|
|
response.raise_for_status()
|
|
|
payload = response.json()
|
|
|
if not isinstance(payload, list):
|
|
|
raise ValueError("Webhook response must be a list of objects.")
|
|
|
return payload
|
|
|
except (requests.RequestException, ValueError) as exc:
|
|
|
logger.exception("Failed to fetch attributes from webhook.")
|
|
|
raise gr.Error("Не удалось получить атрибуты с вебхука.") from exc
|
|
|
|
|
|
|
|
|
def _dataframe_to_tsv(df: pd.DataFrame) -> str:
|
|
|
return df.to_csv(sep="\t", index=False, header=False)
|
|
|
|
|
|
|
|
|
def _format_vertical(df: pd.DataFrame) -> pd.DataFrame:
|
|
|
indexed = df.reset_index().rename(columns={"index": "Позиция"})
|
|
|
indexed["Позиция"] = indexed["Позиция"] + 1
|
|
|
column_order = list(df.columns)
|
|
|
vertical = indexed.melt(
|
|
|
id_vars="Позиция", var_name="Атрибут", value_name="Значение"
|
|
|
)
|
|
|
vertical["Атрибут"] = pd.Categorical(
|
|
|
vertical["Атрибут"], categories=column_order, ordered=True
|
|
|
)
|
|
|
vertical = (
|
|
|
vertical.sort_values(["Позиция", "Атрибут"])
|
|
|
.reset_index(drop=True)
|
|
|
.drop(columns="Позиция")
|
|
|
)
|
|
|
return vertical
|
|
|
|
|
|
|
|
|
def extract_attributes(target_url: str):
|
|
|
global LATEST_DF_BASE
|
|
|
|
|
|
if not target_url or not target_url.strip():
|
|
|
raise gr.Error("Пожалуйста, введите URL для извлечения атрибутов.")
|
|
|
|
|
|
data = _call_webhook(target_url.strip())
|
|
|
if not data:
|
|
|
raise gr.Error("Вебхук вернул пустой результат.")
|
|
|
|
|
|
df = pd.DataFrame(data)
|
|
|
df = df[_reorder_columns(df.columns)]
|
|
|
|
|
|
|
|
|
LATEST_DF_BASE = df.copy()
|
|
|
|
|
|
gau_choices: List[str] = []
|
|
|
selected_gau: str | None = None
|
|
|
|
|
|
if "ГАУ" in df.columns:
|
|
|
first_value = df["ГАУ"].iloc[0]
|
|
|
if isinstance(first_value, list):
|
|
|
gau_choices = [str(x).strip() for x in first_value if x]
|
|
|
elif pd.notna(first_value):
|
|
|
gau_choices = [str(first_value)]
|
|
|
|
|
|
if gau_choices:
|
|
|
selected_gau = gau_choices[0]
|
|
|
df["ГАУ"] = selected_gau
|
|
|
|
|
|
tsv_payload = _dataframe_to_tsv(df)
|
|
|
vertical_df = _format_vertical(df)
|
|
|
|
|
|
dropdown_update = gr.update(choices=gau_choices, value=selected_gau)
|
|
|
return vertical_df, tsv_payload, dropdown_update
|
|
|
|
|
|
|
|
|
def update_gau(selected_gau: str):
|
|
|
global LATEST_DF_BASE
|
|
|
|
|
|
if LATEST_DF_BASE is None:
|
|
|
raise gr.Error("Сначала получите атрибуты по URL.")
|
|
|
|
|
|
df = LATEST_DF_BASE.copy()
|
|
|
|
|
|
if "ГАУ" in df.columns and selected_gau:
|
|
|
df["ГАУ"] = selected_gau
|
|
|
|
|
|
tsv_payload = _dataframe_to_tsv(df)
|
|
|
vertical_df = _format_vertical(df)
|
|
|
return vertical_df, tsv_payload
|
|
|
|
|
|
|
|
|
def main() -> None:
|
|
|
with gr.Blocks(title="URL Attribute Extractor") as demo:
|
|
|
gr.HTML(
|
|
|
"""
|
|
|
<style>
|
|
|
.tsv-hidden textarea {
|
|
|
height: 0 !important;
|
|
|
opacity: 0;
|
|
|
pointer-events: none;
|
|
|
}
|
|
|
.tsv-hidden {
|
|
|
height: 0;
|
|
|
margin: 0;
|
|
|
padding: 0;
|
|
|
}
|
|
|
#results-table table th:first-child,
|
|
|
#results-table table td:first-child {
|
|
|
min-width: 240px;
|
|
|
width: 30%;
|
|
|
white-space: normal;
|
|
|
}
|
|
|
</style>
|
|
|
"""
|
|
|
)
|
|
|
gr.Markdown(
|
|
|
"### Получите атрибуты товара\n"
|
|
|
"Вставьте ссылку на карточку товара, чтобы извлечь структурированные данные."
|
|
|
)
|
|
|
with gr.Row():
|
|
|
with gr.Column(scale=2):
|
|
|
url_input = gr.Textbox(
|
|
|
label="Target URL",
|
|
|
placeholder="https://example.com/product/123",
|
|
|
lines=1,
|
|
|
)
|
|
|
submit_btn = gr.Button("Извлечь атрибуты", variant="primary")
|
|
|
|
|
|
gau_dropdown = gr.Dropdown(
|
|
|
label="Вероятные ГАУ (выберите наиболее подходящий)",
|
|
|
choices=[],
|
|
|
interactive=True,
|
|
|
)
|
|
|
|
|
|
results_table = gr.Dataframe(
|
|
|
label="Результаты атрибутов",
|
|
|
interactive=False,
|
|
|
wrap=True,
|
|
|
type="pandas",
|
|
|
elem_id="results-table",
|
|
|
)
|
|
|
|
|
|
clipboard_box = gr.Textbox(
|
|
|
label=None,
|
|
|
interactive=False,
|
|
|
lines=1,
|
|
|
elem_id="tsv-output",
|
|
|
elem_classes=["tsv-hidden"],
|
|
|
container=False,
|
|
|
)
|
|
|
gr.HTML(
|
|
|
"""
|
|
|
<button onclick="
|
|
|
navigator.clipboard.writeText(
|
|
|
document.querySelector('#tsv-output textarea').value || ''
|
|
|
);
|
|
|
" style="width: 100%; padding: 8px; margin-top: -8px;">
|
|
|
📋 Скопировать атрибуты карточки
|
|
|
</button>
|
|
|
"""
|
|
|
)
|
|
|
|
|
|
with gr.Column(scale=1):
|
|
|
gr.Markdown(
|
|
|
"""
|
|
|
### 📚 Как пользоваться инструментом
|
|
|
|
|
|
Этот сервис помогает автоматически собрать характеристики товара по ссылке и подготовить их для Excel.
|
|
|
|
|
|
#### 🛠 Пошаговая инструкция:
|
|
|
1. **Найдите товар**: Откройте страницу товара в интернет-магазине и скопируйте ссылку из адресной строки.
|
|
|
2. **Вставьте ссылку**: Поместите её в поле **Target URL** слева.
|
|
|
3. **Запустите поиск**: Нажмите кнопку **"Извлечь атрибуты"**.
|
|
|
4. **Проверьте данные**:
|
|
|
- Результаты появятся в таблице ниже.
|
|
|
- Если система найдет несколько вариантов **ГАУ**, выберите нужный в выпадающем списке над таблицей.
|
|
|
5. **Сохраните**: Нажмите кнопку **"📋 Скопировать атрибуты"** под таблицей, затем перейдите в Excel и нажмите `Ctrl+V` (Вставить).
|
|
|
|
|
|
> **💡 Совет:** Если возникла ошибка, убедитесь, что ссылка ведет на карточку конкретного товара, а не на общий каталог.
|
|
|
"""
|
|
|
)
|
|
|
|
|
|
submit_btn.click(
|
|
|
fn=extract_attributes,
|
|
|
inputs=url_input,
|
|
|
outputs=[results_table, clipboard_box, gau_dropdown],
|
|
|
)
|
|
|
|
|
|
gau_dropdown.change(
|
|
|
fn=update_gau,
|
|
|
inputs=gau_dropdown,
|
|
|
outputs=[results_table, clipboard_box],
|
|
|
)
|
|
|
|
|
|
demo.launch()
|
|
|
|
|
|
|
|
|
if __name__ == "__main__":
|
|
|
main()
|
|
|
|
