Beszállítói katalógus a kereskedelembe

A shopok itt nincsenek megnevezve.

Egy viszonteladónak a beszállító katalógusára volt szüksége a saját boltjában. Az egyetlen tartós forrás a beszállító nyilvános oldala volt. Nem volt CSV, nem volt feed, nem volt megbízható API. Kézi másolás nem volt reális. A munka nem „egy scraper” volt. Az volt, hogy a katalógus bekerüljön, helyes formában, úgy, hogy előbb ellenőrizhető legyen.

Helyzet

Ugyanaz a tétel gyakran több címen élt. A célshop egy terméket akar variánsokkal, nem duplikátumhalmot. Címek, opciók, árak, képek és címkék a viszonteladó szerkezetébe kellett hogy essenek — belépéskor vázlat, a nyers dump készletének nem szabad hinni.

A lefedettség, a csoportosítás és a megbízhatóság egyszerre kellett. A hozzáférésnek mértéktartónak kellett maradnia, a forrásoldal szabályain belül. Szöveg és kép csak ott, ahol a viszonteladói megállapodás engedi.

Amit építettem

Ismételhető pipeline, nem egyszeri script:

• URL-készlet feltárása abból, amit a forrásoldal maga közzétesz
• Lekérés korlátokkal, ellenőrzőpontokkal, folytathatóan
• Feldolgozás, majd összevonás egy kulcsra logikai termékenként — szabályokkal, amiket a kliens változtathat, ha két oldal ugyanaz a tétel vagy sem
• Ellenőrzés export előtt: hibák vs figyelmeztetések, hogy a rossz sorok ne bújjanak el a táblázatban
• Mentett oldalak újrajátszása hálózat nélkül, hogy a későbbi javítás ne terhelje az élő forrást
• Standard importfájlok, amiket a kereskedő megnyit, szűr és szemrevételez
• Próba fejlesztői store-on, aztán óvatos éles import

Körülötte: mezőtérképek, próba-ellenőrzőlista, és jegyzet arról, mi volt adatjavítás és mi tudatos kompromisszum. Opcionális kirakati segédek a navigációhoz, miután a katalógus bent volt. Később út ár és készlet frissítésére anélkül, hogy minden alkalommal a teljes gyűjtést futtatnánk.

Eredmény

Van egy átnézhető katalógusuk a shopjukban, és egy módszer, amit újra futtathatnak, ha a forrás változik. Ez nem mindig-bekapcsolt varázsszinkron, késztermékként eladva — auditálható migráció, plusz frissítési út. Egyik céget sem nevezem meg itt.

Amit még nem mutathatok

A shopneveket, a forrásoldalt, az importfájlokat, és a katalógus bármely képernyőképét. Először engedély, aztán a bizonyíték.