pip install -U "git+https://github.com/huggingface/transformers" accelerate peft pillow qwen-vl-utils[decord]==0.0.8

python tools/run.py \
  --image botero.jpg \
  --mode both \
  --lora_id JoseferEins/ArtQwen-Curator-DE \
  --metadata @botero_meta.txt \
  --prompt "Beschreibe nur Sichtbares, klar und zugänglich. Nutze Metadaten für Titel/Künstler/Medium; erfinde nichts."

Example (Botero, The Seamstress) — with metadata

Image alt-text.

Interior in warm yellows; a round girl with large pink bow, green polka-dot top and black skirt; knitting needles and a striped knitted piece in hand; open red door (left), window to townscape (back), two framed pictures (right wall), and paintbrush in a glass on a chest (right).

Monolingual (DE, fine-tuned)

In der Darstellung von "The Seamstress" von Fernando Botero steht eine Frau in einem Raum, der durch eine offene Tür mit rotem Holzrahmen betreten wird. Die Tür öffnet sich nach außen, wo man eine Aussicht auf eine Stadtlandschaft mit dicken, rötlichen Dächern erkennt. Die Frau trägt ein gelbes Kleid mit Punkten, das über einer schwarzen Rock mit einer Schleife läuft. Ihre Beine sind in gestreifte Strümpfe gehüllt, und sie trägt schwarze Schuhe. Auf ihrem Kopf ist ein großer, rosa Schleifenband, das ihre orangefarbenen Haare zusammenhält. In ihrer Hand hält sie einen Stab, der an einem Strickzeug erinnert, was auf ihre Tätigkeit als Schneiderin hinweist. Der Raum ist mit einem gelben Vorhang und einem Bild an der Wand dekoriert, das eine ruhige Landschaft zeigt. Die Atmosphäre wirkt warm und einladend, während die stilistischen Merkmale des Künstlers, wie die übertriebenen Proportionen und die glatte Oberfläche, die Betonung auf die sozialen und wirtschaftlichen Themen legen.

Notes: Uses metadata (title/artist), captures Botero’s style & labor theme; minor object miss (Stab → Stricknadeln), top described as “gelb” (visually eher grün).

Multilingual (DE, fine-tuned)

In der Darstellung von Fernando Botero's Gemälde „The Seamstress“ steht eine Frau im Vordergrund, die in einem Raum steht. Sie trägt ein gelbes Kleid mit Punkten und eine schwarze Schürze, die mit einer Schleife am Bund geschlossen ist. Ihre Haare sind in zwei Zöpfen gebunden, und sie hat einen großen, roten Schleifenband um den Kopf. Die Frau hält einen Stab in der Hand, was darauf hinweist, dass sie möglicherweise eine Tätigkeit wie Nähen oder Sticken ausführt. Die Umgebung ist warm und einladend, mit einer gelben Wand im Hintergrund, auf der zwei Bilder hängen. Links von ihr steht eine Tür, die teilweise geöffnet ist, und auf dem Boden liegt ein Teppich. Rechts von ihr befindet sich ein kleiner Tisch, auf dem ein Glas mit einem Strohhalm steht. Diese Details tragen zur alltäglichen Szenerie bei und verstärken das Gefühl von Realismus, das Botero meisterhaft einfängt. Die Farbpalette des Gemäldes ist lebhaft und harmonisch, was die fröhliche Atmosphäre unterstreicht. Die Verwendung von Ölmalerei ermöglicht es Botero, glatte, voluminöse Formen zu erzeugen, die die Figur der Seidenmacherin lebendig erscheinen lassen. Die Gesichtsausdrücke der Frau sind freundlich und einladend, was die emotionale Resonanz des Werkes verstärkt.

Notes: Uses metadata; good layout; two object slips (Stab vs Stricknadeln, Strohhalm vs Pinsel).

Base (Qwen2.5-VL-3B-Instruct)

Das Bild zeigt eine übergewichtige Frau in einem Raum mit gelber Wand. Sie trägt ein grünes Kleid mit Punkten, eine schwarze Schürze und gestreifte Strumpfhosen. Ihre Haare sind in zwei Zöpfen gebunden und sie hat einen großen, rosa Schleifenband. Die Frau hält einen Stab in der Hand und steht vor einer offenen Tür, durch die man einen Blick auf ein Dachbodenhaus mit roten Dächern erhaschen kann. Auf der rechten Seite des Bildes ist ein kleiner Schrank mit einem Glas und einem Strohhalm darauf. An der Wand hängen zwei Bilder.

Notes: More conservative (no invented titles), but still mislabels tools (Stab/Strohhalm). Color on the dress closer to ground truth (“grün”).

Takeaway

With metadata, the fine-tunes correctly honor title/artist/medium and bring the labor/medium context into the description; base remains generic and misses domain framing. All models can still improve tool precision (knitting needles / paintbrush).

Training data & method

Dataset. We used an ARTEMIS-processed dataset (based on ARTEMIS) and adapted prompts/targets for visually-impaired audiences (SHIFT pipeline).

Method

SFT with LoRA via SWIFT on Qwen2.5-VL-3B-Instruct.

Args

• epochs=3 • lr=1e-4 • bsz(train/eval)=2/2 • dtype=bfloat16 • lora_rank=132 • lora_alpha=32 • target_modules=all-linear • max_length=2048

Note.

The example image is included for educational fair use only. Please replace with your own content when publishing derivatives.

Limitations

Object naming can be imprecise in tricky scenes (e.g., knitting needles vs “stick”). Descriptions are grounded by provided metadata; without it, proper-noun hallucinations can occur (typical VLM behavior).

Acknowledgements

This work was developed within the SHIFT project on cultural-heritage accessibility. It has received funding from the European Union’s Horizon Europe programme.

We thank the SHIFT consortium partners and museum collaborators for their feedback on accessibility guidelines and evaluation rubrics, and the blind and low-vision advisors whose input shaped the prompting and output style.

Disclaimer: Views and opinions expressed are those of the authors and do not necessarily reflect those of the European Union or the granting authority. Neither the European Union nor the granting authority can be held responsible for them.