AI Summary & Key Takeaways
AI InsightThe results demonstrate that Triton Inference Server provides superior performance compared to other solutions, with its high throughput capacity and low latency.
📌 3 Key Takeaways
Abstract
In e-commerce platforms, millions of product–offer matchings are performed daily, which requires scalable and efficient solutions beyond traditional methods. This study aims to improve the deployment performance of Large Language Models (LLMs) in high-volume data matching processes. In this context, the Turkish BERT model was converted into the ONNX format, and the model size was reduced from 1.2 GB to 200–300 MB, thereby enhancing deployment efficiency. The performance of the model was comparatively evaluated across five different deployment infrastructures: NVIDIA Triton Inference Server, BentoML, Jina AI, LightningLite, and FastAPI (GPU). The results demonstrate that Triton Inference Server provides superior performance compared to other solutions, with its high throughput capacity and low latency. Furthermore, migrating from CPU to GPU achieved an approximately 70% improvement in response times and a reduction in operational costs. Future work will focus on automating model updates and orchestrating multiple models.
Özet
E-ticaret platformlarında her gün milyonlarca ürün-teklif eşleştirmesi gerçekleştirilmekte ve bu durum geleneksel yöntemlerin ötesinde ölçeklenebilir ve verimli çözümler gerektirmektedir. Bu çalışma, yüksek hacimli veri eşleştirme süreçlerinde Büyük Dil Modellerinin (LLM) dağıtım performansını iyileştirmeyi amaçlamaktadır. Bu bağlamda, Türkçe BERT modeli ONNX formatına dönüştürülmüş ve model boyutu 1,2 GB'tan 200-300 MB'a düşürülerek dağıtım verimliliği artırılmıştır. Modelin performansı, NVIDIA Triton Inference Server, BentoML, Jina AI, LightningLite ve FastAPI (GPU) olmak üzere beş farklı dağıtım altyapısında karşılaştırmalı olarak değerlendirilmiştir. Sonuçlar, Triton Inference Server'ın yüksek işlem hacmi kapasitesi ve düşük gecikme süresiyle diğer çözümlere kıyasla üstün performans sağladığını göstermektedir. Ayrıca, CPU'dan GPU'ya geçiş, yanıt sürelerinde yaklaşık %70'lik bir iyileştirme ve operasyonel maliyetlerde bir düşüş sağlamıştır. Gelecekteki çalışmalar, model güncellemelerinin otomatikleştirilmesine ve birden fazla modelin düzenlenmesine odaklanılacaktır.