”“”

使用剪輯的多模式語義研究

使用剪輯搜索長尾圖搜索

常規圖像搜索引擎通常會在長時間的查詢中遇到困難，因為它們主要關注單個令牌及其在文檔中的頻率。此外，這些搜索引擎取決於帶有圖像元數據的相應的關鍵研究單詞，例如標籤和標題。但是，對於更長的諮詢，需要對文本有更全面的理解，以及在同一空間中表達文本和圖像摻入的能力。這允許使用最近的鄰居方法進行研究。

OpenAI的剪輯圖像和語言（剪輯）模型解決了這些挑戰，這些挑戰在多模式輸入（例如文本和圖像）中提供了相似性功能。它使用對比度訓練方法利用了來自Imagenet和Internet等來源的現有數據。剪輯模型為零，這意味著它不需要在特定語料庫中撤退。相反，它可以生成文本和外觀合併，可以根據向量距離進行分類。

在本課程中，我們將探索OpenAI的剪輯模型，並使用Pytorch進行預處理圖像和文本。我們還將證明有或沒有剪輯模型的較長查詢對Unplash圖像研究機制的影響。本課程以對深度學習和融合的基本理解為前提。

您將學到什麼：
– 建立真實的世界圖像研究機制
– 使用狀態-ART多模式結合技術
– 在同一空間中表達文本和圖像合併
– 使用剪輯合併根據文本諮詢查找圖像，反之亦然