什麼是 Reference only 呢？可以做什麼用？我們看下面的例子：
下圖是 John Wick
如果你要 John Wick 不拿槍，改拿光劍，或是讓他西裝換個顏色，會是什麼樣子？
過去在的 Stable Diffusion 下，若要固定某個人的臉，就要事先訓練 LoRa 。這樣的過程往往複雜而耗時，限制了創作者的創作效率。然而最近有一個新工具在最近引起了廣泛的討論跟關注，只要一張照片，就可以讓 AI 做出這個人的不同動作，讓創作者不必要再為了訓練模型而分心，大大提高創作速度。
這就今天我們要介紹的在 ControlNet 裡的新工具：Reference Only。Reference Only 採用了一種全新的預處理器 (preprocessor) 的方式，無需事先訓練 LoRa 等複雜的模型，僅需使用一張影像作為參考，就可以生成同一個人的不同姿勢，或是同一場景的不同視角。
接下來，讓我們深入探索 Reference Only 的功能和應用，並了解如何在創作中發揮其潛力。
Reference Only 的主要功能及優勢：固定人物、場景或特徵
Reference Only 功能夠生成具有特定風格和特定人物的圖像，為創作者提供了更多探索和表現的可能性。無論是想要繪製擁有獨特風格的動漫角色還是想要創作具有特定特徵的遊戲場景， Reference only 都能夠幫助實現這些目標。
相比於傳統的繪圖流程，使用 Reference only 可以省去繁瑣的訓練 LoRa 過程，直接使用影像作為參考來引導生成圖像。這樣的設計使得整個繪圖流程更加高效和方便，節省了創作者的時間和精力。
Reference Only 的應用
不同的角色有不同的應用方式，我們舉3個例子：
- 動漫角色設計師：動漫角色設計師可以利用它來快速生成不同風格和不同姿勢的角色設計稿，為作品注入更多情緒和個性。
- 遊戲開發者：遊戲開發者也可以利用 reference only 來快速生成遊戲場景設計稿，幫助遊戲開發者快速生成遊戲場景的設計稿，實現不同視角和時間點，減少開發周期並提高遊戲質量。
- 藝術家：而在藝術創作中，Reference Only 能夠為藝術家提供更多的探索空間，讓他們能夠嘗試不同的風格和視覺效果，豐富他們的創作內容。
操作說明
根據提供的內容，reference only 是 Stable Diffusion web UI 中的一種預處理器，可以直接使用影像作為參考來引導擴散。
以下是使用 Reference Only 的基本步驟：
1. 設置相關參數，例如 Steps、Sampler、CFG scale、Size 等等。這些參數可以根據具體情況進行調整。
2. 打開 Stable Diffusion web UI，選擇 “reference_only” 預處理器。
3. 將需要進行 AI 繪圖的原始影像作為參考輸入。
4. 點擊 “Generate” 按鈕開始生成圖像。
5. 等待生成過程完成後，可以對生成的圖像進行後續處理或者直接保存。
需要注意的是，Reference Only 預處理器不需要任何控制模型，因此在使用時不需要額外提供模型文件。此外，在設置相關參數時，建議先進行一些測試和調整，以獲得更好的生成效果。
總之，在使用 Reference-Only 預處理器時，可以按照上述步驟進行操作，根據具體情況進行調整和優化，以獲得更好的生成效果。
使用注意事項
在使用 Reference only 進行 AI繪圖時，雖然它帶來了更靈活和高效的圖像生成方式，但仍然需要注意一些事項，以確保獲得最佳的生成效果。
1、請確保使用 ControlNet 1.1.153 以後的版本
Reference-Only作為ControlNet的一部分，需要確保使用的是最新的版本，因為它在 ControlNet 1.1.153 以後才支援。採用最新版本也可以確保您獲得更多的功能和更好的性能。
2、當輸入參考影像時，請確保參考影像明顯且符合您的生成目標
參考影像的清晰度直接影響到生成圖像的效果。因此，建議選擇高品質且清晰的參考影像，這樣 Reference only 才能生成符合期望的圖像。
3、調整控制權重以優化生成效果。
Reference Only 提供了調整控制權重的功能，這將影響到生成圖像的風格和特徵。根據具體需求，您可以試驗不同的權重設置，以達到最佳的生成效果。這樣可以使生成的圖像更貼合您的設計意圖。
使用 Reference Only 和使用 LoRa 有什麼不同？
使用 reference-only 和使用 LoRa 的主要區別在於訓練模型的過程。
使用 LoRa 需要進行複雜的訓練過程，需要大量的數據和計算資源。而使用 reference only 則不需要進行複雜的訓練過程，只需要提供一張圖片作為參考即可生成對應風格和特定人物的圖片。因此，相對於 LoRa，reference-only 更加方便快捷。
此外，在生成效果方面，使用 LoRa 可以獲得更高品質、更真實的圖像。而使用 reference-only 生成的圖像可能會存在一些不自然或模糊的元素。但是，在某些情況下，reference-only 也可以產生非常接近原始角色不同動作、表情的影像。
總之，使用哪種方法取決於具體需求和可用資源。如果需要高品質、真實性較高的生成圖像且有足夠的數據和計算資源，則可以考慮使用 LoRa；如果需要快速、方便地生成對應風格和特定人物的圖片且數據和計算資源有限，則可以考慮使用 reference only。
總結
今天，我們探討了AI繪圖領域中一個新工具 “Reference Only”。它可以生成具有特定風格和特定人物的圖像，同時還可以簡化AI繪圖的流程。我們看到了它在動漫角色設計、遊戲場景設計和藝術創作等領域的廣泛應用。
隨後，我們提到了使用Reference-Only時的注意事項，包括使用最新版本的ControlNet、選擇最新的Reference-Only預處理器、確保參考影像明顯且符合生成目標，以及調整控制權重以優化生成效果。
未來，我們可以期待 Reference-Only 這類工具的不斷發展和改進，為我們帶來更多驚喜和創作的可能性。無論是藝術家、設計師還是遊戲開發者，Reference-Only 都是一個值得嘗試和探索的工具。
如果您對AI繪圖和相關工具還有更多疑問或興趣，歡迎繼續關注我們的部落格，我們將繼續分享更多有關AI繪圖的知識和資訊。讓我們一起在創作的道路上探索、學習和成長！
參考
- Github 上 ControlNet 的 Reference only 說明
- ControlNet 的安裝請看 這篇：如何安裝 ControlNet 1.1 以及安裝模型？
- ControlNet 1.1 的功能介紹請看這篇： ControlNet 功能介紹- 用 14 個模型掌控人物姿勢、風格變體
