從測試用公開資料開始
已連結自己的資料庫卻沒有資料可放?請從下面三個中選一個開始。全部免費、不需 API 金鑰即可取得,照著匯入腳本和畫面上要選的值(資料表、欄位)一步步做即可。 腳本採用新增解析器的結構,若有想要的資料來源,只要再寫一個項目。
取得擷取器
將擷取器儲存庫複製(clone)到 VPS(執行代理程式的伺服器)上。唯一的相依套件是 pg。 ★ .env 中的 DATABASE_URL 請使用具寫入權限的帳戶。唯讀帳戶拒絕 INSERT 是正常的,該帳戶專供 SoriTrading 連結使用。
git clone https://github.com/Value-Connect-Global-Inc/soritrading-fetchers ~/soritrading-fetchers cd ~/soritrading-fetchers && npm install cp .env.example .env # DATABASE_URL
https://github.com/Value-Connect-Global-Inc/soritrading-fetchers · 開源 · 一個資料夾 = 一個擷取器 · 自動註冊 cron
下面三個是**入門範例**。儲存庫中還有 VIX、加密貨幣隱含波動率(DVOL)、長短期利差、美元指數、穩定幣市值、DeFi TVL 等,全部免費、不需金鑰 — 用 `node run.mjs list` 查看完整清單。市場資料在美國休市日沒有值(是缺漏而不是 0),DVOL 從 2021 年 3 月開始。
如何看懂資料設定畫面
代理程式管理 → 選擇代理程式 → 資料設定分頁。註冊與刪除只能由您本人在此畫面進行 — AI 只會讀取資料集,連線字串絕對不能貼到聊天中。畫面由上而下依序如下。
- 外部資料庫連結 — 輸入連線名稱(例:main)和連線字串。它只會加密儲存在代理程式所在的裝置上,不會傳送到伺服器。開啟畫面時代理程式會自動讀取資料表清單([檢查連線] 用於重新讀取)。
- 資料表與資料集 — 資料庫中每張資料表一列:資料表名稱 · 約略列數 · 資料表註解,讀取該資料表的資料集列在其下方。
- AI 公開等級(資料表列右側) — 不公開(預設 — AI 連資料表是否存在都不知道)· 僅名稱 · 含欄位 · 含樣本 · 允許查詢。選擇後按 [儲存公開設定]。欄位、樣本、查詢等級會把實際資料傳給 AI,因此含個人資料的資料表請勿開放。只有 public 結構描述中的資料表可以開放。
- 資料集名稱(資料表列下方) — 策略以 ctx.data(名稱) 呼叫的值。[+ 用此資料表新增資料集] → 選擇名稱、時間欄和數值欄後,說明會自動填入資料表註解,[測試] 通過後 [儲存] 才能使用。一張資料表可以有多個名稱(用篩選依交易所或標的拆分序列時,或舊策略使用其他名稱時)。狀態徽章:可用 · 未確認 · 未連線。點擊徽章旁的即時徽章可展開喚醒設定(poll·notify·redis)— 大多數情況使用預設值即可。
- 計算資料集(SQL) — 需要計算的值,如移動平均、落後值、多張資料表組合。SQL 可以讀取多張資料表,因此不放在某張資料表底下,而是另外歸類。大多數計算在策略程式碼中用兩個 ctx.data 也能完成,只有在需要整段歷史區間的計算(移動平均、排名)時才使用 SQL。以舊方式註冊的 SQL 可在此 [已確認 SQL] · [刪除],或形式簡單者可批次轉換為選擇資料表的方式。
- 找不到資料表的資料集 — 宣告的資料表不在目前清單中時,資料集不會消失,而是連同原因留在這裡 — 尚未收到資料表清單(不代表不存在)· 該資料庫沒有此資料表(已改名或刪除)· 這台裝置上沒有該連線名稱。
- 範圍有兩種 — AI 公開等級只儲存在目前開啟的那台裝置上。資料集適用於所有具有相同連線名稱的裝置。有多台裝置時,公開等級需在每台裝置上分別選擇。
1. 恐懼貪婪指數
alternative.me0(極度恐懼)~100(極度貪婪),每日一次。自 2018-02 起的全部歷史。這是光看價格看不到的情緒維度,最適合作為第一個測試。
node run.mjs fear-greed
連線: main · 資料表: fear_greed 名稱: fg · 時間欄: ts · 數值欄: v
2. 比特幣算力
blockchain.com鏈上原生指標(TH/s)。與價格是不同的維度,適合作為環境篩選。數值大且趨勢平緩,與其用原始值,不如用相對移動平均的比率。
node run.mjs btc-hashrate
連線: main · 資料表: btc_hashrate 名稱: hashrate · 時間欄: ts · 數值欄: v
3. 美國基準利率(練習用)
FRED (DFF)每日有效聯邦基金利率。總體經濟環境篩選的代表性指標。 ★ 注意: 同樣的值已作為基本指標 base_fedfunds 提供(ctx.data('base_fedfunds') — 由代理程式從 FRED 收集)。同一個值透過兩條路徑輸入,結果中將無法區分用了哪一個,所以這個僅用於串接練習。
node run.mjs fed-funds
連線: main · 資料表: macro_fed_funds 名稱: dff · 時間欄: ts · 數值欄: v
定期收集(cron)
依每個擷取器宣告的週期註冊到 crontab。重複執行也不會堆積行,也不會動到你自行加入的 cron。日誌保存在 logs/ 資料夾中依擷取器區分的日誌檔裡。
node run.mjs --install-cron
- 時間欄位建議使用秒級 epoch(毫秒·ISO 也會自動辨識,以哪種方式讀取會記錄在驗證報告的 tsUnit 中)。
- 重複執行腳本是安全的 — 不會重複,只更新較新的值(upsert)。定期重新執行即可取得新資料。
- 回測結果會記錄資料指紋(列數·雜湊) — DB 內容改變時指紋也會改變,指紋不同的兩個結果不是在相同條件下得出的。
- 使用外部資料的回測也在代理程式上執行 — 所有回測都只在代理程式(我的儲存庫)上執行。
- 設定了公開層級的表格會暴露給 AI(欄位·樣本·查詢層級會傳送真實資料) — 請勿公開含有個人資料的表格。
完整文件在這裡 — 使用說明