作者：石川

摘要：Kosowski et al. (2006)、Fama and French (2010) 以及 Harvey and Liu (2022)。

1

年初基金研究文獻綜述中曾提到，研究基金能否提供了顯著的超額收益是該領域中最重要的問題。在這方面，最著名的兩篇文章 Kosowski et al. (2006) 和 Fama and French (2010)（以下分別稱 KTWW 和 FF）通過類似的方法（均采用 bootstrap），卻得出了相反的結(jié)論。KTWW 認為有超過 10% 的基金不能被運氣解釋；而另一方面，F(xiàn)F 則表示這個比例不會超過 1%。面對如此的反差，究竟孰對孰錯？又或者二者皆有所短？回顧兩篇文章，KTWW 對每個基金獨立進行 bootstrap，而 FF 則對基金收益率的 cross-section 進行 bootstrap 從而保留截面相關性。此外，前者考察的基金被要求有至少 60 個收益率的觀測數(shù)據(jù)；而在后者中，這一要求被降低到 8 個。

顯然，最小數(shù)據(jù)量要求以及 bootstrap 做法的差異是造成二者出現(xiàn)截然不同結(jié)論的原因。從結(jié)果來看，KTWW 的方法過度拒絕原假設（原假設是所有基金都沒有超額收益），使得在哪怕在所有基金都沒有超額收益的情況下依然拒絕原假設。反觀 FF 的做法，其會導致 bootstrapped 檢驗統(tǒng)計量分布呈現(xiàn)厚尾從而造成原假設難以被拒絕，因此哪怕存在能夠取得超額收益的基金的情況下，該方法依然會接受原假設。

既然二者都不完美，那么有沒有可能在它們的基礎上改進并得到更好的檢驗方法、從而更加有效地回答這個問題呢？這意味著我們既要在 bootstrap 時保留截面相關性，又要杜絕 bootstrapped 檢驗統(tǒng)計量分布呈現(xiàn)厚尾的問題。在這方面，Harvey and Liu (2022) 給出了答案。

2

本節(jié)首先介紹 FF 中檢驗統(tǒng)計量分布的厚尾現(xiàn)象。

Bootstrap 是研究此類問題的一個常規(guī)手段。而我們知道，在實證窗口內(nèi)，并不是所有基金在全部月份都有收益率數(shù)據(jù)，有的基金年限長，有些基金則年限短。在 KTWW 中，作者對每個基金利用其實際收益率序列分別采樣；而在 FF 中，作者在實證窗口內(nèi)的任何時點在 cross-section 采樣，這意味著采樣出來的一些基金可能是沒有收益率數(shù)據(jù)的。這樣做造成的后果是，對于任何一個基金來說，其在某個 bootstrapped 樣本中的收益率觀測數(shù)據(jù)量和其在實際樣本中收益率的觀測數(shù)據(jù)量很可能不同。有些基金會被 oversampled（bootstrapped 樣本中觀測數(shù)據(jù) > 實際觀測數(shù)據(jù)），一些基金則會被 undersampled（bootstrapped 樣本中觀測數(shù)據(jù) ）。FF 認為，保留 cross-section 相關性是更加重要的考量，所以上面的后果是可以接受的，此外被 oversampled 和被 undersampled 的基金的影響會相互抵消，因此不是什么太大的問題。此外，為了防止本來歷史收益率數(shù)據(jù)就很短的基金在 bootstrapped 樣本中缺少足夠的數(shù)據(jù)，F(xiàn)F 要求只有當一個基金在 bootstrapped 樣本中有不少于 8 個不同的收益率觀測數(shù)據(jù)時，才被納入分析。

Harvey and Liu (2022) 通過實證分析指出，F(xiàn)F 口中的“不是什么太大的問題”恰恰就是問題所在。簡單來說，問題可以歸結(jié)為：對于任何基金，bootstrapped 樣本中都會出現(xiàn) undersampling 和 oversampling 的情況；但是對于那些收益率數(shù)據(jù)本來就很短的基金來說，undersampling 和 oversampling 的影響是不對稱的，undersampling 的影響大到足以影響整個 bootstrapped 檢驗統(tǒng)計量的分布，即呈現(xiàn)厚尾。

3

為了定量分析 KTWW 和 FF 的問題，Harvey and Liu (2022) 設計了一個巧妙的 simulation design。之所以使用 simulation，是因為 Harvey and Liu (2022) 希望模擬 data generating process。在定量分析中用到的統(tǒng)計術語如下表所示。下面的介紹會重點關注兩種方法的 test size。

這里插一句，Harvey and Liu (2022) 的 simulation design 和 Harvey and Liu (2021) 異曲同工，它們都可以被視作 Harvey and Liu (2020) 里設計的 double bootstrap simulation 的基礎。沒看過 Harvey and Liu (2020, 2021) 的小伙伴，請參考《出色不如走運(V)》和《出色不如走運(VI)》。上述兩篇推文對它們有詳細介紹。三篇放在一起看一定會加深對這類 design 的理解。

Simulation 一共分為五步，下面通過一個示例依次說明。

第一步（下圖左）和第二步（下圖右）：

假設實際數(shù)據(jù)中一共有 8 支基金和 15 期收益率，其中 4 支基金有全部 15 期數(shù)據(jù)，而其他基金的數(shù)據(jù)則不完整，實際收益率數(shù)據(jù)由??表示。在這些基金中，挑選擁有全部 15 期數(shù)據(jù)的基金進入下一步，將它們的收益率數(shù)據(jù)記為??。

第三步（下圖左）和第四步（下圖右）：

對??中的基金收益率數(shù)據(jù)在時序上 demean（因此它們都變成 zero-alpha），然后對這些基金（本示例中是 4），隨機選擇一定比例（記為??）的基金，并通過人為指定的 IR 和每個基金各自的特質(zhì)波動率計算??，并將??賦予上面隨機選出的那些基金。將上述操作后的數(shù)據(jù)記為??，下標??表示第??次人為注入??后的數(shù)據(jù)。不難看出，在??中，??的基金維持了 zero-alpha，而剩下的??基金則被人為注入了??。接下來，對??進行 bootstrap，得到??。

這里再插一句，個人認為，這里??應該記為??更好，因為上標??并不代表某次 bootstrap，而是代表“complete”一詞，表示完整。本該出現(xiàn)的下標??代表著基于??的第??次 bootstrap，此外，??和第五步得到的??中的下標??是一樣的，即為同一個 bootstrapped 樣本，二者的區(qū)別僅僅是??中沒有 missing data 的情況（這也正是上標 c = complete 的含義），而??中存在 missing data 的情況（馬上下文就要解釋）。

第五步：

根據(jù)設計，在上述第四步中得到的??? ??不含任何 missing data（比如在本示例中，實際數(shù)據(jù)一共 15 期，??也一共 15 期，且 4 支基金均有全部 15 期數(shù)據(jù)）。在第五步中，為了模擬實際中一些基金收益率數(shù)據(jù)較少的情況（即存在 missing data），Harvey and Liu (2022) 按照原始數(shù)據(jù)??中實際的 missing data 情況對??進行了調(diào)整。比如，在本示例的原始數(shù)據(jù)??中，各有 25% 的基金缺少 1/3 和 2/3 期的數(shù)據(jù)。按照上述比例調(diào)整后，最后基于（每個）??得到了對應的??。由于示例中的??共有 4 支基金，因此在??中，1 支（4 的 25%）被調(diào)整為只有 5 期收益率數(shù)據(jù)，另外 1 支倍調(diào)整為只有 10 期收益率數(shù)據(jù)。

從上述描述可知，通過給定??和??的范圍，就可以得到大量的 bootstrapped 樣本??，并通過它們來分析 KTWW 和 FF。（除此之外，Harvey and Liu (2022) 還利用??并定義了另一個??作為分析的基礎。）

對于我們關注的 test size 來說（回顧一下本節(jié)一開始的那張統(tǒng)計術語表，test size 可以理解為?type I error rate），通過在 simulation 中設定??以及 IR = 0 即可保證 data generating process 滿足原假設，即沒有任何基金存在超額收益。之后，只要通過將 KTWW 和 FF 的方法應用于??樣本就可以計算它們各自的 test size。為了清晰地展示兩種方法的結(jié)果，Harvey and Liu (2022) 將它們的 test size 和事先指定的 significance level（即 desired level of test size）進行了比較 ——?離的越近越好。

上圖中，左圖是 KTWW 的結(jié)果，右圖是 FF 的結(jié)果；我們只需關注藍色實線即可（它們是基于??樣本的結(jié)果；紅色虛線和黑色點劃線是基于??和??的結(jié)果）。由定義可知，test size 是 type I error rate；我們希望某個方法的結(jié)果離給定的水平（10%）越接近越好。

然而，KTWW 的 test size 明顯高于 10% 的水平，說明它的 type I error rate 很高，即更有可能錯誤地拒絕原假設。因此 KTWW 是 oversized。反觀 FF，其 test size 要明顯低于 10% 的水平，說明其 type I error rate 更低，即更有可能接受原假設，因此 FF 是 undersized。上述結(jié)果翻譯成“人話”就是：KTWW 的方法更容易拒絕原假設，即認為作為一個整體基金能夠獲得顯著超額收益；而 FF 的方法更容易接受原假設，即認為作為一個整體基金無法獲得顯著超額收益。

4

至此，Harvey and Liu (2022) 定量分析了 KTWW 和 FF 的問題?；谒麄兊姆治觯覀兛梢圆聹y針對 FF 最直觀的“改進”方法是提高基金最少收益率期數(shù)的約束（比如從 8 提升到和 KTWW 一樣的 60 期），從而徹底杜絕 undersampling 問題對 bootstrapped 檢驗統(tǒng)計量分布的影響。不過這個約束的收緊意味著大量的基金將被排除在分析之外。

為此，Harvey and Liu (2022) 提出了另一個改進方法：FF 閾值法。首先，考察所有至少有 12 期數(shù)據(jù)的基金。對于這些基金，分別進行 bootstrap 采樣得到每個基金各自超額收益 t-statistic 的第一和第三四分位數(shù)（分別記為??和??，我省略了代表基金的下標??），因而有??。此外，令??表示閾值，并通過下式計算每個基金超額收益 t-statistic 的范圍：

??? ??

在得到每個基金的范圍后，依照 FF 的方法進行 bootstrap。對于每個 bootstrapped 樣本中的基金，如果其 bootstrapped t-statistic 不在上述范圍之內(nèi)，則從該樣本中剔除掉該基金，并利用剩余的基金進行計算。這就是 FF 閾值法的核心思路。最后，Harvey and Liu (2022) 采用了他們設計的 simulation design 來確定閾值??。下圖展示了當??時，F(xiàn)F 閾值法的 test size 以及 test power，它們較原始的 FF 方法均有明顯的提升（例如 test size 較給定的 10% 水平已經(jīng)非常接近）。

以上就是對 Harvey and Liu (2022) 的簡要介紹。當然，這篇文章中還有太多的細節(jié)和分析，值得反復閱讀。（該文在 JF 官網(wǎng)上是 open access。）

5

Harvey and Liu (2022) 為回答基金?as a whole?是否提供了顯著的超額收益提供了新的解決思路。雖然這次是站在基金而非異象視角，但該文無疑是金融學在應對多重假設檢驗問題時的又一力作，也是兩位作者將他們的 research agenda 向前延伸的又一個里程碑。

寫到這里，本文本該自然地結(jié)束。但既然談到了多重假設檢驗這個話題，我忍不住多嘮叨兩句。對于金融經(jīng)濟學，自 Cochrane 提出 zoo of factors 三問之后，多重假設檢驗的研究可以至少追溯到 Harvey, Liu, and Zhu (2016) 以及?Harvey (2017)。這些文章關注的問題是在多重假設檢驗問題下，有多少異象可能是虛假的，以及如何改進檢驗手段從而避免挖出虛假的協(xié)變量。盡管就結(jié)論聞言，這兩篇文章的觀點“不得”學界人心（畢竟沒人愿意承認自己過去挖出來的東西是 p-hacking 出來的），但它們的計算是科學的、措辭是客觀的。至此之后，學界也更加重視 p-hacking 問題，很多新的方法被提出；更多的 data/code sharing policy 被執(zhí)行。

然而大概從兩年前，學界就之前挖出的異象到底能否被復制（能復制說明 p-hacking 問題不那么嚴重）的觀點似乎發(fā)生了變化。這方面包括 Bryan Kelly 為作者之一撰寫的?Is there a replication crisis in finance??一文，還有另外一位就是我不想提但不得不提的 Andrew Chen。簡單地說，Chen 的觀點是學界的 p-hacking 問題遠沒有 Harvey and Liu 說的那么嚴重，僅僅靠 p-hacking 根本找不到這么多?in-sample?顯著的異象，因此后者有些危言聳聽。關于 Chen 和 Harvey and Liu 的“硬扛”，《出色不如走運(VI)》有過詳細的介紹，此處不再贅述。我在那篇文章里表達出的觀點依舊是中立的：

“關于 p-hacking 問題有多嚴重，學術界以開放的心態(tài)來討論它至關重要。從這個意義上說，本文介紹的 Chen (2021) 和 Harvey and Liu (2021) 沒有誰對誰錯，都是有益的討論，讓我們可以從不同的視角立體地審視這個問題?！?/em>

可后來不經(jīng)意間，發(fā)現(xiàn) Chen 真的是鐵了心地要和 Harvey 在這個問題上掰掰手腕。這不僅僅局限在發(fā)表學術論文這種正當途徑，甚至還延伸到了在 twitter 上的人身攻擊。以下兩張截圖是兩人的對話，一來一回，高下立判。

真的是看不下去。對于金融經(jīng)濟學來說，多重假設檢驗問題到底有多么嚴重？發(fā)表的異象有多少比例是虛假的？對于那些真實的異象來說，樣本外的打折程度又是多少？如何在考慮 Type II error 的前提下確定 t-statistic 閾值？如何根據(jù)先驗知識和所研究的數(shù)據(jù)特點確定合適的 t-statistic 閾值？等等。這些全都是至關重要的問題。Harvey and Liu 的多篇論文對上述問題均有正面回答。而從這些背后我們感受到的是持之以恒的研究和始終如一的態(tài)度。而 Chen 呢？

這不禁讓我想起了一句名言：

"If you really want to do something, you will find a way. If you don't, you will find an excuse."

在多重假設檢驗問題上，Harvey and Liu find a way. Chen, however, finds an excuse.

參考文獻

Fama, E. F. and K. R. French (2010). Luck versus skill in the cross-section of mutual fund returns.?Journal of Finance?65(5), 1915 – 1947.

Harvey, C. R. (2017). Presidential address: The scientific outlook in financial economics.?Journal of Finance?72(4), 1399 – 1440.

Harvey, C. R. and Y. Liu (2020). False (and missed) discoveries in financial economics.?Journal of Finance?75(5), 2503 – 2553.

Harvey, C. R. and Y. Liu (2021). Uncovering the iceberg from its tip: A model of publication bias and p-hacking. Working paper.

Harvey, C. R. and Y. Liu (2022). Luck versus skill in the cross section of mutual fund returns: Reexamining the evidence.?Journal of Finance?77(3), 1921 – 1966.

Harvey, C. R., Y. Liu, and H. Zhu (2016). … and the cross-section of expected returns.?Review of Financial Studies?29(1), 5 – 68.

Kosowski, R., A. Timmermann, R. Wermers, and H. White (2006). Can mutual fund “stars” really pick stocks? New evidence from a bootstrap analysis.?Journal of Finance?61(6), 2551 – 2595.

免責聲明：入市有風險，投資需謹慎。在任何情況下，本文的內(nèi)容、信息及數(shù)據(jù)或所表述的意見并不構成對任何人的投資建議。在任何情況下，本文作者及所屬機構不對任何人因使用本文的任何內(nèi)容所引致的任何損失負任何責任。除特別說明外，文中圖表均直接或間接來自于相應論文，僅為介紹之用，版權歸原作者和期刊所有。