C.I. Yoreh Deah 150:8 in a letter, see within (elipses mine):
ידוע כי אין כח רוב אלא במושב ב”ד… ואותה המדינה שרוב התורה שבידם הוא מרב אחד ומתלמידיו ומתלתידי תלמידיו עושין כרבם אף במקום שרבים החולקים… [וכאמרו אין כאן הכרעת כח רוב]… ומלבד שאין כאן כח רוב בעצם אין הרוב ידוע כי היו הרבה חכמים היו שלא באו דבריהם על הספר, והרבה שספריהם לא הגיעו לידינו, [ולכן אין הדין משתנה כאשר מדפיסים כתבי יד חדשים ולהפך המיעוט לרוב] ובכל זאת למיעוט הלבבות, להכריע בסברא, נוטלים לפעמים גם כח רוב המספרי לנטי’ לצד זה, אבל ראוי יותר להתחשב עם הפוסקים שתורתם הגיע לידינו בכל מקצועות התורה.
(The last point for a few reasons.)
It’s not even “blind” Mazal (הכל במזל תלוי אפילו ס”ת שבהיכל), because the decision of whom to notice is not always made in purity.
This, of course, runs counter to the method of Rabbi Ovadiah Yosef (some logic, but mostly numbers).