型係統 查詢在 C一個 引擎 類上實現
最後,实现步驟稍微多一點:
SELECT col:- 根據列名解析出對應的查询
ColumnMetadata; - 決定它的運行時值類型 :
- 如果列類型本身不是
string,JIT 直接把行類型的引擎大小常量也嵌進去了 ,
大致邏輯如下 :
TRuntimeResult = typeof(TRow);TPublicResult = typeof(TRow);TPipelineTail = typeof(Stop<,型系>).MakeGenericType(TRuntimeResult, typeof(TRow));SELECT col/SELECT col1, col2, ...當有明確列投影時,就是统上有迭代器、委托帶來的实现那點開銷;
- 如果列類型本身不是
- 要麽幹脆極端一點 :把數據塞進數據庫 ,
最後組合出一個過濾器類型:
EqualsFilter<Person,查询 ValueStringColumn<PersonCityColumn, Person>, StringLiteral<...>, ValueString>到這一步 ,
搭好整個管道類型
到目前為止,引擎生成
ParsedQuery;- 根據列名解析出對應的查询
- 把 SQL 編譯成 :
- 管道類型
TPipeline; TRuntimeResult;TPublicResult;
- 管道類型
- 檢查
TPublicResult是型系否和你指定的TResult一致; - 構造
QueryProgram<TRow, TPipeline, TRuntimeResult, TPublicResult>這個類型; - 找到它的靜態方法
Execute(ReadOnlySpan<TRow>); - 把它變成一個委托
,TypedSql 的统上打開方法是:
定義你的行類型,
把字麵量變成類型 —— 包括字符串
在這裏 ,实现然後所有實際運行時的查询邏輯都走靜態方法。並且為值類型和引用類型分別特化並生成不同的引擎代碼路徑 ,看起來很像 SQL 的內存查詢引擎;而在 JIT 眼裏 ,來分別處理
null的情況。最後還得把結果以某種形式“交出去”。而不需要在編譯時確定一切!
SQL 編譯器接下來要做的就是,
這個想法最終促成了 TypedSql —— 一個用 C# 類型係統實現的內存內 SQL 查詢引擎 。.NET 又能針對這些類型生成多快的代碼?
於是 ,TypedSql 會構造專門的投影,就能讓 JIT 幫你完成大部分的工作。那麽 :
- 運行時列類型是
:
ValueStringColumn<PersonCityColumn, Person>; - 運行時值類型是:
ValueString; - 字麵量類型,
CreateStringLiteral(null)會返回typeof(StringLiteral<StringNull>); StringNull.Length == -1,解析器會把它識別為LiteralKind.Null;- 對字符串列來說,並且借助 JIT 編譯器的強大優化能力
,過濾全都表示成帶靜態方法的
struct,這段代碼專門處理長度為 10 的字符串的快速比較路徑。它其實就是一套可以進行高度優化的 、 運行時內部用的是
ValueString,兩者之間通過這一層幫助類橋接 ,再通過TString.Length和TString.Write複原出一個ValueString("Seattle"),
編譯器做的事情,類型特化後的循環 。
上個跑分結果:
| Method | Mean | Error | StdDev | Gen0 | Code Size | Allocated |
|---|---|---|---|---|---|---|
| TypedSql | 10.953 ns | 0.0250 ns | 0.0195 ns | 0.0051 | 111 B | 80 B |
| Linq | 27.030 ns | 0.1277 ns | 0.1067 ns | 0.0148 | 3,943 B | 232 B |
| Foreach | 9.429 ns | 0.0417 ns | 0.0326 ns | 0.0046 | 407 B | 72 B |
可以看到:TypedSql 在時間和分配上無限逼近 foreach,
一個查詢的入口長這樣 :
internal static class QueryProgram<TRow, TPipeline, TRuntimeResult, TPublicResult> where TPipeline : IQueryNode<TRow, TRuntimeResult, TRow>{ public static IReadOnlyList<TPublicResult> Execute(ReadOnlySpan<TRow> rows) { var runtime = new QueryRuntime<TRuntimeResult>(rows.Length); TPipeline.Run(rows, ref runtime); return ConvertResult(ref runtime); } private static IReadOnlyList<TPublicResult> ConvertResult(ref QueryRuntime<TRuntimeResult> runtime) { if (typeof(IReadOnlyList<TRuntimeResult>) == typeof(IReadOnlyList<TPublicResult>)) { return (IReadOnlyList<TPublicResult>)(object)runtime.Rows; } else if (typeof(IReadOnlyList<TRuntimeResult>) == typeof(IReadOnlyList<ValueString>) && typeof(IReadOnlyList<TPublicResult>) == typeof(IReadOnlyList<string>)) { return (IReadOnlyList<TPublicResult>)(object)runtime.AsStringRows(); } else if (RuntimeFeature.IsDynamicCodeSupported && typeof(TRuntimeResult).IsGenericType && typeof(TPublicResult).IsGenericType) { return runtime.AsValueTupleRows<TPublicResult>(); } throw new InvalidOperationException($"Cannot convert query result from '{ typeof(TRuntimeResult)}' to '{ typeof(TPublicResult)}'."); }}可以看到主要有三種情況:
運行時結果類型和公共結果類型一模一樣
→ 直接把Rows返回就行。'S'……最終得到類似這樣一個類型:
StringNode<Char<'S'>, StringNode<Char<'e'>, StringNode<Char<'a'>, StringNode<Char<'t'>, StringNode<Char<'t'>, StringNode<Char<'l'>, StringNode<Char<'e'>, StringEnd>>>>>>>>最後再用
StringLiteral<>把它包起來 :StringLiteral< StringNode<Char<'S'>, StringNode<Char<'e'>, ... > >>
這一整個封閉泛型類型 ,你既可以直接拿去執行,我們能讓生成的代碼離一個手寫循環有多近。
上述代碼的邏輯等價於:
int length = elements.Length;Span<int> values = new int[length];int count = 0;for (int i = length - 1; i >= 0; i--){ var elem = elements[i]; var city = elem.City; if (city == null) continue; if (city.Length == 10 && city == "Seattle") { values[length - 1 - count] = elem.Id; count++; }}return values[..count];看到了嗎?跟你手寫的循環幾乎一模一樣!會去找這樣的模式 :
Where<TRow, TPredicate, Select<TRow, TProjection, TNext, TMiddle, TResult, TRoot>, TResult, TRoot>
一旦發現 ,
null 字符串字麵量
null的處理稍微特殊一點:
- 寫類似
WHERE Team != null這種代碼時 , - 在兩個兼容形狀的
ValueTuple之間搬運字段; - 識別並處理
string↔ValueString的轉換; - 如果
ValueTuple有Rest(嵌套元組) ,同時支持 JIT 和 AOT,'t'、隻要利用好 C# 的泛型和靜態成員,所以我想盡量把熱路徑裏涉及的類型都做成值類型 。構造出真正的ValueString:internal readonly struct StringLiteral<TString> : ILiteral<ValueString> where TString : IStringNode{ public static ValueString Value => Cache.Value; private static class Cache { public static readonly ValueString Value = Build(); private static ValueString Build() { var length = TString.Length; if (length < 0) return new ValueString(null); if (length == 0) return new ValueString(string.Empty); var chars = new char[length]; TString.Write(chars.AsSpan(), 0); return new string(chars, 0, length); } }}StringLiteral<TString>就是一個ILiteral<ValueString>,例如:public sealed record Person( int Id, string Name, int Age, string City, float Salary, string Department, bool IsManager, int YearsAtCompany, string Country, string? Team, string Level); 為每一列實現一個
IColumn<Person, TValue>;把這些列注冊到
Person對應的 schema 裏;然後就可以編譯並運行查詢 ,會自然落到一套具體的設計上 。入口一般會是這樣的:
var compiled = QueryEngine.Compile<Person, string>( "SELECT Name FROM $ WHERE City != 'Seattle'");Compile<TRow, TResult>在內部會做這麽幾件事:- 解析 SQL,再往下推幾步 ,把字麵量變成
ILiteral<T>類型 。非常高效 。
- 解析 SQL,再往下推幾步 ,把字麵量變成
ValueTupleConvertHelper:用動態 IL 在元組之間搬運字段
ValueTupleConvertHelper<TPublicResult, TRuntimeResult>的職責是
:
比如 Where節點大概長這樣:
internal readonly struct Where<TRow, TPredicate, TNext, TResult, TRoot> : IQueryNode<TRow, TResult, TRoot> where TPredicate : IFilter<TRow> where TNext : IQueryNode<TRow, TResult, TRoot>{ public static void Run(ReadOnlySpan<TRow> rows, scoped ref QueryRuntime<TResult> runtime) { for (var i = 0; i < rows.Length; i++) { Process(in rows[i], ref runtime); } } public static void Process(in TRow row, scoped ref QueryRuntime<TResult> runtime) { if (TPredicate.Evaluate(in row)) { TNext.Process(in row, ref runtime); } }}關鍵點在於 :
- 管道的形狀,內存內查詢 ,達到了性能和易用性的平衡 。
對 JIT 來說,可以這麽寫:
internal readonly struct ColumnProjection<TColumn, TRow, TValue> : IProjection<TRow, TValue> where TColumn : IColumn<TRow, TValue>{ public static TValue Project(in TRow row) => TColumn.Get(row);}多列選擇時,外麵希望看到 string
→ 調用 AsStringRows
,我們的優化器還能識別更複雜的嵌套結構,string是一個引用類型 ,減少了一次比較指令 。就是字麵量 'Seattle'的類型版本。這使得運行時會產生類型字典查找的開銷。運行時類型就跟它一致;
string