柯頌竹AZ疫苗施打紀錄9：12 施打第一劑AZ疫苗 9：28 從施打到現在，施打處有一陣陣的麻，但非常微小 9：36 施打處有些微紅，像是自然腮紅的顏色 10：27 喉嚨癢癢，些微咳嗽 10：30 吃了一顆普除痛 11：45 開始覺得酸痛 12：02 午餐正常吃 17：25…2 min read·Jun 2, 2021----
柯頌竹inProgramming with Data35. Bert 之後衍伸的其他 NLP 預訓練模型Bert之後，相關的模型可說是百花齊放，以下就會介紹主要的發展方向。2 min read·Feb 24, 2021----
柯頌竹inProgramming with Data33. 輕量化 Bert 應用範例NLP 模型的應用上有兩大目標：改善預測指標以及計算速度，但很難同時達到，在Bert後的研究中，XLNet 和 RoBERTa 改善了性能，而 DistilBERT 提高了推理速度，會在本文介紹。2 min read·Feb 10, 2021----
柯頌竹inProgramming with Data32. Transformer + 預訓練 : 集大成的 Bert 模型前面一章我們提到的 ELMo，於 2018 年上半年由獨立的研究團隊提出後，在 NLP 領域原本就有相當完整的研發與技術能量的 Google 團隊，馬上就將 ELMo 的預訓練結合原有的 Attention / Transformer 等技術，於 2018 年 10…4 min read·Feb 4, 2021----
柯頌竹inProgramming with Data31. ELMo (Embeddings from Language Models 嵌入式語言模型)在 ELMo 之前，自然語言上的預訓練模型一直停留在淺層的詞向量，一直無法取得突破進展，比詞向量更深層的預訓練無法取得跨任務的成果，直到 ELMo 出現，使用更多層的預訓練模型，並一舉突破 2017 年七項不同 NLP 任務的最佳表現(論文發表於 2018 年)，正式將…3 min read·Feb 4, 2021----
柯頌竹inProgramming with Data27. Seq2Seq：Encoder, Decoder概念RNN 主要應用在序列數據資料的場景。尤其是自然語言處理的領域，如語言模型及機器翻譯等。 RNN 還可以對具有固定周期特徵的數據建立預測模型。5 min read·Jan 28, 2021----
柯頌竹inProgramming with Data30. Transformer Performance 評估與應用討論ATTENTION 當主角效果會比較好嗎？6 min read·Jan 26, 2021----
柯頌竹inProgramming with Data29. TransformerTransformer就是個 seq 2 seq model，將一個序列轉成另一個序列，就像是變壓器將一個電流轉成另一個電流。14 min read·Jan 26, 2021----
柯頌竹inProgramming with Data28. 注意力機制（Attention mechanism）注意力機制（Attention mechanism）跟下一章節會介紹到的Transformer都是NLP發展過程中很具有影響力的元素，而注意力機制（Attention mechanism）又是Transformer的基礎。8 min read·Jan 25, 2021----
