Các thành phần cốt lõi của Fastai

1. Thư viện Fastai

Thư viện Fastai được xây dựng trên nền tảng PyTorch, với mục tiêu làm cho học sâu trở nên dễ tiếp cận hơn. Thư viện cung cấp một API cấp cao giúp trừu tượng hóa nhiều phức tạp liên quan đến học sâu, cho phép người dùng tập trung vào các tác vụ ứng dụng thay vì các chi tiết lập trình phức tạp. Việc trừu tượng hóa này được hiện thực hóa thông qua thiết kế API phân lớp, cung cấp các thành phần cấp cao và thấp cho nhiều tác vụ học sâu khác nhau. Chức năng của thư viện mở rộng từ thị giác máy tính, xử lý văn bản đến dữ liệu dạng bảng và lọc cộng tác.

Fastai v2 là một bản viết lại hoàn toàn nhằm nâng cao tốc độ, tính linh hoạt và dễ sử dụng. Nó được xây dựng dựa trên các thư viện nền tảng như fastcore và fastgpu, hỗ trợ các thành phần cấp cao của Fastai và hữu ích cho nhiều lập trình viên, nhà khoa học dữ liệu.

2. API Phân Lớp

API phân lớp của Fastai được cấu trúc để phục vụ nhu cầu của nhiều nhóm người dùng – từ người mới bắt đầu đến các nhà nghiên cứu nâng cao. API cấp cao cung cấp các hàm sẵn sàng cho việc huấn luyện mô hình trên nhiều lĩnh vực như thị giác máy tính, văn bản, dữ liệu dạng bảng và lọc cộng tác. Những hàm này đi kèm với các mặc định hợp lý giúp đơn giản hóa quá trình xây dựng mô hình. API cấp trung cung cấp các phương thức cốt lõi cho học sâu và xử lý dữ liệu, trong khi API cấp thấp cung cấp các nguyên thủy tối ưu hóa và nền tảng để phát triển mô hình tùy chỉnh.

Một đặc điểm nổi bật của kiến trúc phân lớp là khả năng biểu đạt các mẫu cơ bản chung của nhiều kỹ thuật học sâu và xử lý dữ liệu thông qua các trừu tượng rời rạc. Điều này có được nhờ tận dụng tính năng động của Python và sự linh hoạt của PyTorch, tạo cân bằng giữa dễ sử dụng, linh hoạt và hiệu năng.

3. Khóa học Thực hành Học sâu cho Lập trình viên

Fastai cung cấp một khóa học trực tuyến mở miễn phí (MOOC) mang tên “Thực hành học sâu cho lập trình viên”. Khóa học này mang đến trải nghiệm thực hành với học sâu, chỉ cần kiến thức Python làm tiền đề. Nội dung bao gồm các chủ đề như phân loại ảnh, xử lý ngôn ngữ tự nhiên, mạng đối sinh tạo (GAN), tập trung vào ứng dụng thực tiễn. Khóa học còn kèm theo sách “Deep Learning for Coders with Fastai and PyTorch”, đi sâu vào ứng dụng AI mà không yêu cầu bằng tiến sĩ.

Các tính năng chính của Fastai

1. API cấp cao

API cấp cao của Fastai đơn giản hóa việc huấn luyện các mô hình học sâu bằng cách tích hợp kiến trúc, dữ liệu và tối ưu hóa vào một hệ thống thống nhất. Nó tự động lựa chọn hàm mất mát và thuật toán tối ưu phù hợp, giảm nguy cơ sai sót cho người dùng. API này đặc biệt phù hợp cho người mới bắt đầu và những ai muốn sử dụng các phương pháp học sâu hiện có mà không cần đi sâu vào code nền tảng.

2. Học chuyển giao

Một trong những điểm nổi bật của Fastai là hỗ trợ học chuyển giao, cho phép huấn luyện mô hình nhanh và hiệu quả nhờ sử dụng mạng đã huấn luyện sẵn. Fastai tối ưu hóa quá trình này thông qua các kỹ thuật như batch-normalization, đóng băng tầng và tốc độ học phân biệt. Những kỹ thuật này giúp tăng tốc quá trình học và cải thiện hiệu suất mô hình trên nhiều tác vụ.

3. Data Block API

Data block API là hệ thống linh hoạt để định nghĩa các pipeline xử lý dữ liệu. Nó cho phép người dùng xác định nguồn dữ liệu, các phép biến đổi và cơ chế nạp dữ liệu một cách module hóa. API này rất quan trọng trong việc quản lý các bộ dữ liệu phức tạp, đảm bảo dữ liệu được chuẩn bị đúng cho huấn luyện mô hình. Nó cung cấp cách tiếp cận nhất quán trên nhiều lĩnh vực, giúp dễ dàng ứng dụng học sâu lên đa dạng loại dữ liệu.

4. Hệ thống Callback hai chiều

Fastai giới thiệu hệ thống callback hai chiều mới, cung cấp các hook vào vòng lặp huấn luyện, cho phép thay đổi động dữ liệu, mô hình hoặc bộ tối ưu tại bất cứ thời điểm nào trong quá trình huấn luyện. Hệ thống này nâng cao tính linh hoạt và khả năng tùy biến của quá trình huấn luyện, giúp triển khai các tiếp cận đổi mới với ít công sức lập trình hơn.

5. Mã nguồn mở và được cộng đồng hỗ trợ

Fastai là dự án mã nguồn mở trên GitHub, cấp phép bởi Apache License 2.0. Thư viện nhận được đóng góp từ cộng đồng phát triển và nghiên cứu sôi động. Tính mã nguồn mở đảm bảo người dùng được tiếp cận các kỹ thuật tiên tiến và có thể tham gia vào sự phát triển của thư viện. Cộng đồng Fastai cũng là nguồn học tập và hỗ trợ hợp tác cho người dùng toàn cầu.

Trường hợp sử dụng và ứng dụng

Thị giác máy tính

Fastai giúp phát triển mô hình thị giác máy tính với rất ít dòng code. Ví dụ, một mô hình ImageNet có thể được fine-tune trên bộ dữ liệu cụ thể như Oxford IIT Pets, đạt độ chính xác cao chỉ với vài dòng lệnh. Tích hợp chặt chẽ với PyTorch cho phép người dùng tận dụng các kiến trúc và kỹ thuật hiện đại một cách dễ dàng.

Xử lý văn bản

Fastai được trang bị các công cụ cho xử lý ngôn ngữ tự nhiên (NLP), hỗ trợ các tác vụ như phân tích cảm xúc, phân loại văn bản, và mô hình hóa ngôn ngữ. Nhờ tích hợp với PyTorch, thư viện cho phép sử dụng các kiến trúc NLP hiện đại, giúp phát triển các mô hình ngôn ngữ mạnh mẽ có thể hiểu và sinh ngôn ngữ tự nhiên.

Dữ liệu dạng bảng

Fastai cung cấp các thành phần để xử lý dữ liệu dạng bảng, hỗ trợ các tác vụ như hồi quy và phân loại. Data block API của nó đặc biệt hữu ích cho việc biến đổi và nạp dữ liệu bảng, đảm bảo dữ liệu được xử lý hiệu quả, chính xác cho huấn luyện mô hình. Tính năng này rất quan trọng cho các ứng dụng trong phân tích kinh doanh, y tế và tài chính – nơi dữ liệu bảng phổ biến.

Lọc cộng tác

Lọc cộng tác là một lĩnh vực khác mà Fastai vượt trội, cung cấp công cụ xây dựng hệ thống gợi ý. API cấp cao của thư viện đơn giản hóa việc tạo và đánh giá mô hình lọc cộng tác, giúp phát triển các gợi ý cá nhân hóa cho người dùng dựa trên thói quen và sở thích.

Triển khai

Fastai hỗ trợ triển khai mô hình đã huấn luyện vào môi trường sản xuất, cho phép lập trình viên tích hợp AI vào ứng dụng một cách liền mạch. Thư viện tập trung vào tính thực tiễn, nên các yếu tố triển khai được chú trọng ngay từ đầu, giúp giải pháp AI hiệu quả và mở rộng cho thực tiễn.

Fastai trong các bài báo nghiên cứu

Fastai là một thư viện học sâu được thiết kế để cung cấp các thành phần cấp cao cho người thực hành đạt được kết quả tối tân một cách nhanh chóng và dễ dàng trong các lĩnh vực học sâu tiêu chuẩn, đồng thời cung cấp thành phần cấp thấp cho nhà nghiên cứu phát triển phương pháp mới mà không đánh đổi sự tiện lợi, linh hoạt hay hiệu suất. Năng lực kép này đạt được nhờ kiến trúc được cấu trúc kỹ lưỡng, tận dụng tính năng động của Python và sự linh hoạt của PyTorch. Thư viện giới thiệu nhiều tính năng sáng tạo như hệ thống phân phối kiểu cho Python, thư viện thị giác máy tính tối ưu hóa GPU, bộ tối ưu giúp đơn giản hóa các thuật toán tối ưu hóa hiện đại, và hệ thống callback hai chiều độc đáo. Fastai đã được sử dụng thành công để xây dựng khóa học học sâu toàn diện, và được sử dụng rộng rãi trong nghiên cứu, công nghiệp và giáo dục. Để biết thêm chi tiết, bạn có thể xem bài báo trên arXiv.

• Ví dụ trong nông nghiệp:
  Trong lĩnh vực nông nghiệp, Fastai đã được ứng dụng hiệu quả để xây dựng mô hình phân loại nhận diện bệnh thực vật, sử dụng bộ dữ liệu hình ảnh lá táo. Bằng cách sử dụng mô hình ResNet34 đã huấn luyện sẵn với Fastai, nghiên cứu đạt độ chính xác phân loại 93,765%. Điều này cho thấy khả năng tiết kiệm thời gian huấn luyện và tăng hiệu quả mô hình của thư viện trong ứng dụng thực tiễn. Thông tin chi tiết có thể xem trong nghiên cứu trên arXiv.

• Ví dụ nén mô hình:
  Bên cạnh đó, hệ thống callback của Fastai còn được tận dụng trong các thư viện khác như FasterAI, tập trung vào kỹ thuật nén mạng nơ-ron như làm thưa (sparsification) và cắt tỉa (pruning). Điều này chứng tỏ sự linh hoạt và khả năng tích hợp dễ dàng của Fastai với các công cụ khác để thực hiện các kỹ thuật tiên tiến một cách hiệu quả. Chi tiết triển khai xem tại bài báo FasterAI trên arXiv.

Ví dụ sử dụng

Cài đặt

Để bắt đầu sử dụng fastai, bạn có thể dễ dàng cài đặt bằng conda hoặc pip như sau:

• Conda (Khuyến nghị cho Linux hoặc Windows):
  conda install -c fastai fastai
• Pip (Hoạt động trên mọi nền tảng):
  pip install fastai
• Google Colab:
  Sử dụng fastai mà không cần cài đặt bằng cách tận dụng Google Colab, hỗ trợ GPU để tính toán nhanh hơn.

Ngoài ra, người dùng có thể tìm hiểu tài liệu chính thức và diễn đàn cộng đồng của fastai để giải đáp các vấn đề cài đặt hoặc tìm giải pháp cho cấu hình cụ thể. Tích hợp với Jupyter notebook và Google Colab càng làm tăng tính tiện dụng nhờ môi trường tương tác cho thử nghiệm và học tập.

API cấp cao

API cấp cao trong fastai được thiết kế dễ sử dụng và phát triển nhanh. Nó trừu tượng hóa phần lớn sự phức tạp, giúp người dùng tập trung xây dựng và huấn luyện mô hình với ít dòng code nhất. API này đặc biệt hữu ích để thử nghiệm nhanh mô hình và lặp ý tưởng mà không cần đi sâu vào chi tiết của PyTorch nền tảng.

Ví dụ sử dụng API cấp cao

1. Phân loại ảnh

from fastai.vision.all import * 
path = untar_data(URLs.PETS) 
dls = ImageDataLoaders.from_name_re(
    path=path, 
    fnames=get_image_files(path/"images"),
    pat=r'/([^/]+)_\d+.jpg$', 
    item_tfms=RandomResizedCrop(450, min_scale=0.75), 
    batch_tfms=[*aug_transforms(size=224, max_warp=0.), Normalize.from_stats(*imagenet_stats)]
)
learn = cnn_learner(dls, resnet34, metrics=error_rate)
learn.fit_one_cycle(4)

Ví dụ này trình bày cách thiết lập và huấn luyện bộ phân loại ảnh trên bộ dữ liệu Oxford IIT Pets bằng API cấp cao của fastai.

2. Phân tích cảm xúc văn bản

from fastai.text.all import *
path = untar_data(URLs.IMDB)
dls = TextDataLoaders.from_folder(path, valid='test')
learn = text_classifier_learner(dls, AWD_LSTM, drop_mult=0.5, metrics=accuracy)
learn.fine_tune(1)

Ở đây, fastai được sử dụng để xây dựng mô hình phân tích cảm xúc trên bộ dữ liệu IMDB.

3. Dữ liệu dạng bảng

from fastai.tabular.all import *
path = untar_data(URLs.ADULT_SAMPLE)
dls = TabularDataLoaders.from_csv(
    path/'adult.csv', path=path, y_names="salary",
    cat_names=['workclass', 'education', 'marital-status', 'occupation', 'relationship', 'race'],
    cont_names=['age', 'fnlwgt', 'education-num'],
    procs=[Categorify, FillMissing, Normalize]
)
learn = tabular_learner(dls, metrics=accuracy)
learn.fit_one_cycle(3)

Ví dụ này minh họa việc sử dụng fastai cho dữ liệu dạng bảng, cụ thể bộ dữ liệu Adult.

API cấp trung

API cấp trung trong fastai mang lại khả năng tùy biến nhiều hơn so với API cấp cao, cho phép điều chỉnh các khía cạnh của quá trình huấn luyện mà không cần đi sâu vào các chi tiết thấp nhất. Nó cân bằng giữa sự tiện lợi và linh hoạt, phục vụ người dùng muốn kiểm soát nhiều hơn nhưng vẫn hưởng lợi từ các thành phần dựng sẵn.

Các thành phần của API cấp trung

• Learner: Thành phần cốt lõi gói mô hình, dữ liệu và vòng lặp huấn luyện. Có thể tùy chỉnh với các kiến trúc, bộ tối ưu, và chỉ số khác nhau.
• Callbacks: Hàm mở rộng vòng lặp huấn luyện với hành vi tùy chỉnh, như lưu checkpoint, điều chỉnh tốc độ học, hay log chỉ số.

Ví dụ sử dụng

learn = cnn_learner(dls, resnet18, metrics=accuracy, cbs=[SaveModelCallback(monitor='accuracy')])
learn.fine_tune(2)

Trong ví dụ này, callback được dùng để lưu mô hình đạt độ chính xác tốt nhất trong quá trình huấn luyện, thể hiện sự linh hoạt của API cấp trung.

API cấp thấp

Dành cho người dùng nâng cao và nhà nghiên cứu cần kiểm soát toàn diện mô hình, API cấp thấp của fastai cho phép truy cập các chức năng nền tảng PyTorch và các nguyên thủy tối ưu hóa. Mức API này dành cho ai muốn sáng tạo kiến trúc mới hoặc triển khai quy trình huấn luyện tùy chỉnh.

Tính năng của API cấp thấp

• Pipeline và Transforms: Chuỗi xử lý dữ liệu tùy chỉnh theo nhu cầu cụ thể.
• Tensor hướng đối tượng: Cải tiến tensor của PyTorch giúp thao tác trực quan hơn.
• Tác vụ tối ưu hóa: Các phép toán tensor hiệu quả dựa trên khả năng của PyTorch.

Ví dụ sử dụng

from fastai.data.all import *
pipe = Pipeline([PILImage.create, Resize(128), ToTensor])
img = pipe('path/to/image.jpg')

Đoạn mã này minh họa cách tạo pipeline dữ liệu tùy chỉnh bằng API cấp thấp của fastai, áp dụng chuỗi biến đổi cho một ảnh.

Fastai trong thực tiễn: Các ví dụ đã xuất bản

1. Fastai: API phân lớp cho học sâu
   Tác giả: Jeremy Howard, Sylvain Gugger
   Fastai là thư viện học sâu được thiết kế để tạo mẫu nhanh và triển khai các mô hình học sâu. Nó đạt được điều này bằng cách cung cấp các thành phần cấp cao cho các tác vụ học sâu tiêu chuẩn, đồng thời cho phép nhà nghiên cứu đi sâu vào các thành phần cấp thấp cho giải pháp tùy chỉnh. Bài báo này mô tả kiến trúc thư viện, tận dụng tính năng động của Python và sự linh hoạt của PyTorch để tạo các trừu tượng rời rạc cho nhiệm vụ học sâu. Các đổi mới của Fastai gồm hệ thống phân phối kiểu, thư viện thị giác máy tính tối ưu GPU, thiết kế bộ tối ưu mới, và hệ thống callback hai chiều, v.v. Thư viện dễ sử dụng và có khả năng đạt kết quả tiên tiến, khiến nó phổ biến trong nghiên cứu, công nghiệp và giáo dục. Đọc thêm

2. Microvasculature Segmentation in Human BioMolecular Atlas Program (HuBMAP)
   Tác giả: Youssef Sultan, Yongqiang Wang, James Scanlon, Lisa D’lima
   Nghiên cứu này sử dụng Fastai cho phân đoạn hình ảnh trong chương trình HuBMAP, tập trung vào phân đoạn cấu trúc vi mạch trong thận người. Phương pháp bắt đầu với mô hình U-Net Fastai, khám phá các kiến trúc thay thế và mô hình sâu để cải thiện độ chính xác phân đoạn. Công trình này cho thấy Fastai có thể là công cụ nền tảng trong hình ảnh y khoa, cung cấp góc nhìn về các kỹ thuật phân đoạn nâng cao và so sánh với mô hình chuẩn. Đọc thêm

3. Egglog Python: A Pythonic Library for E-graphs
   Tác giả: Saul Shanabrook
   Dù không trực tiếp về Fastai, bài báo này giới thiệu binding Python cho thư viện egglog, nhấn mạnh tích hợp kỹ thuật e-graph vào Python. Cách tiếp cận này phù hợp triết lý của Fastai về tận dụng thế mạnh Python để nâng cao đổi mới trong máy học và tính toán khoa học. Nó minh họa cách API Pythonic thúc đẩy hợp tác và sáng tạo liên ngành, tiềm năng bổ trợ cho tính đa năng của Fastai. [Đọc thêm](https://arxiv.org/abs/2404