深度探究cann仓库下的infra：AI计算的底层基础设施底座

硬件抽象适配层 (Hardware Abstraction Layer – HAL) 屏蔽不同硬件架构的底层差异，提供统一的硬件访问接口。

代码示例：设备管理器接口 (C++)

// infra/src/hal/device_manager.h
namespace cann::infra {

class IDevice {
public:
virtual ~IDevice() = default;
virtual std::string GetDeviceType() const = 0;
virtual uint64_t GetMemorySize() const = 0;
virtual Status AllocateMemory(void** ptr, size_t size) = 0;
virtual Status FreeMemory(void* ptr) = 0;
virtual Status Synchronize() = 0;
};

class DeviceManager {
public:
// 工厂方法：根据设备类型创建具体实例
static std::unique_ptr<IDevice> CreateDevice(const std::string& device_type);

// 获取已注册的设备列表
static std::vector<std::string> ListAvailableDevices();
};

} // namespace cann::infra

通过此接口，无论是昇腾NPU (AscendDevice) 还是CUDA GPU (CudaDevice)，上层逻辑都无需关心其实现细节。

核心基础能力层 (Core Utilities Layer) 聚合了AI计算所需的通用底层能力，如配置、日志、内存管理等。

代码示例：高性能内存池 (C++)

// infra/src/core/memory_pool.cc
namespace cann::infra {

class MemoryPool {
public:
void* Allocate(size_t size) {
std::lock_guard<std::mutex> lock(mutex_);
// 尝试从空闲块中分配
for (auto& block : free_blocks_) {
if (block.size >= size) {
void* ptr = block.ptr;
used_blocks_.push_back(block);
free_blocks_.erase(
std::remove(free_blocks_.begin(), free_blocks_.end(), block),
free_blocks_.end()
);
return ptr;
}
}
// 若无合适空闲块，则向系统申请新内存
void* new_ptr = system_allocator_->Allocate(size);
used_blocks_.push_back({new_ptr, size});
return new_ptr;
}

void Free(void* ptr) {
std::lock_guard<std::mutex> lock(mutex_);
// 将内存块归还到空闲列表，而非立即释放给系统
auto it = std::find_if(used_blocks_.begin(), used_blocks_.end(),
[ptr](const Block& b) { return b.ptr == ptr; });
if (it != used_blocks_.end()) {
free_blocks_.push_back(*it);
used_blocks_.erase(it);
}
}
private:
struct Block { void* ptr; size_t size; };
std::vector<Block> free_blocks_;
std::vector<Block> used_blocks_;
std::unique_ptr<IAllocator> system_allocator_;
std::mutex mutex_;
};

} // namespace cann::infra

此内存池通过减少频繁的系统调用和内存碎片，显著提升了大张量操作的性能。

资源调度管理层 (Resource Orchestration Layer) 实现对算力、存储、网络等全维度AI资源的统一调度与管理。

接口标准化层 (API Standardization Layer) 为上层生态提供统一、规范、易用的API接口与SDK。

代码示例：Python SDK封装 (Python)

# infra/python/cann_infra/device.py
from ._c_infra import ffi, lib # 使用CFFI绑定C++核心

class Device:
"""Pythonic的设备接口"""
def __init__(self, device_type: str):
self._handle = lib.cann_infra_device_create(device_type.encode())
if not self._handle:
raise RuntimeError(f"Failed to create device: {device_type}")

def __del__(self):
if self._handle:
lib.cann_infra_device_destroy(self._handle)

@property
def memory_size(self) –> int:
return lib.cann_infra_device_get_memory_size(self._handle)

def allocate(self, size: int) –> bytes:
ptr = lib.cann_infra_device_allocate(self._handle, size)
if not ptr:
raise MemoryError("Allocation failed")
# 返回一个可被NumPy等库使用的buffer
return ffi.buffer(ptr, size)

生态对接适配层 (Ecosystem Integration Layer) 作为CANN生态与外部生态的连接桥梁，实现了与TensorFlow、PyTorch、K8s等的深度对接。