処理結果が３パターン以上ある場合は列挙型を利用するとわかりやすいコードが書けます

' ファイルの状態を表す列挙型を定義します
Enum FileState
    eNone       ' ファイルが存在しない場合
    eOpened     ' ファイルが開いている場合
    eClosed     ' ファイルが閉じている場合
End Enum

Private Sub IsBookOpenedTest()
    Dim vPath As String
    ' 対象のファイルのパスを設定します（このブックと同じフォルダにある "Sample.xlsx"）
    vPath = ThisWorkbook.Path & "\Sample.xlsx"
    
    Dim vStr As String
    Dim vResult As FileState
    ' ファイルの状態をチェックする関数を呼び出し、その結果を取得します
    vResult = IsBookOpened(vPath)
    
    ' ファイルの状態に応じてメッセージを設定します
    Select Case vResult
        Case FileState.eNone
            vStr = "ファイルが存在しません"
        Case FileState.eClosed
            vStr = "ファイルは閉じています"
        Case FileState.eOpened
            vStr = "ファイルが開いています"
    End Select
    
    ' メッセージを表示します
    MsgBox vStr, vbInformation
End Sub

' Excelファイルの状態をチェックする関数です
Public Function IsBookOpened(ByVal vPath As String) As FileState
    Dim fso As Object
    ' ファイルシステムオブジェクトを作成します
    Set fso = CreateObject("Scripting.FileSystemObject")
    
    ' 指定したファイルが存在するかを確認します
    If fso.FileExists(vPath) Then
        On Error Resume Next
        ' ファイルが開いているかどうかを確認するために、ファイルを開こうとします
        Open vPath For Append As #1
        Close #1
        
        ' エラーが発生した場合は、ファイルが開いていると判断します
        If Err.Number > 0 Then
            IsBookOpened = FileState.eOpened
        Else
            ' エラーが発生しなければ、ファイルは閉じていると判断します
            IsBookOpened = FileState.eClosed
        End If
    Else
        ' ファイルが存在しない場合の処理
        IsBookOpened = FileState.eNone
    End If
End Function